政界を引退した吉田は、かつての「ワンマン宰相」を引きずるように、生臭さは健在であった。

　敷地1万1千坪。その名も自ら“命名”した「海千山千楼」の神奈川県大磯の邸宅に昭和16年に雪子夫人を亡くして以来、吉田の身の回りの世話をし続けてきた東京の花柳界・新橋の元芸妓「小りん」と、改めて生活を共にした。吉田は子供の頃、いまの計算で30億円ほどの養父の遺産を受け継ぎ、そのほとんどを花柳界で使い切ってしまったというエピソードを残している。人に頼らず自分のカネで遊ぶ吉田はモテモテだったそうで、「小りん」とは、そうした中での仲だったのである。

　一方で、政界への影響力も保持、政変のたびに自民党の有力者が、陰に陽に次々と足を運んだものであった。これは「大磯詣で」と言われ、「吉田の政界リモート・コントロール」との声もあった。また、時の政権の要請があれば、欧米、東南アジアなどに「政府特使」として精力的に歴訪もした。時には「日台関係」改善のため個人の資格で訪台、蒋介石と会談しては、中国から批判の声が出たものの、ケロリだったのである。

　ちなみに、吉田は部下の中からその後の「保守本流」の人材を輩出させた。のちに総理の座に就くことになる池田勇人、佐藤栄作、田中角栄らは、吉田の敷いた戦後再建へのレールを走り、国づくりの中核的存在になったのは知られているところである。

　そうした一方で、私邸での吉田の日常は孤高にして貴族趣味の、悠々自適のそれであった。

「日本の新聞はウソを書く」とハナからバカにして読まず、定期購読として取り寄せていた英紙「ロンドン・タイムズ」を愛読、小説も英国のユーモア小説を原書で読んでいた。好物の葉巻は1日7、8本を欠かさず、食事も晩年まで1日1回のビーフ・ステーキとともに、ウイスキーをたのしんだのだった。

　政権を降りて13年目の昭和42（1967）年10月20日、心筋梗塞のため89歳で死去。死の直前、洗礼を受け、「ヨゼフ・トマス・モア・ヨシダシゲル」となった。10月31日の日本武道館における戦後初の国葬には、多くの一般国民を含めて3500人が献花をしたものだった。国民の人気の高さが知れた。亡くなる数年前、長寿の秘訣を聞かれた吉田いわく、「まぁ、人を食っているから」ということであった。