その芦田は京都府生まれ、父の鹿之助は豪農で知られ、代議士を務めたこともある。その意味では、芦田はわが政治史上初の「二世代議士の総理大臣」ということになる。若い頃からとんでもない秀才で、旧制第一高等学校、東京帝国大学法学部仏法科いずれも首席で卒業、外務省へ入省した。その後、外交官としてロシア、フランス、ベルギーなど海外各地へ赴任するが、ロシア赴任時に目の当たりにした「ロシア革命」が、その後の芦田に大きな影響を与えたようだった。「リベラル」「反軍閥」の姿勢は、このあたりで育まれたと見られる。
しかし、当初は歓迎されたこうした姿勢も政権末期には国民も手の平を返し、人心は一気に離れてしまった。性格の愛想なしが、輪をかけたようでもあった。
同じ外交官出身の吉田茂は、GHQ相手の巧みな駆け引きで一方で「大宰相」の声もあるが、ピカ一の秀才だった芦田は、「先見の明」には秀でていたが、政治家としては吉田より「芸」が乏しかったと言えた。「占領下の政治体制でなかったら、その力量は吉田より上」との見方もある。
また、几帳面な芦田は自らの生活の詳細な日記を残し、著作も多い。そうした中で、占領下の政治体制でのリーダーシップ発揮の難しさと苦衷、無念さを、次のように語ったものだった。
「占領軍治下の政府としては、誰が政局を担当しても、連合国の占領政策の線に沿って政治を行う以外に道はない」
一方で、そんな芦田に、「総理大臣でなく衆院議長になっていたら、間違いなく名議長として名を残しただろう」との声も残っている。占領軍治下で発揮できなかった力量を、惜しむ見方ということである。
政権を下りたあと、芦田は請われて日本民主党の最高委員、昭和30年11月15日のその民主党と自由党が合併した「保守合同」後も、自民党の最高顧問の一方で党の外交調査会会長として存在感を示した。ちなみに、京都の芦田の選挙区を継いだのは谷垣専一、その子息の谷垣禎一（元自民党総裁）がまた、その後を継いでいる。
晩年は、私生活では美人の誉れ高かった寿美夫人との仲の良さが知られ、アロハ姿も似合うダンディぶりを発揮、自宅のあった港区芝白金の地元運動会に飛び入り参加をするなど、言われた愛想のなさは影をひそめていた。