一方で、若い頃から長く軍人生活を続けてきたことから、日常生活は判で押したようななんとも規則正しいものであった。
起床は春夏は午前6時、秋冬は午前7時。朝食は乳1合、パン2片にコーヒー、昼食は和食で魚中心に3菜ほど、夕食は洋食でスープに野菜ともどもの3皿ほどを変えることはなかった。
酒は若い頃は日本酒大好きの大酒呑みだったが、60歳を過ぎた頃から、夕食で葡萄酒3杯ほどにとどめていた。青年期には大酒呑みがたたって、リュウマチを患い、その後の日清戦争では第1軍司令官として朝鮮へ出征したが、戦地で胃腸の痛みを訴え、生死の境をさまよったのだった。
こうしたことからか、健康には人一倍気を使い、「海水浴健康法」なるものを長く実行していた。神奈川県大磯に別荘を建て、ここで海水による入浴を繰り返したのであった。
タライに塩の湯を張って腰までつかり、上半身はといえば頭から毛布をかぶって十分に汗をかくというものである。塩水は皮膚を丈夫にする一方、内臓の代謝をよくすると信じ、これは晩年まで続けた。「元祖・闇将軍」は、一方で「元祖・健康オタク」と言ってよかったのだった。
老境に入っても、権力への執念は一向に衰えずで、70歳を記念して小田原に立てた「古稀庵」には、ひっきりなしに政・財・官・軍の実力者が相談事に訪れ、山県は意気軒昂に示唆を与えていたのだった。この頃の山県の述懐にいわく、「話上手は誰にもできるが、聞き上手になることはつくづく難しいものだ」であった。当時、一方で「親しきも疎きも友は先立ちし ながらふる身ぞ悲しかりける」とも詠み、珍しく弱気も見せている。
大正6（1917）年6月、「椿山荘」（現在の文京区内）での80歳の祝賀会が盛大に催された。ここでは、ご機嫌に「しる人もまれになるまで老いぬるを 若きにまじるけふの楽しさ」とも詠みあげたものだった。
それから5年後の大正11年2月1日に死去した。享年85（満年齢＝83）は当時としては極めて長寿の部類に属したが、「元祖・健康オタク」の効果によるものだったかは定かでない。
2月9日、東京・日比谷公園で国葬が営まれたが、庶民の姿はチラホラという異例であった。