一方で、渡の人生には常に病魔がつきまとった。
日下部プロデューサーの「仁義なき戦い」の申し出は体調不良を理由に固辞し、菅原文太の出世作となる。渡は主演ドラマ「忍法かげろう斬り」（72年、フジテレビ系）も途中降板し、弟の渡瀬恒彦が代役を務めた。渡瀬のほうが先に世を去ってしまったが、12年の週刊アサヒ芸能のインタビューでは、貴重な談話を残している。
「兄とは仕事の話はほとんどしないので『仁義なき戦い』の話は知りませんでした。ただ、兄は俳優として大河ドラマの降板など、ついていない面は多々あったかもしれません」
渡瀬が言うように、74年にはNHK大河ドラマ「勝海舟」の主演に抜擢されるも、肋膜炎により第9話をもって降板。入院生活は9カ月に及び、代役は松方弘樹が務めた。映画関係者が回想する。
「この当時、渡が敬愛する高倉健から『体をちゃんと鍛えろ！』と叱責されたこともあります。が、ようやく東映で初主演を飾った『仁義の墓場』（75年）は病み上がりだったため、点滴を打ちながらの撮影に‥‥」
結果的にその異様な迫力が、高い評価を得ることとなる。
「仁義の墓場」公開後には膠原病での入院を余儀なくされた。
76年以降、体調は回復し、ドラマだけでなく歌でも獅子奮迅の活躍を見せた。ヒット曲のひとつに「みちづれ」（75年）があるが、渡と縁の深い牧村三枝子がカバーを申し出る。渡はこれを快諾しただけでなく、自身は歌わないと封印。結果、牧村版「みちづれ」は100万枚近い売り上げを記録。牧村は終生の恩人として、渡に感謝している。
ところが91年、またしても渡に逆境が訪れる。直腸ガンを公表し、直腸を25センチ切り取る手術を受けるが、泣く泣く人工肛門を装着することに。97年には早期の大腸ガンが発見され、内視鏡手術を受けた。
「その後も、15年には急性心筋梗塞で緊急入院。肺気腫と呼吸器疾患という長年の持病とも闘い、晩年は運動もままならない状態でした」（スポーツ紙デスク）
先頃、来年1月16日をもって石原プロが解散することが発表されたばかり。裕次郎から引き継いだ軍団を守り続けた義理と人情の男は大仕事を終え、旅立った。
渡の死に際し、石原プロの中興の祖となった舘ひろしは、あまりのショックでコメントも出せなかった。舘もまた、渡への尊敬と憧れから、83年に石原プロ入社を決めている。12年に石原プロ創立50周年を記念したDVDボックスの発売イベントでは、渡と舘がうれしそうにショットガンを決める姿が印象的であった。