文吉の媒酌で妻・豊子を迎え、その後は、文吉が経営していた須賀山村の賭場を任され、24歳で「笹川一家」の親分となった。天保13（1842）年、33歳の時には、後の講談の「笹川の花会（はながい）」で語られているように、7月27、28日、諏訪大神（現・香取郡東庄町笹川）の境内に、自身が若い頃に打ち込んだ相撲の神様・野見宿禰命（のみのすくねのみこと）の石碑を建立し、天保の大飢饉（1833〜1839）で苦しむ近在の村人たちを救うため、旅籠（はたご）の「十一（じゅういち）屋」で、親分衆のみの博打の会・花会を開いた。そこには上州（現・群馬県）の大前田英五郎（1793〜1874）や国定忠治（1810〜1851）、駿州（現・静岡県）の清水次郎長（1820〜1893）など、名だたる親分衆が全国から100人ほど集結したと言われている。このことから繁蔵は、義理人情に厚いばかりでなく、多くの親分衆が遠くから「わざわざ」やって来るだけの「人望」があったことを裏づけるものだ。

■目立てば目立つほどに敵を作らざるを得なかった

しかし、そういう「きわ立った」人物には、敵も多い。「大利根河原の決闘」の１ヶ月前に、「飯岡の村内を繁蔵ほか数人が長脇差を帯びて押し歩くので召捕りを願いたい」という請願が匝瑳（そうさ）郡大田村（現・旭市）の寄場（よせば）役人に出された。それが関東取締出役に上申され、8月3日に繁蔵の召捕（めしとり）状が出された。その「実行役」が、関東取締出役の「道案内」であった飯岡助五郎だった。しかし繁蔵はこの動きを察知し、4日に飯岡側に殴り込みをかける。双方、さほど痛手はなかったという。それに激した飯岡側は、繁蔵を捕縛すべく、あの有名な「大利根河原の決闘」に至るのだ。

その後繁蔵は下総を離れ、大和国（現・奈良県）や紀伊国（現・和歌山県）、有馬温泉（現・兵庫県）などを巡り、3年近く身を隠していたものの、「もう大丈夫」と思ったのだろう。弘化4（1847）年の春先に、故郷に戻った。かつての子分たちもまた、繁蔵のもとに再結集し始めていた。とはいえ、助五郎が恨みを忘れていないことを認識していた繁蔵は堂々と振る舞うことはせず、なじみ深い十一屋に身を潜め、そこから子分に護られながら、賭場や妻・豊子の元に通っていたという。