やがて又右衛門は剣の腕前を見込まれ、大和郡山藩主松平忠明に剣術指南として招かれた二年後のこと。ある事件が起きた。

　寛永七年（１６３０）七月二一日の暮れ。岡山藩士河合半左衛門の息子、又五郎が藩主池田忠雄の小姓、渡辺源太夫を殺害したのである。

　通説では又五郎が藩主忠雄の寵童だった源太夫に男色の関係を迫り、断られて逆上したという。

　殺された源太夫は渡辺数馬の弟。この数馬も源太夫も又右衛門の妻の弟たちに当たる。

　こうして又右衛門は郡山藩の剣術指南役を辞してまで、義弟の仇討ちに加勢することになった。この義理堅い彼の性格が後に講談で語られ、英雄視される素地になったのだろう。

　しかし、この仇討ちは逆縁だった。仇討ちというのは家臣が主君の、あるいは子が親の、さらには弟が兄のと、上位の者の無念を晴らすのが原則。逆縁は認められていなかった。

　ところが、息子が処罰されることを恐れた河合半左衛門が池田家と不仲の旗本安藤家へ又五郎を逃がし、藩主の忠雄を激怒させたことで事態は急展開する。

　池田家が又五郎の身柄引き渡しを求めたものの、安藤家では身柄を引き渡さず、愚弄されたと思った藩主忠雄は幕府の老中に対して、又五郎らの身柄を渡すまでは「登城つかまつりまじく」と訴え出たのだ（『渡辺数馬敵打次第』）。

　忠雄は徳川家康の孫に当たる。当然幕府は慌てた。かといって、当時はまだ戦国の気風が残っている時代だったから、旗本の安藤家も譲らない。

　一方、池田家の縁戚には徳島の蜂須賀家、仙台の伊達家と錚々たる外様大名が控えている。こうして、事件は旗本と外様大名の対立へと発展したのだ。やがて藩主忠雄が、旗本の安藤家へ意趣を残したまま疱瘡のために死去。次の藩主光仲はまだ幼少だという理由で岡山から鳥取へ国替えを命じられた。仇討ち問題で世間を騒がしたことへの責任を取らされた形でもあった。

　こうして数馬には上意討ちの名目が与えられ、鳥取藩内でその大願成就に期待が集まったのだ。

　又右衛門と数馬は又五郎を探し回り、寛永一一年（１６３４）一一月五日の夜、ようやく彼が奈良にいることをつかんだ。