料理動画を見てレシピを学び料理を再現するロボットを開発 (2/4ページ)
[動画を見る]
Robot ‘chef’ learns to recreate recipes from watching food videos
・まずはサラダを作ってもらうことに
研究チームはまず、一般公開されているニューラルネットワーク(人間の脳の神経回路の構造を数学的に表現する手法)で、食材や物体を認識できるようロボットを訓練した。
そのうえで8種類のサラダのレシピがまとめられた「料理の本」を学習させ、さらに実際に作っている様子を撮影した動画も見せてやった。
すると料理本のどのレシピが作られているのか、動画から正しく言い当てることができたという。
動画を目にしたロボットは、コンピュータビジョンで動画の各フレームを分析し、ナイフや食材といったさまざまな物体の特徴や、人間の腕の動きなどを検出する。
[画像を見る]
そうした情報はベクトル(動きの方向と距離を数学的に表したもの)に変換される。ロボットはこのデータをもとに料理本と動画を比較して、どの料理を作っているのか判断する。
その結果はかなり正確で、16本の動画を見せたところ、人間の動きの83%を正しく検出し、作られているレシピの93%を正しく認識できたという。
人間が包丁とニンジンを持っていれば、これからニンジンを切るのだと予測することもできる。
さらには分量が倍だったり、人間がミスったりといった作り方に多少の違いがあっても、同じレシピであると正しく判断できたそうだ。
それだけでなく、新しいサラダのレシピまで考案して、実際に作って見せたというのだから、将来的な可能性は計り知れない。