［画像を見る］

　アメリカ、MITのコンピューターサイエンス人工知能研究所では、コンピューターに音と映像との関係を教えている。研究チームが開発した人工知能システムは、あるイメージに結びついた音を予測するだけでなく、音自体を真似することができる。そのディープラーニングアルゴリズムが再現する音は非常に巧みで、人間ですら騙されるほどだそうだ。これについて研究者は一種の「音のチューリングテスト」と語っている。

　



［動画を見る］

Visually-Indicated Sounds

　AIに音を教えるために、まず1,000本ほどの動画が録画された。そこにはドラムスティックを使ってさまざまな表面を叩く場面が映っており、計46,000種の音が録音されている。AIはこれらを通じてどの音がどの場面に対応しているのか自己学習した。例えば、水面を叩く場面、葉っぱをカサカサ搔き回す場面、金属の表面を叩く場面とそこから生まれる音の違いを学習するといった具合だ。

　次に学習度合いを確認するために、AIにいくつか新しい動画を見せた。この動画にはやはりドラムスティックでさまざまな表面を叩く場面が録画されているが、音は消されている。するとAIは研究者が「グレイテストヒッツ」と呼ぶ音のデータセットを使用して、新しい動画に応じた音を作り出す。このとき、オリジナルの動画に録音されているごく短い音が取り出され、それをつなぎ合わせて完全に新しい音の組み合わせが作られている。