Generating adversarial patches against YOLOv2

・AIの盲点、ブラックボックス

　研究者によれば、なぜこんなことでAIが人を認識できなくなるのかはっきりとはわからないそうだ。

　ほとんどのAIの認識能力は、ニューラルネットワークに物体のサンプルを与え、それがきちんと対象を判断できるようになるまでパラメーターを調整することで完成される。

　ところが、このパラメーターは数百万という膨大なものである。

　そのため、AIの訓練を行なっている人にとってすらも、その中身はブラックボックス化しており、具体的にどのように物体を認識しているのかわからないのだ。




・さあ、いたちごっこの始まりだ

　これによるセキュリティの穴は結構深刻だ。

　今回、カラーの印刷物でAIをごまかせるという欠陥が明らかになった。だから、その印刷物を持っていても人であるとAIに教えることはできるだろう。

　なのでこの動画が出回るころには既に対処されているはずだ。

　しかし、ほかにも欠陥があるだろうことはまず間違いない。そしてAIがブラックボックスと化してしまっている以上、それらすべての欠陥を修正することは至難の技である。

　AIを騙す方法はほかにもあるはずだ。
　それが発見されれば修正される。だがまた別の欠陥が――。

　さあ、いたちごっこのはじまりだ。

References:KU Leuven researchers make themselves invisible to AI cameras – KU Leuven News/ written by hiroching / edited by parumo