日本発「AI-PoCプロトコル」2000万の問題を7時間で解き全て正解スピードは現状の20万倍、正解確率は統計的に99.999985% (2/5ページ)
① テストのシナリオが簡単すぎる→本番要件と乖離→実務に耐えない→結果として導入が進まない
② シナリオ数が不足→判断材料が不足→応答できる範囲に限度・運用の想定不足→実務に耐えない→本番導入が進まない
③ コスト高、人材不足、実施時間の長期化
④ AIの不適切な挙動による不確実性・不安定性・再現性の欠如の状態把握
⑤ 評価基準が曖昧 KPI・ROI
AI-PoCプロトコルの仕組み
安全工学に基づき、AIの不適切な挙動を構造的に複数のセーフティガードにより排除・制御する、いわゆる「多層防御」を採用。例えば、自動運転を例にとるならば、交通ルールや法律などで運転者の判断や行動を定めています。これらのルールを分析・統合すると、TPOで運転者の取るべき判断・行動が決まります。それをまとめることで、いわゆる「ルールブック（マニュアル）」が編纂できます。そして、このルールブックに基づいてAIが評価することで、7時間で2000万件のPoCが実現するという仕組みです。AIは、こういった検証作業は得意で迅速です。
しかし、AIはこのルールブックには従うとは限りません。ハルシネーション（幻覚・作話）や揺らぎが起これば、ルールブックを無視することになり、「急ぐから信号を無視する」という判断をしないとも限らないのです。事実、当社が行った10以上の実験では、高頻度でマニュアルを無視しました。また、最近の実験では、認知制御アルゴリズム（※）を適用した2モデルのAIは指示通りにPoCを行ったが、不適応の2モデルのAIは、PoCを行わず、データを捏造しました。これは、研究としては致命的です。認知制御アルゴリズムのインストール後は、設計者の意図に従うことは、統計的に明らかになっています。
