精度99％では足りない？ こうすれば統計でAIの性能や安全性を証明できる

合同会社メンタルナビ（東京都西東京市、代表：村田芳実）は、AIの評価方法について確立いたしましたので、その方法について公表いたします。研究論文、製造現場、製薬でも性能や安全性は統計で検証します。しかし、AIは統計で検証することはできません。この理由と、統計を使用する方法を公表します。

問題①：確率論的AIが抱える「制御不可能性」
ディープラーニングをはじめとする従来の基盤モデルは、確率論的な推論をベースとしているため、認識ノイズ、物理限界、複合的なエッジケースにおいて「揺らぎ（ハルシネーションやルール逸脱）」の発生を完全に回避することが原理的に不可能です。これを解決するのが、10月16日にプレスリリースしたAIシステムが「SRC-RSI（構造的応答制御・再帰的自己改善型AI）」です。
AI業界ではこれまで、「安全性を高めれば開発スピードや性能が落ちる」というトレードオフが当然視されてきました。しかし、ミッションクリティカルな領域（自動運転、医療、金融、インフラ制御など）において、数％の確率で発生する例外や暴走は、許容できない致命的なリスクとなります。

問題②：AIの精度評価の問題点～99%でも高精度とは言えない～
現在のAI開発では、「正答率」「精度」「ベンチマークスコア」など、AIの性能を示すさまざまな指標が使われています。しかし、AIが社会の中で実際に判断を行うようになると、単に「何％正解したか」だけでは、本来の性能を評価できません。自動運転を例にとれば、99%の精度であったとしても、100回の運転操作で1回はミスをすることになります(ミスの発生確率＝1/100)。製造業の品質基準では6σが有名ですが、ミスの発生確率は「3.4/1,000,000」ということになります。また、ヒューマンエラーの確率は「1/1000~1/10,000」と言われていますが、これと比較してもAIのミスの発生確率はけた違いに高くなっています。

問題③：性能と安全性の定義の問題
「正確性」と「処理スピード」はAIの性能を測る上で最も基本かつ重要な評価軸です。