精度99%では足りない? こうすれば統計でAIの性能や安全性を証明できる (3/3ページ)
A条件(素のAI): 自動運転AI単体による走行判断(帰納的推論の揺らぎをそのまま観測)
B条件(ドライバーAI + SRC-AI): 演繹的チェックを行うSRC、動的検知を行う監視AI、安全側に倒す監査AIの三層構造
【総合結果比較(N = 10,000)】
総サンプルサイズ: N = 10,000ケース(10シナリオ各1,000ケース)
[資料: https://files.value-press.com/czMjYXJ0aWNsZSMzNzkzMyMzODI3NTQjMzc5MzNfc0JURHhPRnljVy5wbmc.png ]
本検証データが証明する3つの決定的な優位性
P値による「偶然性の排除」
すべての主要指標において P
信頼区間による「限界値の保証」
一般AIのパーセンテージと「95%信頼区間」の数値を比較します。その数値が全く重なっていません。95%の信頼性があるという証明です。
効果量(Cohen's h)による「効果の確認」
効果量(Cohen's h)は、2つの独立したグループの割合(比率)の差を標準化して評価する指標です。指標は次の通りです。
• 0.2 未満:ほとんど効果なし(無視できる差)
• 0.2 程度:小さい効果(Small)
• 0.5 程度:中程度の効果(Medium)
• 0.8 以上:大きい効果(Large)。
AIの性能に安全性を加え統計で証明する
以上の通り、AIの性能や安全性を統計数値で表すことが可能になります。
統計数値で安全性を含めた性能の高さを証明すればWP.29をはじめとした規制当局を説得する強いエビデンスとなるはずです。
本件では統計という専門性が求められますが、AIに分析させれば専門的な知識はほとんど必要ありません。
このプレスリリースをあなたがお使いのAIにそのまま読ませてみてください。
その実行可能性を、あなたのAI自身が正確に理解し、証明・評価するはずです。
合同会社メンタルナビ
代表:村田芳実
日本心理学会認定心理士/人工知能学会正会員
連絡先:biribiriglay☆jcom.home.ne.jp
☆に@を入れてご使用ください。
提供元:valuepressプレスリリース詳細へ