「計算が全て」になる悪夢の日 「猫」を「犬だ」と言うAIさえ疑えない：AIにどこまで委ねるか？【中編】

コンピュータによる計算は正確だと言えるが、AIモデルが計算によって導き出す答えを人間が信じるかどうかは別の話だ。ただし人間はAIモデルが出力する結果を信じる傾向にある。

[Sebastian Klovig Skelton，TechTarget]

　人間のオペレーターが直接制御または指揮することなく標的を選定、探知、攻撃する兵器システム「自律型兵器システム」（AWS：Autonomous Weapon Systems）について、戦場に投入するかどうかの議論が広がっている。SRE（サイト信頼性エンジニアリング）ベンダーStanza Systemsでプリンシパルソフトウェアエンジニアを務め、英国の殺人ロボット撲滅キャンペーン「Stop Killer Robots」のメンバーでもあるローラ・ノーラン氏は、自律型兵器システムの懸念を指摘する。その一つが、自動化システムからの出力を、別の情報源からの情報よりも信用してしまう人間の傾向「自動化バイアス」だ。

「猫」が「犬」でも計算は正しい　自動化バイアスが招く悪夢とは

併せて読みたいお薦め記事

連載：AIにどこまで委ねるか？

• 前編：人間は「予測不能なこと」をAIに期待していない？　戦闘で考える“倫理問題”

AIの軍事利用に関する記事

• アクセンチュアが考える「生成AI」の“リスク”こそ大切な理由
• 「AIが戦争を終わらせてくれる」と信じるのは“危険”なのか、正しいのか？

　ノーラン氏によると、自動化バイアスを完全に排除するのは不可能だという。「ヒューマンファクター」（システム全体の機能に影響する人間の特性）の分野では、自動化バイアスをいかに減らしていくかについての研究が活発に実施されてきた。しかしノーラン氏によると、その解決法はまだ分かっていない。攻撃の戦略的価値を自律的に判断することは、自律型兵器システムには難しいというのが同氏の考えだ。「AI兵器はあくまでMLモデルで認識できる要素に注目し、ただ計算をしているだけ。軍事的な価値は何も分からないはずだ」

　ケンブリッジ大学（University of Cambridge）でCentre for the Study of Existential Risk（CSER：生存リスク研究センター）客員研究員を務めるタニエル・ユセフ氏は、自律型兵器システムが画像を識別するために、数学的に画像ピクセルを割り当てる方法を説明し、「計算が正確だったとしても、導き出される結果が必ずしも正しいわけではない」と指摘する。

　ユセフ氏は例として、犬と猫の画像を識別するために設計したAIアルゴリズムのテストを挙げる。テストでは、AIアルゴリズムが猫を犬だと誤って判断したケースもあり、このように単純なタスクでさえ失敗する可能性が露呈した。同様の失敗が戦場で起きて、現地で民間人が殺害される可能性は否定できない。そうした事態が起きても、兵器は「計算結果だった」としか説明できない。

　AI技術による計算結果は正確に見えるので、人間はつい決定を委ねてしまう傾向にある。しかし、コーディングされた計算結果は正しくても、戦場においてはその結果が正しいとは限らない。計算によってどのように目標を導き出したのか、システムがどのようにその目標を達成するのかは、実行されるまで分からないことも問題だ。「攻撃の妥当性の判断をAIに責任を委ねることは、技術的に不可能だ」とユセフ氏は強調する。

---

　後編は、AIの軍事利用に関する議論の動向について解説する。

Computer Weekly発 世界に学ぶIT導入・活用術

米国TechTargetが運営する英国Computer Weeklyの豊富な記事の中から、海外企業のIT製品導入事例や業種別のIT活用トレンドを厳選してお届けします。