AIリスクの10%超は「壊滅的損害」 MIT調査結果は企業に何を問いかけているのか？：問われるAIガバナンス

MIT主導の調査により、主要なAIリスクの多くで壊滅的な損害が発生する確率が10%を超えている実態が判明した。現在のガバナンスはサイバーセキュリティ対策に偏り、社会的リスクへの対応が後手に回っている。情シスリーダーには技術的対策を超えた運用ガバナンスの構築が求められている。

[Kinza Yasar，TechTarget]

　37カ国272人のAI専門家を対象にマサチューセッツ工科大学（MIT）が主導して実施した新しい調査が、研究者が長年鳴らしてきた警鐘を数値で裏付けた。高度なAIシステムが「壊滅的な被害」をもたらす可能性があるという内容だ。

　具体的には、現在の開発傾向が続くと、24のリスクカテゴリーのうち18項目で、壊滅的な事態を招く確率が10％を超えると専門家は判断した。

　大半の産業では、これほどの規模のリスク評価は徹底的な規制監視の対象となる。しかし、AIガバナンスは初期段階にあり、断片的だ。世界中で規制の枠組みは増えているが、その大半は自主的または原則ベースで強制力は限られている。各国政府は依然として、実務でAIをどのように監督すべきか苦慮しているのが現状だ。

　MITの研究論文「AIのリスクの優先順位付け：国際的な専門家272人を対象としたデルファイ法による調査（Prioritization of Risks from Artificial Intelligence: A Delphi Study of 272 International Experts）」は、AI専門家に大きな問いを投げかけている。AIガバナンスの取り組みは、専門家が特定した広範なリスクに対応しているのか。それとも、既存のセキュリティの枠組みに沿ったものに限定されているのだろうか？

　近年の政策決定は後者を示唆している。高度なAIシステムとサイバーセキュリティのリスクへの懸念は高まっている。Anthropicの「Mythos Preview」モデルが、前例のない速度でソフトウェアの脆弱（ぜいじゃく）性を特定・悪用できるという報告もその一例だ。これを受け、米国のトランプ政権は、高度なAIモデルのリリース前に政府が早期にアクセスすることを求める大統領令を発令した。これはこれまでで最も重要なAIガバナンスのアクションの1つだが、きっかけはサイバーセキュリティ上の恐怖だった。

　これはAIガバナンスのパターンを反映している。サイバーセキュリティ、不正利用、国家安全保障に関連するリスクは、即座に政策的な関心を集める。一方で、公平性、透明性、説明責任、労働への影響、権力の集中といった「責任あるAI」についての懸念は、緊急性が低いものとして扱われている。

MITの調査が明らかにしたAIのリスク

「AIのリスクとガバナンス」に関連する編集部お薦め記事

　MIT FutureTechとクイーンズランド大学心理学部が発表したこの調査では、参加者に5年間のスパンで24カテゴリーのAIリスクを評価させた。AIが「善」か「悪」かを判断するのではなく、異なる開発シナリオの下で、壊滅的な結果が生じる可能性、深刻度、潜在的な影響を評価したものだ。

　ここでの「壊滅的（Catastrophic）」とは、大量の死傷者、世界規模の重大な経済混乱、またはそれに匹敵する社会的損害を伴う結果を指す。この基準は意図的に高く設定されている。AIのバイアスやハルシネーション（幻覚）、孤立したセキュリティインシデントといった身近な懸念を超え、AIが大規模でシステム的な危機を招く可能性があるかどうかを問うている。

　調査には「デルファイ法」が用いられた。これは、専門家が匿名でのフィードバックを受けながら複数回の回答を行う構造化された予測手法で、バイアスを排除し、熟考された合意形成を目指すものだ。原子力安全やパンデミックの予測など、低確率・高影響のリスクを評価するためによく使われる手法である。

　調査で特定された、最も懸念すべきカテゴリーは以下の通りだ。

• AIを悪用したサイバー攻撃と攻撃的セキュリティ能力
• AI支援による生物兵器または化学兵器の開発
• 大規模な情報の誤操作と世論操作
• 少数の企業や政府への権力集中
• 安全性を欠いた導入を招く競争圧力

　同調査では、壊滅的な結果を「100万人以上の死亡、1000億ドル以上の経済損失、または同等の社会的損害」と定義した。リスク軽減策を適用した場合でも、「危険な能力の悪用」「兵器とサイバー攻撃」「環境被害」「格差と失業」「権力の集中」の5つのリスクは依然として10％の基準を超えていた。また、全24項目が少なくとも5％のリスクを持つと見なされた。

　回答に共通するのは、重大なリスクは単なる技術的失敗ではないという点だ。むしろ、AIが現実世界のインセンティブによってどのように展開、拡張、形成されるかという「組織的な悪用」や「ガバナンスの崩壊」を反映している。

　もう1つの重要な発見は「説明責任のギャップ」だ。専門家は、AIリスクを軽減する主な責任は開発者、規制当局、標準化団体にあると述べた。しかし、リスクが放置された場合にその結果を最もかぶるのは「一般市民」だと特定した。

　MITの調査に参加した、AIガバナンスプラットフォームTrustibleのCTO兼共同創業者、アンドリュー・ガミノ＝チョン氏は、この不均衡が最も衝撃的な結論の1つだと語る。「最大の教訓は、AIリスクで最も脆弱なグループが、そのリスクで最も責任を負っていないという合意が得られたことだ」と同氏は述べる。

　この発見は、AIガバナンスの中心的な課題を浮き彫りにしている。AIリスクに最もさらされている人々が、システムの開発や導入方法で最も影響力を持っていないのだ。

　これらの知見を総合すると、専門家はAIのリスクを形作る広範な要因をますます懸念していることが分かる。競争圧力、ガバナンスの欠如、AI開発を突き動かすインセンティブなどだ。今日の関心の多くがセキュリティ関連の脅威に集中しているにもかかわらず、専門家の視座はより広範な領域に向かっている。

なぜセキュリティがAIガバナンスを左右するのか

　航空、原子力、製薬などの分野は、低確率でも重大なリスクには厳格な監視が必要だという考えに基づいている。開発サイクルは遅く、義務的な安全テストがあり、中央集権的な規制がある。一方、AIにはそれに匹敵するシステムがない。研究者の懸念が高まっても、開発は急速なペースで進み、競争は激化し、ガバナンスの枠組みは法域ごとに断片的で一貫性がない。

　自動SEOコンテンツ制作サービスBlogBusterのAI研究開発責任者、ラッセル・トウィリジャー氏は、他の産業が同様のリスク評価に直面すれば、規制当局の反応は異なると指摘する。「それが航空や原子力、医薬品であれば、規制当局は即座に、信じられないほど攻撃的に対応するだろう。なぜかAIだけは、壊滅的になり得るとは見なされていないのだ」と同氏は言う。

　この違いが、AIガバナンスが主にセキュリティのレンズを通して進化してきた理由を説明している。サイバー攻撃、偽情報キャンペーン、生物・化学兵器への悪用などのセキュリティ脅威は、既存の規制や国家安全保証の枠組みに適合しやすい。特定が容易で、責任の所在を明確にしやすいため、説明責任や労働問題、権力集中といった広範な社会的懸念よりも先に注目される。

　米ホワイトハウスが高度なAIモデルへの早期アクセスを求めた大統領令は、政策立案者のアプローチを象徴している。この行動は、広範な「責任あるAI」への懸念ではなく、主にサイバーセキュリティ、不正利用、国家安全保証への懸念に突き動かされたものだ。

　セキュリティはガバナンスの重要な要素だが、ガバナンスの課題の全てではないと、Trustibleのガミノ＝チョン氏は言う。「ジェイルブレイクやプロンプトインジェクション、データ漏えいに強いセキュアなモデルを作ることはできる。だが、だからといって大量の履歴書をアップロードして、誰を採用すべきかAIに尋ねることが許されるわけではない。その行為は技術的には安全かもしれないが、対処が必要な倫理的・法的な意味合いをはらんでいる」と同氏は指摘する。

　人材獲得プラットフォームFindemのAI担当シニアアドバイザー、ティナ・パイケデイ氏は、セキュリティと責任あるAIの境界があいまいになっていると指摘する。「両者は急速に収束しており、それらを切り離して考えることはリスクだ。セキュリティ侵害もバイアスの失敗も、どちらも『責任あるAI』の失敗なのだ」と同氏は語る。

　パイケデイ氏によれば、ガバナンスの枠組みはもはや、セキュリティと責任あるAIを別のものとして扱うことはできない。どちらの領域のリスクも、最終的には組織の信頼、コンプライアンスリスク、そして現実世界での被害へと収束するからだ。

　サイバーセキュリティとコンプライアンスの組織であるTrustNetの共同創業者兼CISO、トレバー・ホロウィッツ氏は、MITの調査が強調するリスクの多くがセキュリティ上の懸念と交差していると指摘する。それが、ガバナンスの取り組みがセキュリティに引き寄せられがちな理由だ。

　「調査で際立っているのは、上位にランクされたリスクの多くが純粋な技術的問題ではないことだ。AIによるサイバー攻撃、偽情報、権力集中、高度な能力の悪用などは、全て人間の決定、組織のインセンティブ、そしてガバナンス構造に左右される」と同氏は述べる。

広範なAIリスクの統制が難しい理由

　セキュリティリスクは既存のガバナンスの枠組みに適合しやすいが、より広範なAIリスクに対処するのはかなり困難だ。

　バイアス、透明性、説明責任、労働への影響、権力の集中といった問題には、単一の失敗点や明確な責任者がいることはまれだ。代わりに、組織の決定、導入プロセス、時間の経過とともに進化する経済的インセンティブを通じて発生する。この複雑さが、従来的なサイバーセキュリティ脅威よりも、これらの問題を測定、規制、執行することを難しくしている。

　法律専門家向けAIプラットフォームSavvyLexの創設者兼最高AI責任者（CAIO）、マルセロ・ロレンツェッティ氏は、AIリスクは理論的なものから運用上のものへと変化していると話す。「重要なのは、AIのリスクがもはやチャットボットが間違った答えを出すかどうかだけではないという点だ。実際の企業では、リスクは運用に直結している。セキュリティ、データアクセス、ワークフロー設計、意思決定、説明責任、そして権力の集中に関わっているのだ」と同氏は言う。

　この変化は、ガバナンスが高いレベルの原則にとどまることはできず、AIが実際にどのように使用されるかを決定するシステム、コントロール、プロセスの中に組み込まれなければならないことを意味している。

　幾つかの構造的な要因がこの力学を補強している。AIリスクは不確実で未来的なので、明確な規制のしきい値を確立するのが難しい。競争は企業や国家にスピードを強いる。ガバナンスの責任は多くの関係者に分散している。同時に、AIの利点は即座に目に見えるが、リスクの多くは長期的または不確実だ。

　「これらのインセンティブは、予測可能なガバナンスの遅れを生み出す。AIを迅速に導入するメリットは即座に可視化されるが、リスクは往々にして遅れて現れ、分散し、特定の個人や一企業に帰属させることが難しい。企業は価値を求めて迅速に動く一方で、政策、規制、監査、説明責任の動きはそれよりもずっと遅い」とロレンツェッティ氏は分析する。

MITの調査結果がAIガバナンスに意味するもの

　政策立案者や企業のリーダーにとって、MITの調査結果は単なる将来のリスクへの警告ではない。それは、ガバナンスが、専門家が「現実味を帯びている」とする種類のリスクを管理する備えができているかどうかのテストである。

　大半の企業では、セキュリティチームやCISOがAIガバナンスの責任を負っているが、より広範な「責任あるAI」の機能は、明確な責任者が欠けていたり、優先順位が下げられたりしている。

　TrustNetのホロウィッツ氏は、企業がガバナンスできる速度を超えてAIを導入する中で、そのギャップがますます顕著になっていると話す。「企業は事業運営全体にAI機能を急速に導入している。しかし、AIがどこで使われ、どのような意思決定に影響を与え、誰がリスクを負い、どのようなガバナンスメカニズムを設けるべきかを理解しようとしている段階の組織が多い」と同氏は述べる。

　SavvyLexのロレンツェッティ氏は、大半のガバナンス施策がポリシーのレベルで止まっており、AIリスクを管理するために必要な運用管理へのフォーカスが不十分だと指摘する。リーダーは、AIシステムがどのように使用されているか、どのような権限を持っているか、リスクの高いアプリケーションがどのようにレビューされているか、そして何かが起きたときに誰が責任を負うのかについて、より明確な可視性を持つ必要があるという。

　Findemのパイケデイ氏は、ガバナンスがイノベーションを遅らせるという考え方に異を唱える。「ガバナンスが、AIからより多くの成果を得るためのスピードを落とすという誤解がある。実際には、ガバナンスこそがAIからより多くの成果を引き出すための方法なのだ」

　AIシステムがより有能になり、広く普及するにつれ、より明確な標準、正式な説明責任構造、そして業界全体の安全性とテストの基準を求める圧力は強まるだろう。しかし、課題は技術的、規制的なものだけではない。それは「組織的」なものだ。ガバナンスが、監督対象であるAIシステムの進化に追い付くほど迅速に進化できるのか。それとも、既存のセキュリティの枠組みに適合するリスクだけにとらわれ続けるのかが問われている。

　BlogBusterのトウィリジャー氏によれば、イノベーションとガバナンスの間の不均衡は広がり続けている。「懸念されるのは、ガバナンスの対応よりも（AIの進化の）動きがはるかに速いことだ。誰もが大きなリスクがあることを知っているが、レースで負けないためにスピードを落とそうとする者はいない」と同氏は語る。

　この緊張関係こそが、MITの調査から浮かび上がった中心的な問題の1つかもしれない。専門家の懸念は、単なるセキュリティの脅威だけでなく、ガバナンスの失敗、インセンティブ構造、そして説明責任の欠如にまで及んでいる。しかし、目に見える政策対応の多くは、依然としてセキュリティを主眼に置いている。

　ガバナンスがセキュリティ第一の枠組みを超え、専門家が重大だと見なす広範なリスクに対処できるかどうか。それがAI監督の次のフェーズを定義することになるだろう。