「電源を切るだけ」では済まない
AIの「キルスイッチ」とは? 自律型AIの安全対策と米英で進む法規制の最新動向
AIモデルやAIエージェントの能力、自律性が高まる中、問題が発生した際に人間が介入し、システムを停止できる仕組みの重要性が増している。本稿は、米国政府やAIベンダーの動向を紹介する。
AIエージェントが人間の想定を超えて行動したとき、誰が、どのように止めるのか――。AIの自律性が高まる中、この問いが研究上の議論から、現実のセキュリティ対策や法規制のテーマへと変わりつつある。
米国では2026年7月、強力なAIシステムの開発者に、対象システムを減速、停止できる技術的能力の維持を求める「AI Kill Switch Act」が連邦議会に提出された。OpenAIは同年8月、研究環境のセキュリティ強化などを目的に、実環境への提供を想定した最新モデルの強化学習(RL)を2週間停止したと明らかにした。
背景にあるのは、AIモデルやAIエージェントの能力向上に対し、「問題が起きたときに人間が介入できる仕組み」が追い付かなくなることへの懸念だ。英国のNCSC(National Cyber Security Centre)も、エージェント型AIを設計、運用する組織に対し、問題発生時に自律的な活動を即座に停止できるようにすることを求めている。
AIエージェントを「止める」仕組みが現実の課題に
米下院議員のテッド・リュー氏とナサニエル・モラン氏は2026年7月23日、超党派で「AI Kill Switch Act」(H.R.9917)を提出した。法案は下院国土安全保障委員会に付託されている。
法案のポイントは、強力なAIシステムを開発する企業に対し、必要になった場合にシステムを「throttle」(減速)、「suspend」(停止)、「shut down」(シャットダウン)できる技術的能力を維持するよう求めることだ。
さらに、重大な被害を引き起こす可能性のあるAIシステムについては、米国土安全保障長官が商務長官や国家情報長官と協議した上で、減速やシャットダウンを命じられる仕組みも盛り込む。つまり、「AI企業自身が止められるようにしておく」だけではなく、一定の場合には政府側にも停止を要求する権限を持たせる構想だ。
リュー氏とモラン氏は、AI企業がより高度なフロンティアモデルや、自律的に行動するエージェント型システムを開発する一方、現状では「意図しない危険な行動を始めたAIに開発者が介入できる能力」を企業に義務付ける制度がないことを問題視している。
OpenAIは強化学習を2週間停止
AIベンダー側でも、モデル開発のペースを一時的に落として安全対策を強化する動きがある。
OpenAIは2026年8月18日、モデルの能力向上に伴って高まるリスクへの対応策を公表した。同社によると、最近のOpenAIとHugging Faceに関するインシデントに加え、開発中のモデル「Astra」が同社の「Preparedness Framework」で定めるサイバーセキュリティ能力の「Critical」水準に達する可能性を示す初期的な証拠が得られたという。
これを受けてOpenAIは、研究環境のハードニングやレッドチームテスト、監視システムの対象拡大を進めるため、実環境への提供を想定した最新モデルについて、強化学習(RL)を2週間停止した。最大規模として予定していたフロンティアモデル向けのRLも、8月18日時点で停止を継続している。OpenAIはその間、小規模な学習や評価を実施し、モデルの振る舞いや安全策を確認した上で、学習を再開できるだけの根拠を集めるとしている。
注目すべきは、AIの安全対策が「完成したモデルを公開する前にテストする」という段階だけでは済まなくなっている点だ。OpenAIは、モデルが高性能になるにつれて、開発中や学習中のモデルそのものが持つリスクも高まるという認識だ。さらに、学習プロセス全体の監視、アラインメント、封じ込め策を強化する必要があるとの認識を示している。
「モデル内蔵の安全機能」だけでは足りない
こうした米国の動きと共通するのが、英国NCSCが示した「モデルに組み込まれた安全機能だけに依存しない」という考え方だ。
NCSCは、AIモデルに組み込まれた安全策を把握するだけでなく、失敗した場合の影響が組織の許容範囲を超えるなら、追加の対策を用意すべきだとしている。具体的には、サンドボックスによる実行環境の制限、外部ネットワークや認証情報へのアクセス制御、監査ログや監視の整備などを挙げる。
ここでいう「キルスイッチ」も、単なる電源ボタンとは限らない。NCSCは、自律的な活動を停止するだけでなく、AIエージェントのインフラから外部ネットワークへの接続を遮断したり、エージェントとモデル推論基盤との通信を止めたりする方法も想定している。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[テクバン株式会社] 1画面でITサービスデスク業務が完結 太陽ホールディングスに学ぶデバイス管理 -
製品資料
[デジタルサーカス株式会社] ライセンス無料 Drupalベースの「多言語ECサイト開発用パッケージ」の実力は? -
製品資料
[デジタルサーカス株式会社] 日本発グローバル企業用Drupal「Risley(リズリー)」の実力とは? -
製品資料
[デジタルサーカス株式会社] Drupalサイト運用のリスク解消 潜在的なセキュリティ問題を迅速に発見する方法 -
製品資料
[株式会社ソースポッド] SCS評価制度への対応で工数が増大? 取得後の管理・運用をどう進めるべきか
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
半数がブルーカラー転向を視野に? ベテランエンジニアを追い込む“54歳の壁”
-
2
OpenAIやAnthropicでさえ制御不能 2026年夏「3大サイバー攻撃」の衝撃
-
3
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
4
なぜ「Gemini 4 Argon」は出遅れたのか? Googleが狙う“逆転のシナリオ”
-
5
ChatGPTは“検索しまくり”でGeminiは“淡泊”? データが明かすAIの裏側
-
6
世界PC出荷数が20%急減 情シスを直撃するPC先行調達の反動と価格高騰
-
7
「レガシーシステム・老朽化システムの運用課題と刷新」に関するアンケート
-
8
セキュリティは「情シス任せ」が過半数 漏えい発生時やSCS評価制度の課題は?
-
9
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
10
326のIPアドレスで1200超のアクセス AIエージェント関与が疑われる攻撃の中身
ホワイトペーパーランキング PR
-
1
家庭用Wi-Fiルーターの業務利用は危険? 避けるべき理由と具体的な対策
-
2
システムの保守がモダン化を阻む? 「変えない判断」から脱却する方法とは
-
3
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
4
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
5
なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは
-
6
プログラミング不要で誰でも実現できる、ネットワーク運用管理の自動化とは
-
7
東大教授と考える、AI時代の「データ主権」「信頼性」「ガバナンス」の在り方
-
8
Linux初心者でも知らないとまずい「RHEL」「SLES」の違いとは?
-
9
最速72分でデータが流出? 最新の脅威トレンドや侵入手法から分かった防衛策
-
10
生成AIの活用を阻む「5つの壁」とは? AIネイティブ組織へ変革を遂げる方法
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー