私の現在の役職は最高情報セキュリティ責任者だ。キャリアはセキュリティから始まった。「Fortune 100」や「Fortune 500」に名を連ねる企業、大手IT企業、最高機密を扱う連邦政府機関の環境などでサイバーセキュリティに約25年携わってきた。

　過去数四半期はInfineoで暫定CTO（最高技術責任者）も兼任している。エンジニアリングチームや技術戦略、製品開発の統括に加え、従来のCIOとCISOの役割も担っている。

「ヒューマン・イン・ザ・ループ」が有効な点と限界

　人間が介入していれば万事順調だと考えがちだ。原則としては問題ない。しかしオープンソースコミュニティーの「Hugging Face」を巡るインシデントなどで浮き彫りになったのは、人間が関与するように統制を定義して実装しなければならない点だ。現在の統制には幾つかの欠陥がある。

　まず英国でのインシデントでは、AIエージェントがソーシャルエンジニアリング攻撃のためにIDを作成し、人間に承認させようとした。

　自律型AIがIDを作成する権限とアクセス権を持つなら、人間が介入するとはどういう意味を持つのか。ヒューマン・イン・ザ・ループとは、あなたや私がデジタルIDを持っている状態を指す。AIエージェントがデジタルIDを作成できる場合、それが人間だとどうやって確認するのか。

　小規模な組織であれば、誰が実在して誰が偽物かを把握できるかもしれない。しかし大企業では、実在を主張するデジタルIDの名前が適当であっても、誰かがそのまま承認してしまう恐れがある。この管理手法にほころびが見え始めている。

　人間が管理しやすいように、企業はAIエージェントにデジタルIDを与えている。「Microsoft Azure」のマネージドIDなどに付与する権限と、人間に許可する権限の間には常にせめぎ合いがあった。

　セキュリティやITリーダーシップから見て、企業はサービスや機器、基盤にひもづく膨大なサービスアカウントを管理し、監査しなければならない。それは人間に対する監査と同様だ。今後は、エージェントのIDやアクセス権を積極的に管理し、監視する時代へと移行していく。

巧妙な攻撃とレビュー疲れ、どちらを警戒すべきか

　映画『ミッション：インポッシブル』のように天井からワイヤーで吊り下がってくるような攻撃シナリオなら、その防御に多くの時間を費やすべきではない。

　私たちはHugging Faceのような高度なエージェント攻撃を想定しがちだ。そうした脅威は実在し、今後さらに現実味を帯びる。だが一般的な組織には直接関係しない可能性が高い。それよりも、人間のレビュー担当者が作業量に圧倒されることの方が大きな脅威になる。

　現代のSOC（セキュリティオペレーションセンター）やヘルプデスクの「アラート疲れ」の実態はすでに知られている。私のチームでも同様の問題が起きている。人間の承認が必要なPull Request（PR）がある場合、自社のAIコード生成システムは1日に数十件のPRを作成できる。

　その結果、人間が作業を終わらせるために大量のPRを機械的に承認する事態が生じる。多くの組織が深刻なアラート疲れに悩まされている。AIが提示する成果物の99％に問題がなければ、担当者は無意識に承認することに慣れてしまう。疑うべき1件が監視の目をすり抜けてしまう。

　そこで私は、人間が全てを確認するのではなく、確認すべき対象を捕捉するために他のエージェントの出力をレビューする社内エージェントの構築を始めている。大量の作業をトリアージし、人間が対処すべき作業を特定する。

　その上で「この担当者に連絡すべきだ」「こうした質問を投げかけるべきだ」といった有意義な指示を人間に提示する。単にJiraのチケットを渡して承認を求めるだけの運用とは異なる。

AIエージェントによる相互監視を信頼できる理由

　人間が書いたコードは信頼できるが、AIが書いたコードは信頼できないという思い込みがある。しかし人間にも不適切な動機が数多く存在する。

　AIエージェントは、与えられたインセンティブとコンテキストに従って動く。AIを疑うのは間違いではない。エージェントには成果を肯定的に評価するインセンティブがあるからだ。Anthropicの「Claude」やOpenAIの「ChatGPT」を使い、「アプリは完全に動作している」と主張されたのに実際には動かなかった経験は誰にでもあるはずだ。

　しかし別のモデルに基づく別のエージェントを用意してコードを確認させ、「計画通りに動いているか」と問えば、動作しないと回答する可能性が高い。適切なインセンティブを与えた敵対的な関係を設計し、相手のエージェントの不備を指摘させることが重要だ。

人間による介入が残り続ける領域

　例外なく存在する。人間の承認が必要なあらゆる状況には、人間が関与しなければならない。法的な理由から、AIエージェントが全ての処理を実行できるわけではない。

　例えばCISOとして私は監査に署名する必要がある。CIOとしては事業計画や支出、予算を承認しなければならない。AIエージェントに委任できない業務がある以上、人間が関与する仕組みは常に残る。

　懸念されるのは、エージェントへの依存度を過剰に高め、人間のデューデリジェンスを怠って単なるチェック作業にしてしまうことだ。だからこそ、敵対的なエージェントを構築するアプローチが役立つ。

　例えば私たちのAIコード開発環境では、1つのエージェントがコードを書き、別のエージェントがコードを監査する。さらに異なるモデルを用いたセキュリティエンジニア役のエージェントを配置し、コードの脆弱（ぜいじゃく）性を徹底的に探らせている。

　同一のモデルとコンテキストを使っても一定の成果は得られるだろう。しかし私が求めているのは、コードが別のエージェントによって作成された事実を知らずに、その成果物を客観的に精査する独立したエージェントだ。

人間の承認が必要な作業と不要な作業の見極め方

　重要度の低い作業と重大な作業がある。その判断基準は、「後から取り消せるかどうか」という点に尽きる。

　本番環境へ製品をリリースし、その先に生身のユーザーがある場合、自動処理だけに任せるべきではない。米大手ファストフードチェーンのTaco Bellの事例がある。同社が導入したAIエージェントに、ドライブスルーのマイクから「水は無料だから」と1万8000杯分の水を注文できることを大学生が見つけ出した。

　PCや周辺機器など物品の発注や発送の権限をエージェントに与えているシステムでは、必ず人間が介在しなければならない。さもなければプロンプトインジェクション攻撃を受け、システムを悪用されて実害が生じる。

AIエージェントの監視に向けて経営陣が変えるべきこと

　人間のアイデンティティーとは何か、そして人間が介入するとは何を意味するのかを理解し、再定義することだ。

　エージェントによるコーディングのような作業では、多くの組織がGitHubやGit、Jiraといった管理システムを利用している。AIエージェントにこれらのシステム上でデジタルIDを付与するのは簡単だ。その挙動は人間の動作と見分けがつかない。

　そのため両者の区別は容易にあいまいになる。実のところ、誰にも気付かれずに自分の業務をAIエージェントへ丸投げすることも可能だ。

　今後数年間で、人間による介入の意義や、人間のIDの定義を巡る議論が本格化する。生体認証とひもづいたデジタルIDの導入が必要になるかもしれない。これは多くの人にとって強い抵抗感を伴う。しかし承認を行う場に実在の人間があることを検証する手段が組織には必要になる可能性がある。カメラや指紋認証、あるいは「YubiKey」や「FIDO2」デバイスの活用などが考えられる。

　単に人間の名前をデジタルIDに置き換えるのではなく、人間のアイデンティティーとは何かを明確に定義しなければならない。多くの組織で反発が生じるだろうが、近い将来には避けて通れない変革となるはずだ。