「サイバー犯罪とAI」に関連する編集部お薦め記事

AIが次々に脆弱性を悪用　Googleが提唱する“手遅れ”を防ぐセキュリティ戦略

被害額は過去最高額　それでも「サイバー犯罪者が捕まらない」3つの理由

　OpenAIの説明によれば、これらの暴走モデルは自社のサイバー能力についての内部テストに参加していた。このテストは、複雑な攻撃経路を駆使して高度なエクスプロイト（脆弱性を悪用するプログラム）を追求することを任務としていた。

　この活動は「高度に隔離された」サンドボックス環境で行われていた。しかしモデルは、OpenAI独自の調査環境とHugging Faceの本番インフラに存在する未発見の脆弱性を複数見つけ出し、それらを連鎖させた。その中には、パッケージレジストリのキャッシュプロキシに対するゼロデイ脆弱性も含まれていた。

　OpenAIは、モデルたちがHugging Faceからテストの解答、具体的には「ExploitGym」用のモデルやデータセット、解決策を入手しようとしていたと考えている。ExploitGymは、AIエージェントがエクスプロイトを開発する能力を評価するためのオープンソースのベンチマークだ。モデルたちがこれに成功していれば、試験で「カンニング」をしたことになる。

　OpenAIは公開情報で、「Hugging Faceのセキュリティチームとエージェントがインフラ上の活動を検知して停止させ、当社のチームが連絡した時点で既に、独自のオープンソースモデルを使って封じ込めとフォレンジック（原因究明）による再現を開始していた。当社は現在も調査を継続するために彼らと積極的に協力しており、調査と修復の迅速かつ緊密な連携に感謝している」と述べた。

　また同社は、「この事案は最先端のサイバー能力が関与した前例のないサイバーインシデントであり、相応の対応を取っている。現段階で予備的な調査結果を共有するのは、防御側が何が起きたのかを理解し、現在のモデルに何ができるのかを把握する一助とするためだ。引き続き徹底的な調査を行い、完了次第、脆弱性や事案の詳細を共有する」としている。

　Hugging FaceのCEOであるクレマン・ドゥラング氏はSNSの「X（旧Twitter）」で、エージェントの洗練度から先週のサイバー攻撃が「フロンティアラボ（最先端の研究所）」によるものではないかと疑っていたと明かした。同氏は「その通りだった。過去24時間はOpenAIチームと密接に連携しており、彼らに悪意はなかったと確信している。これら全てが自律的に発生した事実に非常に驚いている」と投稿した。

　ドゥラング氏はさらに自社のセキュリティチームを称賛した。かつてない斬新な攻撃を記録的な速さで見つけ出し、封じ込め、公開したためだ。また、中国のAI開発企業であるZ.aiにも謝辞を送った。同社のモデル「GLM-5.2」がHugging Faceの防御で重要な役割を果たしたという。

　「これはエージェント時代のサイバーセキュリティの初日であり、隠蔽は解決策にならない。一部の選ばれた組織だけでなく、あらゆる場所の防御者が、制限のない強力なモデル（特にオープンなもの）を必要としている」と同氏は訴えた。

制御の失敗か

　元NSA（米国国家安全保障局）のサイバー工作員で、現在はIANS Researchの教員を務めるジェイク・ウィリアムズ氏は、モデルが高度に隔離されたサンドボックスで動作していたというOpenAIの主張に疑問を呈している。

　同氏はComputer Weeklyに、「システムが『高度に隔離されている』か、されていないかのどちらかだ。今回の事態は、OpenAIが十分な隔離を行わずに高度なモデルのレッドチーミング（攻撃側を装ったテスト）を実施したか、あるいはモデルの能力を誇示するためのマーケティング手法かのいずれかだろう」と指摘した。

　「『モデルがサンドボックスを脱出した』という主張は、見方を変えれば『サンドボックスを正しく構築できなかったから脱出を許した』ということだ。私がどちらの立場にいるかは想像に難くないだろう」とウィリアムズ氏は付け加えた。また同氏は、もしこのインシデントがOpenAIの管理体制の不備によるものだと判明すれば、今後の組織の信頼性に重大な問題が生じると述べている。

　マネージドセキュリティサービスプロバイダー（MSSP）であるEkcoのマイク・ペレス氏もある程度この意見に同意している。フロンティアラボが最先端モデルを箱の中に閉じ込めておけないのであれば、そのツールを採用する企業がリスクを背負うことになると警告する。

　「技術を構築した企業ですら完全に封じ込めることができないのであれば、全ての企業が自社のリスクを直視すべきだ。Hugging Faceが生き残ったのは、基礎を徹底していたからだ。異常を検知し、数分で担当者が対応し、認証情報を変更して根本原因を遮断した」とペレス氏は語る。

　同氏は、現在の英国の中堅企業の大半はこの基準を下回っていると指摘する。攻撃する価値がある規模でありながら、専任のセキュリティチームを置くには余裕がない。そして、自社開発元を出し抜いたのと同じAIツールを採用しようとしている。

　「攻撃経路自体は新しいものではなかった。コードの実行、認証情報の窃取、ラテラルムーブメント（横展開）だ。AIは手法ではなく速度を変えたのだ。今後も存続できる企業とは、実行環境の把握、ゼロトラストの運用、脆弱性の優先順位付けとパッチ適用、アクセス制御、そして週単位ではなく時間単位でのレスポンスといった基本を徹底する企業だろう。そうした基本を軽視できる猶予は、もう失われたのだ」と同氏は結んだ。