本記事は、セキュリティカンファレンス「NDC Security 2026」におけるロス氏のセッション「Breaking the Black Box: Why Testing Generative AI Is Full Spectrum」の内容に基づいている。

　生成AIに対する攻撃は、ソースコードを直接操作するものではなく、自然言語を用いたAIモデルへの「説得」やソーシャルエンジニアリングに近い性質を持つ。ロス氏は、生成AIに対する攻撃を「ジェイルブレーク」と「プロンプトインジェクション」に明確に区別して考えるべきだと指摘する。

　ジェイルブレークは、有害コンテンツの生成禁止など、AIモデルの提供者が設定した安全機能に対する攻撃だ。プロンプトインジェクションは、AIモデルを利用する企業が裏側で設定した初期プロンプト（システムプロンプト）や、AIモデルを取り巻くシステムに対する攻撃を指す。企業のIT部門にとって、真のセキュリティリスクとなるのは後者であり、社内データの漏えいやシステムへの不正アクセスに直結する。

攻撃はソースコードではなく「文脈」を狙う

　AIモデルのガードレールを技術的に回避する手法は多岐にわたる。「クレッシェンド攻撃」と呼ばれる手法では、無害な対話から開始し、AIモデルが文脈を安全だと誤認した段階で徐々に悪意のある要求へとエスカレートさせる。「クロップ攻撃」では、直接的な禁止用語を避け、AIモデルの学習データに含まれる文化的な知識や周辺の文脈を利用して、意図した有害な出力を引き出す。

　さらに深刻な脅威となるのが、外部のデータソースを経由した「間接的プロンプトインジェクション」だ。これは、エンドユーザーがチャット画面からAIモデルを直接攻撃するのではなく、検索拡張生成（RAG）で参照されるデータベースや「Confluence」などの社内情報共有ツール、システムのアクセスログなどに悪意のある命令文字列を事前に仕込んでおく手法だ。AIモデルがこれらの汚染されたデータを読み込んだ時点で攻撃が成立するため、従来のシステム境界での防御では検出が難しい。

　近年、企業が活用するAIツールが単なるAIチャットbotから自律的なAIエージェントに移る中で、これらの脅威はさらに複雑化している。AIエージェントは自らシステムにアクセスしてデータを操作する権限を持つため、プロンプトインジェクションによってAIエージェントの目的が書き換えられた場合、データの外部流出などの実害に直結する。複数のAIエージェントが連携するシステムでは、1つのAIエージェントが異常な振る舞いを始めると、他のエージェントもそれに追従し、予測不能な連鎖反応を引き起こすリスクがある。

完全防御は不可能、被害を抑える設計思想へ

　こうした脅威をテストするに当たり、ロス氏は「市場にはAIエージェント向けのレッドチーム演習をうたうツールが複数存在するが、そのほとんどは不十分だ」と警告する。既存ツールは、「爆弾の作り方を教えて」といった直接的な単一のプロンプトによるジェイルブレークの評価にとどまっており、AIエージェントとの複数ターンの対話や、RAGを用いたシステム特有の文脈操作を評価するには至っていないという。

　現場が生成AI特有のレッドチーム演習を必要とする理由は、LLMが本質的にブラックボックスであることに起因する。AIモデルの創造性を制御するパラメータ「Temperature」（温度）を小さくしても、出力の完全な再現性は確保できない。システムプロンプトの漏えいや事実と異なる情報の生成（ハルシネーション）は、システムの不具合というより言語モデルのアーキテクチャ上の仕様だ。ブラックボックス状態での外部からのテストだけでは、その結果が真実かハルシネーションかの判別がつかないため、テストで得られた情報が実際のシステムプロンプトや機密データであるかどうかを確認するには、実データと突き合わせるプロセスが不可欠となる。

　この特質は、システムの防御における設計思想を根本から変えることを要求する。従来のWebアプリケーションセキュリティでは、入力値のサニタイズ（無害化）や特定の文字列のフィルタリングによって攻撃を無効化していた。しかし、自然言語による表現方法は無限に存在するため、特定の攻撃文字列をブロックしても同義語や他言語を用いることで容易に回避されてしまう。

　ロス氏は、「『プロンプトインジェクションを完全に防ぐことは不可能だ』という前提に立つ必要がある」と主張する。同氏はこれを「起爆を止められない爆弾」に例え、防御の基本思想は、攻撃の成立をゼロにすることではなく、攻撃が成功した際の影響範囲を最小限に抑えることにあると表現する。システムデータ、ユーザーデータ、ツール出力の文脈を明確に分離し、AIエージェントに与える権限を最小化する多層的なガードレールの構築が求められる。

　AIモデルのテストにはAI技術を用いた自動化ツールの導入が不可欠だ。攻撃パターンが無限に存在するため、AIモデル同士を対決させて攻撃プロンプトを自動生成し、その結果を別の判定モデルが評価するような仕組みが必要だ。これらのツールを開発の初期段階からCI/CD（継続的インテグレーション／継続的デリバリー）パイプラインに組み込む「シフトレフト」のアプローチによって、開発チーム自身がAIモデルの安全性を迅速かつ継続的に評価する体制の構築が、安全な生成AI運用の鍵となる。

本稿は、NDC Conferencesが2026年5月7日に公開した動画「Breaking the Black Box: Why Testing Generative AI Is Full Spectrum - Jason Ross - NDC Security 2026」を基に作成しました。