生成AIに仕掛けられる“見えないわな”
社内のRAGも標的に――「間接プロンプトインジェクション攻撃」の脅威とは
LLMの安全性を高める手法として注目されてきた「RAG」（検索拡張生成）だが、その仕組みを逆手に取った攻撃手法「間接プロンプトインジェクション」が問題視されている。脅威の実態を解説する。
生成AI（AI：人工知能）は、人間の指示を受け取り、有益な情報を返すように設計されている。では、その「人間の指示」が悪意に満ちたものだった場合はどうだろうか。
2025年4月、英国のAI研究所Alan Turing Instituteの年次イベント「CETaS Annual Showcase 2025」では、大規模言語モデル（LLM）や「RAG」（検索拡張生成）の仕組みを悪用する攻撃のリスクが取り上げられた。
RAGを悪用する「間接プロンプトインジェクション攻撃」とは？
LLMに対して偽情報や有害なコンテンツの生成、機密情報の開示を促すような指示を出した場合、LLMはどのように振る舞うのか。中でも注意が必要なのが、「間接プロンプトインジェクション攻撃」と呼ばれる攻撃手法だ。この手法では、RAGの仕組みが悪用される。
RAGは、LLMが事前学習していない情報にもアクセスできるよう、外部のデータベースから情報を検索・取得し、回答に反映させる手法だ。例えば、AIベンダーOpenAIのAIチャットbot「ChatGPT」にメールの要約を依頼する場合、LLM単体では文脈を十分に理解できないことがあるが、RAGを使えば社内文書やメールといった外部情報を参照することで、より適切かつ正確な出力が可能になる。
攻撃者はこの仕組みを悪用し、RAGの参照元となる文書やメール、Webページの中に悪意ある命令文を紛れ込ませる。LLMは、それが意図的に仕込まれたものであることに気付かず、命令を実行してしまう恐れがある。「誰でも自然言語を通じて簡単にLLMを操作できるよう設計されているため、攻撃者にとっても悪意ある命令を仕込むのは難しくない」。AIシステムの安全性評価を手掛けるAdvaiでソリューションアーキテクトを務めるマシュー・サットン氏はそう説明する。
例えば、新規プロジェクトの入札において、自社の提案書にLLM向けの隠れた指示を埋め込み、客先のLLMがそれを読み込むことで、その提案を競合他社よりも優位に見せたり、意図的に無視させたりする、といった操作も理論上は可能だ。「このような仕込みは、必ずしも高度なプログラミングスキルを必要とせず、誰にでも実行できる」（サットン氏）
このように、LLMに提供される情報は常に信頼できるとは限らない。サットン氏は、「LLMが出力する回答にはしばしば参照元のソースが付記されるが、その信頼性もうのみにすべきではない」と指摘する。一方で、出力のたびに参照情報を一つ一つ精査しなければならないとすれば、LLMの利便性そのものが損なわれかねないというジレンマもある、と同氏は付け加える。
翻訳・編集協力：雨輝ITラボ（株式会社リーフレイン）
Copyright © ITmedia, Inc. All Rights Reserved.
Computer Weekly発 世界に学ぶIT導入・活用術
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社キーエンス] なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは -
製品資料
[株式会社セールスフォース・ジャパン] 「CRMは設計と無関係」は本当か？ PLMとの融合で実現する高速開発 -
事例
[日本ヒューレット・パッカード合同会社] AIエージェントの時代にどう備える？ 「新たな働き手」を支える3要素とは -
製品資料
[日本ヒューレット・パッカード合同会社] “横並びの自動化”から脱却、AI活用で生産性と競争力を高める秘訣 -
製品資料
[サイボウズ株式会社] AIが「わざわざ使うツール」になっていない？ 業務で自然に使う導線にする秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「全社配布Copilot」は使われないのか？ 失敗に学ぶAI定着
-
2
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
3
【漫画付き】ひとり情シス協会が明かす、RAG導入でしくじる企業「2つの共通点」
-
4
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
5
損保ジャパンはなぜ「COBOL」を捨てなかったのか？ 脱メインフレームの真相
-
6
ChatGPTは“検索しまくり”でGeminiは“淡泊”？ データが明かすAIの裏側
-
7
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
8
BMWも導入 78兆円市場に化ける「フィジカルAI」の衝撃
-
9
「Wi-Fi 7」経由でWindowsが乗っ取られる？ 最高権限奪取の恐怖
-
10
「AI活用を前提とした業務PCへの移行」に関するアンケート
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化？ 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険？ 避けるべき理由と具体的な対策
-
3
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
4
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
5
LLMが兵器化？ 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
6
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
7
なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは
-
8
生成AIを開発に導入しても効果が見えない？ 実証実験で分かった成果と課題
-
9
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー