生成AIに仕掛けられる“見えないわな”
社内のRAGも標的に――「間接プロンプトインジェクション攻撃」の脅威とは
LLMの安全性を高める手法として注目されてきた「RAG」（検索拡張生成）だが、その仕組みを逆手に取った攻撃手法「間接プロンプトインジェクション」が問題視されている。脅威の実態を解説する。
生成AI（AI：人工知能）は、人間の指示を受け取り、有益な情報を返すように設計されている。では、その「人間の指示」が悪意に満ちたものだった場合はどうだろうか。
2025年4月、英国のAI研究所Alan Turing Instituteの年次イベント「CETaS Annual Showcase 2025」では、大規模言語モデル（LLM）や「RAG」（検索拡張生成）の仕組みを悪用する攻撃のリスクが取り上げられた。
RAGを悪用する「間接プロンプトインジェクション攻撃」とは？
LLMに対して偽情報や有害なコンテンツの生成、機密情報の開示を促すような指示を出した場合、LLMはどのように振る舞うのか。中でも注意が必要なのが、「間接プロンプトインジェクション攻撃」と呼ばれる攻撃手法だ。この手法では、RAGの仕組みが悪用される。
RAGは、LLMが事前学習していない情報にもアクセスできるよう、外部のデータベースから情報を検索・取得し、回答に反映させる手法だ。例えば、AIベンダーOpenAIのAIチャットbot「ChatGPT」にメールの要約を依頼する場合、LLM単体では文脈を十分に理解できないことがあるが、RAGを使えば社内文書やメールといった外部情報を参照することで、より適切かつ正確な出力が可能になる。
攻撃者はこの仕組みを悪用し、RAGの参照元となる文書やメール、Webページの中に悪意ある命令文を紛れ込ませる。LLMは、それが意図的に仕込まれたものであることに気付かず、命令を実行してしまう恐れがある。「誰でも自然言語を通じて簡単にLLMを操作できるよう設計されているため、攻撃者にとっても悪意ある命令を仕込むのは難しくない」。AIシステムの安全性評価を手掛けるAdvaiでソリューションアーキテクトを務めるマシュー・サットン氏はそう説明する。
例えば、新規プロジェクトの入札において、自社の提案書にLLM向けの隠れた指示を埋め込み、客先のLLMがそれを読み込むことで、その提案を競合他社よりも優位に見せたり、意図的に無視させたりする、といった操作も理論上は可能だ。「このような仕込みは、必ずしも高度なプログラミングスキルを必要とせず、誰にでも実行できる」（サットン氏）
このように、LLMに提供される情報は常に信頼できるとは限らない。サットン氏は、「LLMが出力する回答にはしばしば参照元のソースが付記されるが、その信頼性もうのみにすべきではない」と指摘する。一方で、出力のたびに参照情報を一つ一つ精査しなければならないとすれば、LLMの利便性そのものが損なわれかねないというジレンマもある、と同氏は付け加える。
翻訳・編集協力：雨輝ITラボ（株式会社リーフレイン）
Copyright © ITmedia, Inc. All Rights Reserved.
Computer Weekly発 世界に学ぶIT導入・活用術
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
SNS認証や多要素認証も数分で実装、IDaaS基盤でデジタルビジネスはどう変わる？ -
製品レビュー
「電子帳簿保存法対応」実践術：タイムスタンプ付与などの要件の手軽な実現方法 -
事例
「大企業のデジタル化」成功事例集【コクヨ、九州電力、ヨネックスなど21社】 -
製品資料
“顧客管理の課題”を簡単に解決する方法とは？ -
製品資料
契約管理の“あるある課題”をノーコード開発で解決するためのポイント
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
2
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
3
Microsoft製品でここまで自動化できる 情シスがやめられる手作業10選
-
4
Synologyがエンタープライズ向けユニファイドストレージを投入 その実力は
-
5
「技術屋」で終わらないために 情シスが今取るべき認定資格5選
-
6
自宅のWi-Fiが「遅い」「途切れる」本当の原因は？ Dellが推奨する鉄則
-
7
脱VMwareの最適解 NTTデータと日立製作所が示す国産仮想化基盤
-
8
「Windows派」「Linux派」を分ける決定的な違い
-
9
継続利用は4割どまり M365 Copilotが「効く業務」と期待外れの境界
-
10
ISMSの“コンサル丸投げ”が招く数千万円の無駄 NTTドコモビジネスの脱出劇
ホワイトペーパーランキング PR
-
1
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
2
AIが「わざわざ使うツール」になっていない？ 業務で自然に使う導線にする秘訣
-
3
5回聞くだけじゃ足りない？ トヨタ式「なぜなぜ分析」の正しい実践方法
-
4
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは？
-
5
「脱Excel」か「Excel快適化」か？ 現場にやさしい業務改善の進め方
-
6
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
7
PostgreSQLの「機能」「性能」「運用」「拡張性」に関する悩みの解消法
-
8
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
9
Macの安全神話は崩壊？ 最新の脅威動向から見えた攻撃のトレンドと有効な対策
-
10
情報セキュリティ対策早分かりガイド：25の自社診断で弱点と解決策を理解
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー