生成AIに仕掛けられる“見えないわな”
社内のRAGも標的に――「間接プロンプトインジェクション攻撃」の脅威とは
LLMの安全性を高める手法として注目されてきた「RAG」(検索拡張生成)だが、その仕組みを逆手に取った攻撃手法「間接プロンプトインジェクション」が問題視されている。脅威の実態を解説する。
生成AI(AI:人工知能)は、人間の指示を受け取り、有益な情報を返すように設計されている。では、その「人間の指示」が悪意に満ちたものだった場合はどうだろうか。
2025年4月、英国のAI研究所Alan Turing Instituteの年次イベント「CETaS Annual Showcase 2025」では、大規模言語モデル(LLM)や「RAG」(検索拡張生成)の仕組みを悪用する攻撃のリスクが取り上げられた。
RAGを悪用する「間接プロンプトインジェクション攻撃」とは?
LLMに対して偽情報や有害なコンテンツの生成、機密情報の開示を促すような指示を出した場合、LLMはどのように振る舞うのか。中でも注意が必要なのが、「間接プロンプトインジェクション攻撃」と呼ばれる攻撃手法だ。この手法では、RAGの仕組みが悪用される。
RAGは、LLMが事前学習していない情報にもアクセスできるよう、外部のデータベースから情報を検索・取得し、回答に反映させる手法だ。例えば、AIベンダーOpenAIのAIチャットbot「ChatGPT」にメールの要約を依頼する場合、LLM単体では文脈を十分に理解できないことがあるが、RAGを使えば社内文書やメールといった外部情報を参照することで、より適切かつ正確な出力が可能になる。
攻撃者はこの仕組みを悪用し、RAGの参照元となる文書やメール、Webページの中に悪意ある命令文を紛れ込ませる。LLMは、それが意図的に仕込まれたものであることに気付かず、命令を実行してしまう恐れがある。「誰でも自然言語を通じて簡単にLLMを操作できるよう設計されているため、攻撃者にとっても悪意ある命令を仕込むのは難しくない」。AIシステムの安全性評価を手掛けるAdvaiでソリューションアーキテクトを務めるマシュー・サットン氏はそう説明する。
例えば、新規プロジェクトの入札において、自社の提案書にLLM向けの隠れた指示を埋め込み、客先のLLMがそれを読み込むことで、その提案を競合他社よりも優位に見せたり、意図的に無視させたりする、といった操作も理論上は可能だ。「このような仕込みは、必ずしも高度なプログラミングスキルを必要とせず、誰にでも実行できる」(サットン氏)
このように、LLMに提供される情報は常に信頼できるとは限らない。サットン氏は、「LLMが出力する回答にはしばしば参照元のソースが付記されるが、その信頼性もうのみにすべきではない」と指摘する。一方で、出力のたびに参照情報を一つ一つ精査しなければならないとすれば、LLMの利便性そのものが損なわれかねないというジレンマもある、と同氏は付け加える。
翻訳・編集協力:雨輝ITラボ(株式会社リーフレイン)
Copyright © ITmedia, Inc. All Rights Reserved.
Computer Weekly発 世界に学ぶIT導入・活用術
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社うるる] 「入札市場」攻略ガイド:効率的に落札するためのポイントを徹底解説 -
製品資料
[株式会社うるる] 入札情報に特化した「販路拡大」「効率化」のためのサポートツールとは? -
市場調査・トレンド
[株式会社うるる] 公共入札に成功する企業と失敗する企業の「5つの違い」 -
製品資料
[日本ビジネスシステムズ株式会社] 専門家が教える、Microsoft 365の「テナント統合/分離」を成功に導く秘訣 -
製品資料
[rakumo株式会社] Microsoft 365での情報埋没を防ぐ、社内ナレッジを資産化する情報ポータル活用
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
損保ジャパンはなぜ「COBOL」を捨てなかったのか? 脱メインフレームの真相
-
2
Claude利用8割のGMO、AI人材の評価軸が「トークン管理」に変わった
-
3
「Windows」の不要なファイルを安全に消して容量を空ける方法
-
4
“アジャイルの壁”に挑むオリックス生命がIBMの開発管理ツールを選んだ理由
-
5
PHP脆弱性「PHP2Shell」で2260万件に影響 情シスの緊急チェックリスト
-
6
IT製品の導入に関するアンケート「セキュリティ」編
-
7
「Windows 10」が入ったままの“Windows 11未移行PC”に残された延命手段
-
8
「テザリング依存」に潜む落とし穴 “遅いVPN”を解消するネット構築術
-
9
LINEヤフーはなぜ「社内の管理者」すら信用しないインフラを作ったのか
-
10
Windows 11“なぜか勝手に再起動”の真犯人は「更新プログラム」だった?
ホワイトペーパーランキング PR
-
1
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
2
2026年のサイバーセキュリティには何が必要か? 最新データに学ぶ傾向と対策
-
3
経験豊富な即戦力人材に直接アプローチできる、「攻めの採用」への転換術
-
4
「IT史に名を残すシステム障害」8選
-
5
最速72分でデータが流出? 最新の脅威トレンドや侵入手法から分かった防衛策
-
6
AI駆動開発のスピードと安全性を両立 「品質・セキュリティ管理」の実践ガイド
-
7
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
8
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
-
9
「標的型攻撃メール」事例・サンプル集
-
10
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー