ChatGPTも危ない、生成AI標的の「プロンプトインジェクション攻撃」とは：“偽プロンプト”に英国セキュリティ機関が警鐘

生成AIの利用が広がる中で、セキュリティ機関が警鐘を鳴らすのは「プロンプトインジェクション」という攻撃だ。生成AIを使ったサービスを提供する組織や、サービスのユーザーは何に警戒すべきなのか。

[Alex Scroxton，TechTarget]

　大規模言語モデル（LLM）を使い、テキストや画像などを自動生成する「生成AI」（ジェネレーティブAI）が広がりつつある。そうした中、英国立サイバーセキュリティセンター（NCSC）は生成AIがサイバー犯罪に悪用されるリスクについて警鐘を鳴らしている。特に注意が必要なのは、「プロンプトインジェクション」と呼ばれる攻撃だ。

プロンプトインジェクション攻撃の手口や対抗法は

会員登録（無料）が必要です

続きを読む

併せて読みたいお薦め記事

AI技術がもたらすセキュリティリスクとは

• 「生成AIでマルウェア」は作れるか？　攻撃者が目を付ける“悪用手段”のまとめ
• 「5G」「RPA」「AI」はなぜ危険なのか？　リスクが生まれる原因を解説

　NCSCによると、LLMを使った生成AIは開発段階にあるため、具体的なセキュリティの問題点はまだ十分に把握されていない。NCSCが挙げるセキュリティ問題の一つが、プロンプトインジェクション攻撃だ。この手法では、攻撃者が悪意のあるプロンプト（生成AIへの指示）を入力してユーザーをだましたり、データを盗んだりする。

　例えば、銀行の金融サービスに関するチャットbotの場合は、悪意のあるプロンプトによってユーザーに不正な取引要求を送信することが可能になる。NCSCは、「特に開発されたばかりでセキュリティ対策が十分ではないチャットbotだと、攻撃者にとってプロンプトインジェクション攻撃を実行するハードルは比較的低い」とみている。

　プロンプトインジェクション攻撃を巡っては、LLMの仕組みのどこに問題があるのかや、どのような防御策が必要なのかについて研究が進められている。NCSCによると、LLMを使ったAIチャットbotを開発する組織やエンドユーザーは、プロンプトインジェクション攻撃の可能性を意識し、セキュリティについて細心の注意を払う必要がある。

　セキュリティベンダーESETのグローバルサイバーセキュリティアドバイザーを務めるジェイク・ムーア氏によれば、プロンプトインジェクション攻撃による詐欺やデータ盗難のリスクは確実にある。ただし機械学習の仕組みをよく理解した上で脆弱（ぜいじゃく）な点を洗い出せば、対策を講じて攻撃を受けるリスクを減らすことは可能だという。

　ムーア氏が懸念点として挙げるのは、LLMを使った生成AIの開発スピードを優先する結果、セキュリティ対策が犠牲になることだ。「ユーザーはチャットbotへの入力内容が保護されていないことを常に念頭に置くことが重要だ」と同氏は指摘する。

Computer Weekly発　世界に学ぶIT導入・活用術

米国TechTargetが運営する英国Computer Weeklyの豊富な記事の中から、海外企業のIT製品導入事例や業種別のIT活用トレンドを厳選してお届けします。