“偽プロンプト”に英国セキュリティ機関が警鐘

ChatGPTも危ない、生成AI標的の「プロンプトインジェクション攻撃」とは

生成AIの利用が広がる中で、セキュリティ機関が警鐘を鳴らすのは「プロンプトインジェクション」という攻撃だ。生成AIを使ったサービスを提供する組織や、サービスのユーザーは何に警戒すべきなのか。

公開 2023年10月02日 05時04分

更新 2023年10月02日 05時05分

著者

Alex Scroxton

[TechTarget]

印刷する連載新着通知を受け取る

　大規模言語モデル（LLM）を使い、テキストや画像などを自動生成する「生成AI」（ジェネレーティブAI）が広がりつつある。そうした中、英国立サイバーセキュリティセンター（NCSC）は生成AIがサイバー犯罪に悪用されるリスクについて警鐘を鳴らしている。特に注意が必要なのは、「プロンプトインジェクション」と呼ばれる攻撃だ。

プロンプトインジェクション攻撃の手口や対抗法は

併せて読みたいお薦め記事

AI技術がもたらすセキュリティリスクとは

　NCSCによると、LLMを使った生成AIは開発段階にあるため、具体的なセキュリティの問題点はまだ十分に把握されていない。NCSCが挙げるセキュリティ問題の一つが、プロンプトインジェクション攻撃だ。この手法では、攻撃者が悪意のあるプロンプト（生成AIへの指示）を入力してユーザーをだましたり、データを盗んだりする。

　例えば、銀行の金融サービスに関するチャットbotの場合は、悪意のあるプロンプトによってユーザーに不正な取引要求を送信することが可能になる。NCSCは、「特に開発されたばかりでセキュリティ対策が十分ではないチャットbotだと、攻撃者にとってプロンプトインジェクション攻撃を実行するハードルは比較的低い」とみている。

　プロンプトインジェクション攻撃を巡っては、LLMの仕組みのどこに問題があるのかや、どのような防御策が必要なのかについて研究が進められている。NCSCによると、LLMを使ったAIチャットbotを開発する組織やエンドユーザーは、プロンプトインジェクション攻撃の可能性を意識し、セキュリティについて細心の注意を払う必要がある。

　セキュリティベンダーESETのグローバルサイバーセキュリティアドバイザーを務めるジェイク・ムーア氏によれば、プロンプトインジェクション攻撃による詐欺やデータ盗難のリスクは確実にある。ただし機械学習の仕組みをよく理解した上で脆弱（ぜいじゃく）な点を洗い出せば、対策を講じて攻撃を受けるリスクを減らすことは可能だという。

　ムーア氏が懸念点として挙げるのは、LLMを使った生成AIの開発スピードを優先する結果、セキュリティ対策が犠牲になることだ。「ユーザーはチャットbotへの入力内容が保護されていないことを常に念頭に置くことが重要だ」と同氏は指摘する。

Computer Weekly発　世界に学ぶIT導入・活用術

米国TechTargetが運営する英国Computer Weeklyの豊富な記事の中から、海外企業のIT製品導入事例や業種別のIT活用トレンドを厳選してお届けします。

印刷する

Computer Weekly発　世界に学ぶIT導入・活用術

連載新着通知を受け取る

この連載の記事をもっと見る

この記事の著者

Alex Scroxton

米TechTargetの電子週刊誌『Computer Weekly』でセキュリティ分野の記事編集を手掛ける。同社の電子月刊誌『MicroScope』で記者を務めた後、2014年5月からComputer Weeklyの編集に従事。2003年、サセックス大学（University of Sussex）で社会人類学の学士号を取得している。