ChatGPTも危ない、生成AI標的の「プロンプトインジェクション攻撃」とは“偽プロンプト”に英国セキュリティ機関が警鐘

生成AIの利用が広がる中で、セキュリティ機関が警鐘を鳴らすのは「プロンプトインジェクション」という攻撃だ。生成AIを使ったサービスを提供する組織や、サービスのユーザーは何に警戒すべきなのか。

2023年10月02日 05時00分 公開
[Alex ScroxtonTechTarget]

 大規模言語モデル(LLM)を使い、テキストや画像などを自動生成する「生成AI」(ジェネレーティブAI)が広がりつつある。そうした中、英国立サイバーセキュリティセンター(NCSC)は生成AIがサイバー犯罪に悪用されるリスクについて警鐘を鳴らしている。特に注意が必要なのは、「プロンプトインジェクション」と呼ばれる攻撃だ。

プロンプトインジェクション攻撃の手口や対抗法は

 NCSCによると、LLMを使った生成AIは開発段階にあるため、具体的なセキュリティの問題点はまだ十分に把握されていない。NCSCが挙げるセキュリティ問題の一つが、プロンプトインジェクション攻撃だ。この手法では、攻撃者が悪意のあるプロンプト(生成AIへの指示)を入力してユーザーをだましたり、データを盗んだりする。

 例えば、銀行の金融サービスに関するチャットbotの場合は、悪意のあるプロンプトによってユーザーに不正な取引要求を送信することが可能になる。NCSCは、「特に開発されたばかりでセキュリティ対策が十分ではないチャットbotだと、攻撃者にとってプロンプトインジェクション攻撃を実行するハードルは比較的低い」とみている。

 プロンプトインジェクション攻撃を巡っては、LLMの仕組みのどこに問題があるのかや、どのような防御策が必要なのかについて研究が進められている。NCSCによると、LLMを使ったAIチャットbotを開発する組織やエンドユーザーは、プロンプトインジェクション攻撃の可能性を意識し、セキュリティについて細心の注意を払う必要がある。

 セキュリティベンダーESETのグローバルサイバーセキュリティアドバイザーを務めるジェイク・ムーア氏によれば、プロンプトインジェクション攻撃による詐欺やデータ盗難のリスクは確実にある。ただし機械学習の仕組みをよく理解した上で脆弱(ぜいじゃく)な点を洗い出せば、対策を講じて攻撃を受けるリスクを減らすことは可能だという。

 ムーア氏が懸念点として挙げるのは、LLMを使った生成AIの開発スピードを優先する結果、セキュリティ対策が犠牲になることだ。「ユーザーはチャットbotへの入力内容が保護されていないことを常に念頭に置くことが重要だ」と同氏は指摘する。

Computer Weekly発 世界に学ぶIT導入・活用術

米国TechTargetが運営する英国Computer Weeklyの豊富な記事の中から、海外企業のIT製品導入事例や業種別のIT活用トレンドを厳選してお届けします。

ITmedia マーケティング新着記事

news050.jpg

ウェルビーイング調査 今後最も力を入れたい分野は「身体」、優先度が低いのは?
ASAKO サステナラボは、独自の「60のウェルビーイング指標」により生活者の充足度を数値...

news068.png

10代の7割超がショート動画を「ほぼ毎日見ている」――LINEリサーチ調査
LINEリサーチは全国の男女を対象に、ショート動画に関する調査を実施しました。

news158.png

自社の変化に対して行動する従業員はわずか2割 なぜそうなる?――電通調査
自社の変化に対する従業員の意識について確認するための調査結果です。