Copilotが危ない？ 生成AIから「認証情報が盗まれる」手口が明らかに：生成AIツールは無防備？

生成AIツールの普及に伴って新しい脅威として広がりつつあるのが、プロンプトインジェクション攻撃だ。「Copilot」などの生成AIツールのどのような機能や欠点が狙われるのか。

[Alexander Culafi，TechTarget]

　サブスクリプション形式のオフィススイート「Microsoft 365」などのアプリケーションに組み込まれた「Microsoft Copilot」（以下、Copilot）。このAI（人工知能）アシスタントを使っていると、「プロンプトインジェクション攻撃」を受けるリスクがある。セキュリティベンダーZenity最高技術責任者（CTO）のマイケル・バーガリー氏は、セキュリティのイベント「Black Hat USA 2024」でその詳細を説明した。

Copilotから「認証情報が盗まれる」手口とは

併せて読みたいお薦め記事

プロンプトインジェクション攻撃とは何か

• ChatGPTも危ない、生成AI標的の「プロンプトインジェクション攻撃」とは
• 「生成AIが攻撃を受ける」とはどういうこと？　LLMの脅威“10選”

　プロンプトインジェクション攻撃とは、攻撃者が悪意のあるプロンプト（生成AIへの指示や命令）を入力してユーザーをだましたり、データを盗んだりする手法だ。

　2024年8月、米ラスベガスで開催されたイベント「Black Hat USA 2024」で、Zenityのバーガリー氏は同社AIセキュリティソフトウェアエンジニアのタミル・イシャイ・シャルバット氏と共に、Copilotユーザーを標的にしたプロンプトインジェクション攻撃を紹介。バーガリー氏は、攻撃者がメールに隠しコードを挿入することでCopilotに対する不正なプロンプトを実行する方法を実演した。

　バーガリー氏は不正なプロンプトを実行する幾つかの例を紹介した。例えばCopilotに偽のMicrosoft 365ログインページを表示させ、標的となるエンドユーザーの認証情報を取得するフィッシング攻撃が可能になるという。「Copilotはユーザーに代わって操作を実行するアクセス権限を持っているので、攻撃に悪用されやすい」とバーガリー氏は述べる。攻撃者がCopilotに不正なプロンプトを実行させることができれば、広範囲にわたってユーザー組織に被害が及ぶ恐れがあるとみて同氏は警戒を促す。

　Copilotを狙った攻撃のリスクを受け、Zenityはホワイトハッカー（倫理的ハッカー）向けのCopilot用攻撃ツール「LOLCopilot」を開発。Black Hat USA 2024で発表した。同社によると、LOLCopilotを使えば、Copilotのさまざまなセキュリティの弱点を洗い出し、攻撃防止の対策を検討できるようになる。「LOLCopilotがサイバー犯罪者の手に渡らないように、Microsoftと協力して取り組んでいる」とバーガリー氏は言う。

　バーガリー氏によると、生成AIツールに不正なプロンプトを検出するための機能がないことは、セキュリティの大きな欠点になる。「生成AIツールにも、メールシステムと同様のスパムフィルターが必要だ」（同氏）

　プロンプトインジェクション攻撃を防ぐために、Copilotのユーザー組織はCopilotの会話を監視して、不審な動きに気付いたらすぐに対策を講じることが求められる。

TechTarget発　先取りITトレンド

米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。