生成AIツールは無防備？

Copilotが危ない？　生成AIから「認証情報が盗まれる」手口が明らかに

生成AIツールの普及に伴って新しい脅威として広がりつつあるのが、プロンプトインジェクション攻撃だ。「Copilot」などの生成AIツールのどのような機能や欠点が狙われるのか。

公開 2024年10月17日 08時01分

[TechTarget]

印刷する連載新着通知を受け取る

　サブスクリプション形式のオフィススイート「Microsoft 365」などのアプリケーションに組み込まれた「Microsoft Copilot」（以下、Copilot）。このAI（人工知能）アシスタントを使っていると、「プロンプトインジェクション攻撃」を受けるリスクがある。セキュリティベンダーZenity最高技術責任者（CTO）のマイケル・バーガリー氏は、セキュリティのイベント「Black Hat USA 2024」でその詳細を説明した。

Copilotから「認証情報が盗まれる」手口とは

併せて読みたいお薦め記事

プロンプトインジェクション攻撃とは何か

　プロンプトインジェクション攻撃とは、攻撃者が悪意のあるプロンプト（生成AIへの指示や命令）を入力してユーザーをだましたり、データを盗んだりする手法だ。

　2024年8月、米ラスベガスで開催されたイベント「Black Hat USA 2024」で、Zenityのバーガリー氏は同社AIセキュリティソフトウェアエンジニアのタミル・イシャイ・シャルバット氏と共に、Copilotユーザーを標的にしたプロンプトインジェクション攻撃を紹介。バーガリー氏は、攻撃者がメールに隠しコードを挿入することでCopilotに対する不正なプロンプトを実行する方法を実演した。

　バーガリー氏は不正なプロンプトを実行する幾つかの例を紹介した。例えばCopilotに偽のMicrosoft 365ログインページを表示させ、標的となるエンドユーザーの認証情報を取得するフィッシング攻撃が可能になるという。「Copilotはユーザーに代わって操作を実行するアクセス権限を持っているので、攻撃に悪用されやすい」とバーガリー氏は述べる。攻撃者がCopilotに不正なプロンプトを実行させることができれば、広範囲にわたってユーザー組織に被害が及ぶ恐れがあるとみて同氏は警戒を促す。

　Copilotを狙った攻撃のリスクを受け、Zenityはホワイトハッカー（倫理的ハッカー）向けのCopilot用攻撃ツール「LOLCopilot」を開発。Black Hat USA 2024で発表した。同社によると、LOLCopilotを使えば、Copilotのさまざまなセキュリティの弱点を洗い出し、攻撃防止の対策を検討できるようになる。「LOLCopilotがサイバー犯罪者の手に渡らないように、Microsoftと協力して取り組んでいる」とバーガリー氏は言う。

　バーガリー氏によると、生成AIツールに不正なプロンプトを検出するための機能がないことは、セキュリティの大きな欠点になる。「生成AIツールにも、メールシステムと同様のスパムフィルターが必要だ」（同氏）

　プロンプトインジェクション攻撃を防ぐために、Copilotのユーザー組織はCopilotの会話を監視して、不審な動きに気付いたらすぐに対策を講じることが求められる。