生成AIツールの普及とともに、「生成AIツールを狙った攻撃」も広がりつつある。その一つがデータポイズニング攻撃だ。どのような手口なのか。
AI(人工知能)技術ベンダーOpenAIの「ChatGPT」に代表される「生成AI」(ジェネレーティブAI)ツールは、さまざまなメリットだけではなくセキュリティリスクをも組織にもたらしている。脅威となり得るのは、攻撃者が生成AIツールを攻撃の自動化に悪用することだけではない。「データポイズニング」も無視できない脅威の一つだ。どのような手口なのか。
生成AIツールは自ら考えるのではなく、ユーザーが出したプロンプト(指示や質問)を基にアウトプットを生成する。そのアウトプットは、学習したデータを基にしている。
データポイズニング攻撃とは、簡単に言えば攻撃者が学習用のデータを操作し、機械学習モデルをだます手口を指す。例えば、不審なメールや危険な通信を判別するように機械学習モデルをトレーニングしている組織がある。データポイズニング攻撃によって、フィッシングメールやランサムウェア(身代金要求型マルウェア)を「検出しない」ように設定を変えられてしまう可能性がある。
攻撃者がデータポイズニング攻撃を仕掛けるには、学習用のデータにアクセスする必要がある。アクセス方法は、データセットが非公開か公開かによって変わる。
社外に公開されていないデータセットにアクセスするには、システムに不正にアクセスする必要がある。その手口として、AIツールの脆弱(ぜいじゃく)性を悪用する場合がある。他には、悪意のある内部関係者が非公開データセットへのアクセス方法を攻撃者に知らせるというシナリオも考えられる。
特に注意が必要なのは、攻撃者が機械学習モデルの一部のみを操作するケースだ。この場合、AIツールはほぼ正常に機能するため、攻撃に気付きにくい。もしAIツールによる回答が明らかにおかしい内容だったら、データポイズニング攻撃だと疑った方がいい。
学習用のデータセットが公開されている場合は、データポイズニング攻撃を実施するハードルが下がる。
例えば「Nightshade」というツールは、アーティストが自身の作品が生成AIの学習に無断で使われることを防ぐためのツールだ。このツールを使うと、人間の目には見えない変更をデータに加え、それを学習したAIモデルに予測不能なアウトプットを出力させることが可能になる。
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
ユーザー任せの「PCセキュリティ」はもう限界 “誰が使っても安全”な方法とは (2025/4/21)
数分でデータを人質に 進化するランサムウェアに有効な「第2世代EDR」とは (2025/3/4)
クラウドサービスの脆弱性をどう解消する? 安全な開発環境を構築するヒント (2025/3/4)
「複雑、高額、難しい」を変える中堅・中小向けSASEのメリットを解説 (2025/2/10)
「Box」に移行してもなくならない「お守り仕事」を根本から効率化するには? (2025/1/23)
いまさら聞けない「仮想デスクトップ」と「VDI」の違いとは
遠隔のクライアント端末から、サーバにあるデスクトップ環境を利用できる仕組みである仮想デスクトップ(仮想PC画面)は便利だが、仕組みが複雑だ。仮想デスクトップの仕組みを基礎から確認しよう。
「マーケティングオートメーション」 国内売れ筋TOP10(2025年5月)
今週は、マーケティングオートメーション(MA)ツールの売れ筋TOP10を紹介します。
「サイト内検索」&「ライブチャット」売れ筋TOP5(2025年4月)
今週は、サイト内検索ツールとライブチャットの国内売れ筋TOP5をそれぞれ紹介します。
「ECプラットフォーム」売れ筋TOP10(2025年4月)
今週は、ECプラットフォーム製品(ECサイト構築ツール)の国内売れ筋TOP10を紹介します。