生成AIユーザーが無視できないデータ汚染
生成AIを狂わせる「データポイズニング」の意外なほど簡単な手口とは
生成AIツールの普及とともに、「生成AIツールを狙った攻撃」も広がりつつある。その一つがデータポイズニング攻撃だ。どのような手口なのか。
AI(人工知能)技術ベンダーOpenAIの「ChatGPT」に代表される「生成AI」(ジェネレーティブAI)ツールは、さまざまなメリットだけではなくセキュリティリスクをも組織にもたらしている。脅威となり得るのは、攻撃者が生成AIツールを攻撃の自動化に悪用することだけではない。「データポイズニング」も無視できない脅威の一つだ。どのような手口なのか。
「データポイズニング」の意外なほど簡単な手口とは
生成AIツールは自ら考えるのではなく、ユーザーが出したプロンプト(指示や質問)を基にアウトプットを生成する。そのアウトプットは、学習したデータを基にしている。
データポイズニング攻撃とは、簡単に言えば攻撃者が学習用のデータを操作し、機械学習モデルをだます手口を指す。例えば、不審なメールや危険な通信を判別するように機械学習モデルをトレーニングしている組織がある。データポイズニング攻撃によって、フィッシングメールやランサムウェア(身代金要求型マルウェア)を「検出しない」ように設定を変えられてしまう可能性がある。
攻撃者がデータポイズニング攻撃を仕掛けるには、学習用のデータにアクセスする必要がある。アクセス方法は、データセットが非公開か公開かによって変わる。
データセットが非公開の場合
社外に公開されていないデータセットにアクセスするには、システムに不正にアクセスする必要がある。その手口として、AIツールの脆弱(ぜいじゃく)性を悪用する場合がある。他には、悪意のある内部関係者が非公開データセットへのアクセス方法を攻撃者に知らせるというシナリオも考えられる。
特に注意が必要なのは、攻撃者が機械学習モデルの一部のみを操作するケースだ。この場合、AIツールはほぼ正常に機能するため、攻撃に気付きにくい。もしAIツールによる回答が明らかにおかしい内容だったら、データポイズニング攻撃だと疑った方がいい。
データセットが公開されている場合
学習用のデータセットが公開されている場合は、データポイズニング攻撃を実施するハードルが下がる。
例えば「Nightshade」というツールは、アーティストが自身の作品が生成AIの学習に無断で使われることを防ぐためのツールだ。このツールを使うと、人間の目には見えない変更をデータに加え、それを学習したAIモデルに予測不能なアウトプットを出力させることが可能になる。
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
2
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
3
「Excel至上主義」の終わらせ方 丸2日の手作業地獄から情シスと現場を救うには
-
4
221人調査で分かった「情シス最大のストレス」は?
-
5
「データストレージの活用方法」に関するアンケート
-
6
「AI時代の統合基盤・エンタープライズAI管理」に関するアンケート
-
7
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
-
8
本当に安いPCで十分か? “すぐ重くなる”を防ぐノートPC選びの絶対条件
-
9
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
10
Claudeの不可視透かしに批判殺到 著作権消失や誤判定に潜む企業リスク
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー