生成AIユーザーが無視できないデータ汚染
生成AIを狂わせる「データポイズニング」の意外なほど簡単な手口とは
生成AIツールの普及とともに、「生成AIツールを狙った攻撃」も広がりつつある。その一つがデータポイズニング攻撃だ。どのような手口なのか。
AI（人工知能）技術ベンダーOpenAIの「ChatGPT」に代表される「生成AI」（ジェネレーティブAI）ツールは、さまざまなメリットだけではなくセキュリティリスクをも組織にもたらしている。脅威となり得るのは、攻撃者が生成AIツールを攻撃の自動化に悪用することだけではない。「データポイズニング」も無視できない脅威の一つだ。どのような手口なのか。
「データポイズニング」の意外なほど簡単な手口とは
生成AIツールは自ら考えるのではなく、ユーザーが出したプロンプト（指示や質問）を基にアウトプットを生成する。そのアウトプットは、学習したデータを基にしている。
データポイズニング攻撃とは、簡単に言えば攻撃者が学習用のデータを操作し、機械学習モデルをだます手口を指す。例えば、不審なメールや危険な通信を判別するように機械学習モデルをトレーニングしている組織がある。データポイズニング攻撃によって、フィッシングメールやランサムウェア（身代金要求型マルウェア）を「検出しない」ように設定を変えられてしまう可能性がある。
攻撃者がデータポイズニング攻撃を仕掛けるには、学習用のデータにアクセスする必要がある。アクセス方法は、データセットが非公開か公開かによって変わる。
データセットが非公開の場合
社外に公開されていないデータセットにアクセスするには、システムに不正にアクセスする必要がある。その手口として、AIツールの脆弱（ぜいじゃく）性を悪用する場合がある。他には、悪意のある内部関係者が非公開データセットへのアクセス方法を攻撃者に知らせるというシナリオも考えられる。
特に注意が必要なのは、攻撃者が機械学習モデルの一部のみを操作するケースだ。この場合、AIツールはほぼ正常に機能するため、攻撃に気付きにくい。もしAIツールによる回答が明らかにおかしい内容だったら、データポイズニング攻撃だと疑った方がいい。
データセットが公開されている場合
学習用のデータセットが公開されている場合は、データポイズニング攻撃を実施するハードルが下がる。
例えば「Nightshade」というツールは、アーティストが自身の作品が生成AIの学習に無断で使われることを防ぐためのツールだ。このツールを使うと、人間の目には見えない変更をデータに加え、それを学習したAIモデルに予測不能なアウトプットを出力させることが可能になる。
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社キーエンス] なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは -
製品資料
[株式会社セールスフォース・ジャパン] 「CRMは設計と無関係」は本当か？ PLMとの融合で実現する高速開発 -
事例
[日本ヒューレット・パッカード合同会社] AIエージェントの時代にどう備える？ 「新たな働き手」を支える3要素とは -
製品資料
[日本ヒューレット・パッカード合同会社] “横並びの自動化”から脱却、AI活用で生産性と競争力を高める秘訣 -
製品資料
[サイボウズ株式会社] AIが「わざわざ使うツール」になっていない？ 業務で自然に使う導線にする秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「全社配布Copilot」は使われないのか？ 失敗に学ぶAI定着
-
2
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
3
【漫画付き】ひとり情シス協会が明かす、RAG導入でしくじる企業「2つの共通点」
-
4
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
5
損保ジャパンはなぜ「COBOL」を捨てなかったのか？ 脱メインフレームの真相
-
6
ChatGPTは“検索しまくり”でGeminiは“淡泊”？ データが明かすAIの裏側
-
7
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
8
BMWも導入 78兆円市場に化ける「フィジカルAI」の衝撃
-
9
「Wi-Fi 7」経由でWindowsが乗っ取られる？ 最高権限奪取の恐怖
-
10
「AI活用を前提とした業務PCへの移行」に関するアンケート
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化？ 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険？ 避けるべき理由と具体的な対策
-
3
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
4
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
5
LLMが兵器化？ 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
6
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
7
なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは
-
8
生成AIを開発に導入しても効果が見えない？ 実証実験で分かった成果と課題
-
9
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー