生成AIユーザーが無視できないデータ汚染
生成AIを狂わせる「データポイズニング」の意外なほど簡単な手口とは
生成AIツールの普及とともに、「生成AIツールを狙った攻撃」も広がりつつある。その一つがデータポイズニング攻撃だ。どのような手口なのか。
AI（人工知能）技術ベンダーOpenAIの「ChatGPT」に代表される「生成AI」（ジェネレーティブAI）ツールは、さまざまなメリットだけではなくセキュリティリスクをも組織にもたらしている。脅威となり得るのは、攻撃者が生成AIツールを攻撃の自動化に悪用することだけではない。「データポイズニング」も無視できない脅威の一つだ。どのような手口なのか。
「データポイズニング」の意外なほど簡単な手口とは
生成AIツールは自ら考えるのではなく、ユーザーが出したプロンプト（指示や質問）を基にアウトプットを生成する。そのアウトプットは、学習したデータを基にしている。
データポイズニング攻撃とは、簡単に言えば攻撃者が学習用のデータを操作し、機械学習モデルをだます手口を指す。例えば、不審なメールや危険な通信を判別するように機械学習モデルをトレーニングしている組織がある。データポイズニング攻撃によって、フィッシングメールやランサムウェア（身代金要求型マルウェア）を「検出しない」ように設定を変えられてしまう可能性がある。
攻撃者がデータポイズニング攻撃を仕掛けるには、学習用のデータにアクセスする必要がある。アクセス方法は、データセットが非公開か公開かによって変わる。
データセットが非公開の場合
社外に公開されていないデータセットにアクセスするには、システムに不正にアクセスする必要がある。その手口として、AIツールの脆弱（ぜいじゃく）性を悪用する場合がある。他には、悪意のある内部関係者が非公開データセットへのアクセス方法を攻撃者に知らせるというシナリオも考えられる。
特に注意が必要なのは、攻撃者が機械学習モデルの一部のみを操作するケースだ。この場合、AIツールはほぼ正常に機能するため、攻撃に気付きにくい。もしAIツールによる回答が明らかにおかしい内容だったら、データポイズニング攻撃だと疑った方がいい。
データセットが公開されている場合
学習用のデータセットが公開されている場合は、データポイズニング攻撃を実施するハードルが下がる。
例えば「Nightshade」というツールは、アーティストが自身の作品が生成AIの学習に無断で使われることを防ぐためのツールだ。このツールを使うと、人間の目には見えない変更をデータに加え、それを学習したAIモデルに予測不能なアウトプットを出力させることが可能になる。
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[株式会社マクニカ] アイカ工業に学ぶ脆弱性対策 情シスが把握できずにいたアセットも正確に把握 -
製品資料
[株式会社マクニカ] 「脆弱性総まとめ」解説 被害事例から考える必須の対策ポイント -
製品資料
[Splunk Services Japan合同会社] サイバー脅威「トップ50」完全解説ガイド、新たな攻撃手法に対抗するには -
製品資料
[株式会社うるる] 「入札市場」完全ガイドブック：メリットから資格取得のポイントまで -
市場調査・トレンド
[株式会社うるる] はじめての「自治体／官公庁入札」 必要な知識がすぐに学べる入門ガイド
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
2
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
3
Microsoft製品でここまで自動化できる 情シスがやめられる手作業10選
-
4
AI基盤は本当に「オンプレ回帰」する？ Broadcomの言い分と企業の本音
-
5
「技術屋」で終わらないために 情シスが今取るべき認定資格5選
-
6
「世界一給与にハングリー」な日本のエンジニアが“雇用の安定”を求める理由
-
7
「Linuxサーバの長期運用とRed Hat Enterprise Linux」に関するアンケート
-
8
「IoT通信環境の構築・運用」に関するアンケート
-
9
「VMware離れ」は本当か 3000社がVCF 9にかじを切った現実的な理由
-
10
ISMSの“コンサル丸投げ”が招く数千万円の無駄 NTTドコモビジネスの脱出劇
ホワイトペーパーランキング PR
-
1
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
2
AIが「わざわざ使うツール」になっていない？ 業務で自然に使う導線にする秘訣
-
3
5回聞くだけじゃ足りない？ トヨタ式「なぜなぜ分析」の正しい実践方法
-
4
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは？
-
5
「脱Excel」か「Excel快適化」か？ 現場にやさしい業務改善の進め方
-
6
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
7
PostgreSQLの「機能」「性能」「運用」「拡張性」に関する悩みの解消法
-
8
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
9
Macの安全神話は崩壊？ 最新の脅威動向から見えた攻撃のトレンドと有効な対策
-
10
情報セキュリティ対策早分かりガイド：25の自社診断で弱点と解決策を理解
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー