422件の誘導事例を確認
生成AIが「危険サイト」に誘導する事例を確認、どのような手口?
生成AIは便利な一方で、新たな脅威の温床にもなっている。攻撃者がインターネット上の情報を不正に操作することで、生成AIが危険なWebサイトを案内してしまうという。どのような手口なのか。
近年、「ChatGPT」などの生成AI(AI:人工知能)を活用したチャットbotは、日常的な情報検索や文章作成の支援など、さまざまな場面で広く使われている。しかし、その利便性が高まる一方で、生成AIが提示する情報の安全性に対する懸念も浮上している。
トレンドマイクロの脅威リサーチャーは、生成AIチャットbotの回答に含まれる外部Webサイトへのリンクや、アクセス元のリファラー情報などを独自に調査および分析した。回答の参照URLに自動付与されるパラメータなどを利用することで、生成AIサービスからの誘導実態を詳細に把握できる。
その結果、2026年2月のテレメトリーデータ(システムや機器の稼働状況に関するデータ)から、生成AIを経由して少なくとも422件の危険なWebサイトに誘導された事例を確認した。これらの危険サイトには、偽ショッピングサイトや不正プログラム配信サイトが含まれており、利用者が詐欺被害に遭うリスクが潜んでいる。
生成AIが意図せず危険なWebサイトを案内してしまう背景には、どのような攻撃手法や生成AIの特性が関係しているのか。
検索の「AIによる概要」も安全ではない?
生成AIが危険なWebサイトを利用者に提示してしまう要因の一つとして、トレンドマイクロは攻撃者による「SEOポイズニング」などの影響を指摘している。攻撃者は特定の偽サイトを検索エンジンの検索結果の上位に表示させるため、インターネット上の情報を不正に操作する。生成AIがそれらの汚染された情報を学習や参照の対象とすることで、危険なサイトを含む誤った回答が生成されてしまう仕組みだ。
トレンドマイクロが検証した事例では、特定の商品を販売するWebサイトを尋ねるプロンプトに対し、偽ショッピングサイトへのリンクが含まれる回答が生成された(図1)。
誘導先の偽サイトは、正規のブランドサイトに似せたデザインを使用し、公式の商品画像を流用しているケースもあり、一見しただけでは真偽の見極めが極めて困難だ(図2)。利用者がAIの回答をうのみにしてこれらのWebサイトを利用した場合、代金を支払っても商品が届かないどころか、個人情報が悪用される恐れがある。
生成AI特有のハルシネーション(もっともらしい偽情報の生成)による被害事例も確認されている。動画生成AIの公式サイトのURLを、生成AIチャットbotに繰り返し質問したところ、事実とは異なる詐欺サイトのURLが公式サイトとして提示されるケースがあった。データ分析からも、複数の利用者がこの回答を信じて同じ詐欺サイトに誘導されていたことが明らかになっている。
検索エンジンの検索結果に表示される「AIによる概要」機能においても、同様のリスクが確認されている(図3)。
この機能は検索キーワードに関連する情報を、AIモデルが複数のWebサイトから整理し、要点をまとめて提示する便利なものだ。しかしここでも、紹介されるWebサイトの中に偽ショッピングサイトが含まれている事例が報告された。
こうした脅威に対し、トレンドマイクロは「利用者にも生成AIの特性を踏まえたリテラシーが求められる」と述べる。生成AIはもっともらしい文章を確率的に出力する仕組みであるため、提示された情報が常に最新かつ正確であるとは限らない。
企業がビジネスで生成AIを活用する上では、利便性と隣り合わせのリスクを正しく評価するプロセスが欠かせない。生成AIがエージェントとして自律的に動作する時代を見据え、今後は生成AIの出力結果に対する検証の自動化や、AIツールに対する包括的なガバナンスの構築が、企業にとって急務になる。
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。
TechTarget ニュースプラス
国内のIT業界ニュースを迅速に報道します。企業動向から導入事例、市場トレンドまで幅広く取り上げ、実務に直結する情報をタイムリーに提供する連載です。
関連記事
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
2
「Excel至上主義」の終わらせ方 丸2日の手作業地獄から情シスと現場を救うには
-
3
221人調査で分かった「情シス最大のストレス」は?
-
4
AIで人を減らした企業がもう心変わり 「AIブーメラン現象」の実態
-
5
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
6
「Microsoft 365のセキュリティ運用」に関するアンケート
-
7
10年かけてBIを再構築したアマノの一手 「権限がない」「予算がない」でもDXは動かせる
-
8
LLMの「過学習」、正しく説明している文章はどれ?
-
9
「データストレージの活用方法」に関するアンケート
-
10
「業務改善とツール活用」に関するアンケート
ホワイトペーパーランキング PR
-
1
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
2
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
3
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
4
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
5
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
6
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
7
“あのファイル転送”で暗躍するノーウェアランサム
-
8
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
9
中小企業必見、Microsoft 365でゼロトラストセキュリティを実現する方法
-
10
動画で知るランサムウェア被害企業のリアル、会計データが無事だった理由とは
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー