業務効率化のつもりでAIツールを使ったら首になった――。IBMのマネジャーであるマーティン・キーン氏が、企業に甚大な損害を与え、実際にキャリアを終わらせた「5つのAIリスク」と回避策を明かす。
生成AIの利用が企業で急速に広がる一方で、従業員の不適切な利用や管理不足が新たなリスクとして浮上している。IBMのマーティン・キーン氏（マネジャー兼IBMテクニカルトレーニングコンテンツクリエイター）は、「キャリアを失う可能性があるAIリスク」として5つの事例を紹介する。
5つの事例についてキーン氏は、「すでに誰かのキャリアを終わらせ、企業に数百万ドルの損害を与えてきた実例だ」と話す。そして、「当事者のほとんどは、単に『自分は生産的に仕事をこなしているだけだ』と思い込んでいた」と述べる。
シャドーAIとは、企業の情報システム部門（情シス）が承認していないAIツールを、従業員が独自に業務利用することだ。個人で契約した「ChatGPT」や、Webブラウザにアドオンとして導入できるAI拡張機能で企業が管理していないものなどがその例だ。
従業員本人は「仕事を早く終わらせたい」「より良い成果を出したい」と考えているだけかもしれない。しかし、企業から見ると、管理されていないシステムに業務データが流れている状態であり、重大なセキュリティリスクとなる。
この危険性を裏付けるデータとして動画で引用されているのが、IBM Securityの年次調査レポート「Cost of a Data Breach Report 2025」だ。同レポートは2024年3月から2025年2月の間にデータ侵害の被害に遭った16の国と地域、17の業界にわたる600の企業に所属するセキュリティ担当者や経営幹部3470人を対象に実施された調査に基づく。
それによると、調査対象企業の約20％、つまり5社に1社が、シャドーAIに関連するデータ漏えいを経験していたことが明らかになった。
シャドーAI利用者が最も起こしやすい問題の一つがデータ漏えいだとキーン氏は説明する。
データ漏えいは、誰かがデータの一部をコピーして、それを未承認のAIツールにペーストするたびに発生する。例えば、エラー調査のためにソースコードをAIツールに貼り付けた、顧客情報を要約させた、といった場面だ。業務効率化を目的に実行していたアクションが、外部のサーバに機密情報を蓄積させてしまったというストーリーだ。
さらに問題なのは、一部の生成AIサービスでは、入力した内容が将来のAIモデル学習に利用される可能性があることだ。入力したデータが一度モデルの学習データとして取り込まれれば、企業の機密情報は事実上コントロール不能になる。後から削除や回収を求めても完全な対処は難しい。
情報漏えいが発生すれば、企業は顧客への説明や法的手続き、規制当局への報告など、多額の出費を強いられる。
ここでキーン氏は、シャドーAIや情報漏えいの解決策について問題提起している。同氏によると、ほとんどの情シスは「今すぐ社内でのAIツールの使用を一律で禁止すること」を思い付くという。一方同氏は、「禁止すれば、従業員は必ず抜け道を見つけ出す」と話す。
では、企業をシャドーAIから守り、情報漏えいを最小限に抑えるために本当に必要なのは何か。キーン氏は、「優れたポリシーの作成」を提案している。「どのAIツールを承認するのか」「承認したツールをどのように使っていいのか」「どのデータをAIツールに使ってはいけないのか」を定めるものだ。
キーン氏は「未承認のAIツールを業務フローに持ち込み、そこから機密データを流出させてしまった場合、CISO（最高情報セキュリティ責任者）に呼び出され、そのまま会社を追われることになりかねない」と述べる。続けて、「AI推進チームのリーダーでありながら、シャドーAIやデータ流出を効果的に抑え込むための仕組みづくりを怠っていた場合も非常にまずい状況になるはずだ」と、適切なアクションの遂行が必要であることを強調する。
生成AIは、事実ではない内容をもっともらしく生成することがある。これがハルシネーション（幻覚）だ。問題は、「その内容を人間が検証せず、自分の成果物として提出してしまうことにある」とキーン氏は話す。
「ハルシネーションロンダリング」は、AIモデルが生成した誤った出力内容をそのままコピー＆ペーストし、業務用のレポートに貼り付けて「自分の成果物」として提出する行為だ。本来は取り合う必要もない情報が、その情報を取り扱う従業員の信頼性と組み合わさるとあたかも「事実」であるかのように見えてしまう。
キーン氏は、AIツールに生成させた情報を使った裁判書類で混乱を招いた弁護士の事例を紹介している。AIツールが生成した情報のファクトチェックを一切せず、その情報に基づいて重大なビジネス上の意思決定を下した経営層もいるという。
「その書類に載っている固有名詞が存在しない場合、責任を問われるのはAIではなく人間だ」。キーン氏はこう話す。
プロンプトインジェクションは、AIツールに設定されたルールや制約を無視させる攻撃手法だ。キーン氏によると、近年は「RAG」（検索拡張生成）やAIチャットbotの導入が企業で進んでいる一方、AI技術を使った攻撃手法も高度化している。
特に危険な攻撃手法としてキーン氏は、「間接的プロンプトインジェクション」を紹介する。攻撃者はWebページやメール、PDFファイルに悪意あるプロンプトを埋め込み、AIツールに読み込ませ、本来禁止されている処理を実行させる。
顧客向けAIサービスから機密情報が漏えいすれば、開発担当者や運用責任者には厳しい説明責任が求められる。
AIエージェントは、データベースへのアクセスやAPI実行、コード生成、メール送信などを自律的に実行する。キーン氏は、従業員が独断でAIエージェントを構築し、社内の内部システムに接続する事例は増加傾向にあると指摘する。
AIエージェントが人間の確認を挟まず、本来削除すべきではないデータを削除したり、不適切なメールを送信したりする事象が発生すれば、企業への影響は多大なものとなる。
キーン氏は、未承認のAIエージェントの「さらに大きな問題」として、「ゾンビAIエージェント」を紹介する。
ゾンビAIエージェントは、PoC（概念実証）や実証実験のために構築されたAIエージェントが、プロジェクト終了後も停止されずに動き続けるケースだ。認証情報やAPIキーを保持したまま放置されるため、攻撃者にとっては格好の侵入口になる。
ゾンビAIエージェントを放置した従業員に悪意がなかったとしても、そこから情報漏えいやコンプライアンス違反が発生すれば、責任を問われることになる。その実態を把握していなかった情シス部門も、非常に厳しい追及を受けることになる。
キーン氏は最後に、“AIを使って首”につながる6つ目のリスクを紹介する。それは「AIツールを使わないこと」だ。同氏は、「AIツールを使わないこともまた、時代の変化に乗り遅れて首になる原因になる」と言い添える。キーン氏は、「『ガバナンスなしにAIツールを使うこと』と『検証なしにAIツールを使うこと』こそが、キャリアを狂わせる原因になる」と締めくくる。
本稿は、IBM Technologyが2026年5月24日に公開した動画「Five AI Risks That Can Get You Fired―And How to Avoid Them」を基に作成しました。
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。
瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓
MFA（多要素認証）を入れたから安心という常識が崩れ去っている。フィッシング集団「Tycoon2FA」が摘発されたが、脅威が完全になくなったというわけではない。
「サイト内検索」＆「ライブチャット」売れ筋TOP5（2025年5月）
今週は、サイト内検索ツールとライブチャットの国内売れ筋TOP5をそれぞれ紹介します。
「ECプラットフォーム」売れ筋TOP10（2025年5月）
今週は、ECプラットフォーム製品（ECサイト構築ツール）の国内売れ筋TOP10を紹介します。
「パーソナライゼーション」＆「A／Bテスト」ツール売れ筋TOP5（2025年5月）
今週は、パーソナライゼーション製品と「A／Bテスト」ツールの国内売れ筋各TOP5を紹介し...
ITmediaはアイティメディア株式会社の登録商標です。
