企業を揺るがしたAI活用の失敗劇
本番DB削除に顧客情報流出 「AI丸投げ」が生んだ4つの惨事
AI活用が進む一方で、本番DBの全削除やシャドーAIによる顧客データ漏えいなど重大事故が相次いでいる。4つの失敗事例から、AI過信が招くリスクと情シスが講じるべきガバナンス対策を解説する。
AIは正しく活用すれば、優れた業務拡張ツールとなる。定型作業を自動化し、膨大なデータセットを評価し、企業全体の効率を向上できる。
当然ながら、鍵となるのは企業がAIを正しく使うことだ。ただし、AI技術は絶えず進化しているため、AIに何ができるのか、どのデータにアクセスを許可すべきかを企業が把握し続けることは容易ではない。
機械レベルの速度で行われる作業は、機械レベルの速度でエラーを引き起こす。その結果、重大な収拾作業が必要になる場合がある。多くの企業がレジリエンスの強化に注力する中、AIに起因するアクシデントは障害となり得る。
以下では、企業のデータをリスクにさらし、レジリエンス向上の取り組みを損なったAIインシデントを4つ紹介する。
1．本番データベースの消失
2026年4月、米国のSaaS企業PocketOSで大きな注目を集めたAIインシデントが発生した。指示とは異なる挙動を見せ、AIコーディングエージェントが本番データベースとそのバックアップを削除してしまった。しかもユーザーにはAIが正解と考える結果を出力し続けていた。
こうしたインシデントは珍しくない。提供されたデータからエージェントが誤った結論を導き出し、データを失うユーザーは少なくない。
ここで得るべき教訓は、AIの出力をうのみにしないことだ。AIの動作を把握し、環境への無制限の権限を与えないことが必要だ。本番環境へのアクセスは極力制限し、緊急停止スイッチとして可能な限り人間をプロセスに介入させることが重要だ。
2．アプリ構築と社内データの外部露出
AIを活用するユーザーは実用的なプロダクトを作成できる。しかし、システムのセキュリティやデータプライバシーの欠如がAIインシデントを引き起こす点について理解していない人が多い。
残念ながら、企業がこうした手製のアプリケーションをホストする環境を用意しないと、それらは会社の機密実データを持ったままサードパーティー製ツール上に配置される。社内データで未承認のAIツールを使う行為は「シャドーAI」と呼ばれ、AIツールの普及に伴い大きな懸念事項となっている。
2026年5月、米ペンシルベニア州の地方銀行であるコミュニティ・バンク（Community Bank）でこの問題が発生した。外部の攻撃者ではなく行員が、未承認のAIチャットボットにアップロードしたことで顧客の機密情報が流出してしまった。同行は評判を落としただけでなく、米証券取引委員会（SEC）への「Form 8-K」（臨時報告書）の提出を余儀なくされた。
経営陣は、自作プロダクトをホストデモできる社内インフラを用意することでこうした危機を軽減できる。インターネット上の情報を収集する悪意ある第三者にデータを奪われる心配のない環境だ。そうしたシステム構築にかかるコストは、事後処理費用や潜在的な賠償責任に比べればわずかなものだ。
3．検証なしの過信
最善を尽くしてもAIシステムがハルシネーション（幻覚）を起こすことは誰もが知っている。ユーザーがエージェントに全データを検証し「ハルシネーションを起こすな」と指示しても、確実に機能する保証はない。プロフェッショナルサービス大手のKPMGは2025年10月、実在する企業について事実と異なるAI利用状況を記載したレポートを公開し、このリスクを痛感することになった（レポートは2026年6月に撤回した）。
その影響は大きく、KPMGは深刻な評判の低下を招いた。レポートに記載された企業が法的措置に踏み切っていれば、法廷闘争に発展していた可能性もある。
このような大惨事を防ぐ最善策は、AIが作成した文書を誰かが実際に読み、データソースを検証し、データを処理するアルゴリズムを把握することだ。多くの場合、わずかなバグが数値の小さなズレや重大な誤りにつながる。
4．法的な誤情報を回答するチャットボット
ニューヨーク市のチャットボット「MyCity」は、事業主で最低賃金の誤認や、店舗のキャッシュレス化についての架空の主張など、誤った法的情報を提示し地雷原と化した。このインシデントは広報上の問題となっただけでなく、市の公式Webサイトに対する正確性の信頼も損なった。
ユーザー側の対策は単純だ。チャットボットを唯一の真実として信頼せず、重大なリスクが伴う場合はしかるべき法律の専門家に費用を払って相談することだ。チャットボットはユーザーを満足させるために回答を捏造（ねつぞう）することが多いため、真に受けるべきではない。
企業にとっては、公式チャットボットを監視し、機密データの漏えい防止だけでなく、提供する回答や助言が正確で組織をリスクにさらさないか確認することが重要である。企業のチャットボットが誤った情報や捏造された情報、無責任な回答を提供すれば、企業の賠償責任につながる。弁護士は賠償責任保険に入っているが、チャットボットは入っていない。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[サイボウズ株式会社] DXに必要な「Dスキル」「Xスキル」を持った人材を育成するには？ -
市場調査・トレンド
[サイボウズ株式会社] データで見る、DXが「順調に進む企業」と「つまずく企業」の違い -
製品資料
[サイボウズ株式会社] 賛否が割れがちな「Notesからの移行」 新環境への移行を納得してもらうには？ -
事例
[ServiceNow Japan合同会社] 農林中金に学ぶ内製開発 処理効率を約2倍に高めAI活用も加速させた方法とは？ -
事例
[ServiceNow Japan合同会社] NTTグループのデジタル変革術、17万人が利用する決裁プロセス刷新の全貌
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「VMware離れ」は本当か 3000社がVCF 9にかじを切った現実的な理由
-
2
「Microsoft 365」が乗っ取られる 跡形もなくMFAを破る手口
-
3
「OSの選定・導入」に関するアンケート
-
4
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
5
「コピペ運用の限界」に直面するAI活用 7割超が“別画面”のまま使う理由は？
-
6
AI基盤は本当に「オンプレ回帰」する？ Broadcomの言い分と企業の本音
-
7
Microsoft製品でここまで自動化できる 情シスがやめられる手作業10選
-
8
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
9
エンジニアが選考を辞退する本当の理由 7割が隠す“面接の違和感”とは
-
10
エンジニアの4分の3が転職で年収増 doda調査に見る「もうかる転職」の条件
ホワイトペーパーランキング PR
-
1
生成AIのハルシネーションを防止 回答精度を高めるセマンティックレイヤーとは
-
2
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
3
5回聞くだけじゃ足りない？ トヨタ式「なぜなぜ分析」の正しい実践方法
-
4
AIが「わざわざ使うツール」になっていない？ 業務で自然に使う導線にする秘訣
-
5
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは？
-
6
「脱Excel」か「Excel快適化」か？ 現場にやさしい業務改善の進め方
-
7
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
8
マンガで解説：「ゼロトラスト」「SASE」の必要性とメリット
-
9
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
10
情報セキュリティ対策早分かりガイド：25の自社診断で弱点と解決策を理解
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー