AI導入でデータ消失や業務量の増大が起きる？ “本当にあったAIの怖い話”3選：企業のAI導入の失敗に学ぶ
企業のAIツール導入が進む一方で、導入に失敗した事例もある。脆弱性が生じたケースや重大な企業データを消失したケース、業務改善の判断ミスなど、2025年に実際に起こったAI技術の“怖い話”を3つ紹介する。
2025年はAI（人工知能）市場にとって波乱の年だった。業界が成長を続ける中、エンドユーザーやAI業界の関係者は、AI技術の急成長と同時に、失敗や衰退を目の当たりにしてきた。その中には、企業に壊滅的な打撃を与えたものもあった。
コンサルティング会社McKinsey & Companyが2025年3月に発表したレポート「The State of AI： How organizations are rewiring to capture value」（AIの現状：AIから価値を獲得するために企業を再構築するには）によれば、2024年第3四半期（4月〜６月）時点で78%の企業がAI技術を何らかの形で利用しており、71%が生成AIを使用している。AIの利用は広範囲に及び、今後も新しい業界や分野に広がる見込みだ。しかし新技術の導入はしばしば失敗を引き起こす。ビジネスを中断させ、企業の健全性に壊滅的な影響を与えることがある。
本記事は、2025年に企業がAI技術を利用する際に起こった、恐ろしい話を紹介する。企業の財務的や評判への損害や、法的なリスクをもたらしたIT事故は、AIユーザーにとって貴重な教訓になる。
GitHub Model Context Protocolでプロンプトインジェクションの脆弱性が発見される
2025年5月、セキュリティ研究機関のInvariant Labsは、ソースコード共有サービス「GitHub」が提供するModel Context Protocolサーバ「GitHub MCP Server」（以下、MCP）に重大なアーキテクチャの脆弱（ぜいじゃく）性を発見した。この脆弱性で、攻撃者はAIアプリケーションとMCPを使用して個人情報を収集することが可能になった。
MCPは、大規模言語モデル（LLM）を用いたAIアプリケーションがGitHubにある情報にアクセスし、操作するためのサーバだ。通常MCPはAIアプリケーションを外部ツールやサービス、データソースと接続させる。開発者はパーソナルアクセストークン（以下、PAT）を設定して、AIアプリケーションに特定のアクセス権限を与え、MCP内のリクエストを認証する。PATにはカスタムされた権限やその有効期限が設定でき、1つのユーザーIDに合わせて認証を自動化するため便利だ。しかし管理されていないPATはセキュリティの脆弱性を生む可能性がある。
例えば開発者がAIアシスタントに現在のプロジェクトの問題をレビューするよう依頼するとしよう。この開発者はPATを使用してAIアシスタントをMCPに接続させて、開発者のリポジトリにある全てのイシュー（課題）にアクセスできるようにする。このPATから取得できる情報には、コミット（ソースコードの変更履歴）やプルリクエスト（変更提案）、コードレビューなどの誰でも見られる情報が含まれている。もしその中に、プロンプトインジェクション（AIモデルへの指示に不正な命令を紛れ込ませる手法）に使われる、悪意あるテキストが含まれていた場合、AIアシスタントがそのテキストを読み取ると、AIアシスタントは暴走する。AIアシスタントはその後、プライベートなリポジトリにアクセスしたり、企業の機密データを盗み出したりする可能性がある。
プロンプトインジェクション攻撃を防ぐために、Invariant Labsはユーザー組織に対し、PATの詳細な権限コントロールと継続的なセキュリティ監視を実施することを推奨した。
「簡単な言葉のトリックを使ったプロンプトインジェクションは、AI技術がどれほど進化してもシステムを侵害できる。巧妙に作られたテキストや隠された命令だけで、ほとんどのAIアプリケーションは簡単に侵入されてしまう」と、ITコンサルティング会社IncedoのIT部門グローバルヘッド兼最高情報セキュリティ責任者（CISO）のアーチー・ジャクソン氏は説明する。
ReplitのAIコーディングツールがユーザー企業の重要データを“勝手に”削除
2025年7月、開発ツールベンダーReplitの同名AIコーディングツールが、ユーザー企業のデータベース全体を消去する事態を引き起こした。このデータベースには、数百人の経営者や企業のデータが含まれていた。
SaaS（Software as a Service）コミュニティーSaaStrの創設者であるジェイソン・レムキン氏は、ReplitのAIエージェントがSaaStrのデータベースを削除する前から、問題が起こっていることを認識していた。レムキン氏が短文投稿サイト「X」に投稿した内容によれば、AIエージェントは幻覚（ハルシネーション：もっともらしい偽情報の生成）を起こして、開発中のアプリケーションのバグを隠して正常に動作しているように見せかける偽のレポートやデータを作成したという。それに気付いたレムキン氏は、AIエージェントに対して本番用システムのソースコードを一切変更しないよう指示を出していたにもかかわらず、AIエージェントはレムキン氏のインフラに無許可の変更を加え続けた。最終的にこれらの変更がきっかけとなり、SaaStrの本番用データベースが削除されることになった。
ReplitのCEOアムジャド・マサド氏は、レムキン氏の投稿を受けて、同社が将来同様の問題を防ぐための新たな安全策を講じたことをエンドユーザーに保証した。レムキン氏もまた、SaaStrが削除されたデータを回復したと述べた。
ユーザー企業にとって、この種の損失に対する最善の防御策は次の通りだ。
- 開発環境、ステージング環境（検証環境）、本番環境を厳格に分離する。
- 人間のエンドユーザーとAIエージェントに対し、適切なアクセス権限を設定する。
- インフラの監視体制を万全にし、データのバックアップと復旧のための戦略を確立する。
「AIエージェントは、明示的な同意なしに開発環境に大きな変更を加えられるようになるべきではない」と、ローコード開発ツールベンダーZapierのエンジニアリングシニアマネジャーであるケリー・ボーン氏はLinkedInの投稿で述べている。
オーストラリアの銀行CBAが、AIチャットbotの導入失敗で従業員の解雇を撤回
2025年8月、オーストラリアの銀行Commonwealth Bank of Australia（CBA）は、AIチャットbotの失敗を受けて、カスタマーサービスを担当する数十人の従業員を解雇する決定を撤回した。
2025年6月に、CBAは顧客の問い合わせを処理するためにAIチャットbotを導入した。オーストラリアの技術専門家コミュニティーAustralian Computer Societyのニュースメディア「Information Age」によれば、同行は毎週2000件の問い合わせをコールセンターからAIチャットbotに転送することに成功した。顧客をチャットbotに誘導してできるだけ多くの簡単な問い合わせを解決し、複雑な内容の問い合わせを人間のスタッフに任せることが目的だった。AIチャットbotの導入をきっかけとして、CBAは45人の従業員を解雇した。
しかし銀行はこの施策を急ぎ過ぎた。オーストラリアの金融機関の従業員で構成される労働組合Finance Sector Union（FSU）によれば、CBAのある従業員は、CBAがAIチャットbotを導入した後に業務量の増加を報告した。FSUは声明の中で、「問い合わせの量が増加したため、経営陣は従業員に残業させようと働き掛けており、チームリーダーすら電話対応に回した」と述べている。
2025年8月までに、CBAはコールセンターの従業員を解雇するという決定を撤回した。同行は誤りを認め、「必要な人員の役割をより徹底的に評価すべきだった」と説明した。
企業が新しい技術を導入する際は、事業や従業員への影響を慎重に評価する必要があると、ITコンサルティング会社hum[ai]nのディレクターであるケイト・ラッセル氏は述べた。「経営陣が変化に備えずに効率を追い求めると、生産性ではなく崩壊が結果となる」（ラッセル氏）
ラッセル氏は企業がAI導入に取り組む際に、従業員の信頼を築いてツールを試すための機会を作ることや、ツールを事業における大きな目的に結び付けること、従業員自身がツールを使ってAI活用を推進できるようにする体制を構築することを推奨している。
Copyright © ITmedia, Inc. All Rights Reserved.