すぐにできる対策
暴走するAIエージェントをどう防ぐ? IBMのAI専門家が語る「3つの失敗」
問題なく設定したはずのAIエージェントが暴走するのはなぜか――。IBMのミーナクシ・コダティ氏は、これらは偶発的な不具合ではなく、設計で防げると指摘する。
「AIエージェントを導入したのに、同じ処理を延々と繰り返す」「AIが実現の難しい計画を勝手に立てて暴走する」――。生成AIやAIエージェントの活用が広がる中、こうした“AIの失敗”に直面する企業が増え始めている。
このようなAIエージェントの失敗を“AIの気まぐれ”ではなく、設計や運用の不備によって起きる「予測可能な障害」だと指摘するのは、IBMのアドバイザリーAIエンジニア、ミーナクシ・コダティ氏だ。
コダティ氏は、AIエージェントで頻発する代表的な失敗として、「無限ループ」「計画のハルシネーション」「不安全なツールの使用」の3つを挙げている。
AIエージェントが陥る「3つの失敗」と対策
併せて読みたいお薦め記事
AIエージェント運用の関連記事
無限ループ(Infinite Loop)
無限ループは、AIエージェントが意味のある進捗を生まないまま、同じ、あるいは似たようなタスクを繰り返し続けてしまう現象を指す。
例えば、「社内文書を探してほしい」と依頼されたAIエージェントが、存在しない文書を延々と検索し続けるケースがある。エージェントは「検索→結果評価→再計画→再検索」というサイクルを繰り返すが、そもそも対象となる文書が存在しない場合、永遠にゴールへ到達できない。検索ワードだけを少しずつ変えながら、同じ処理を繰り返す状態に陥る。
コダティ氏はこの問題の主因として、「適切な終了条件が設定されていない」「過去の行動を追跡・比較していない」「リトライごとの進捗を確認していない」の3点を挙げる。つまり、AIが“前回と同じ失敗”をしていることをシステム側が認識できていないという。
対策としては、「最大リトライ回数」「最大ステップ数」「最大実行時間」といった終了条件を明示することが重要だという。さらに、過去の検索やアクションを比較し、変化がない場合は自動停止する仕組みや、「結果が改善しているか」を監視する進捗追跡も有効だとしている。
計画のハルシネーション(Hallucinated Planning)
計画のハルシネーションは、AIエージェントが「実行可能な計画」ではなく、「一見もっともらしいだけの計画」を立ててしまう現象を指す。
例えば、「500ドル以下の予算で取れるミラノ行きの航空券を予約して」と依頼すると、AIエージェントは「旅行予約のAPIを使って検索し、条件に合う便を予約し、確認メールを送信する」といった流れを提示する。一見すると完璧な計画だが、実際には、そのAIエージェントには、旅行予約のAPIへのアクセス権も、メール送信機能も与えられていない可能性がある。その結果、実行段階でエラーが発生する。
コダティ氏はこの問題の背景として、「ツールの機能や権限が曖昧」「計画と実行が分離されておらず事前検証がない」「制約条件を確認せず、AIが勝手に能力を想定している」ことを挙げる。
対策としては、ツールの機能や制限を明確に定義し、AIへ正確に理解させることが重要だという。また、「計画役」と「検証役」を分離するマルチエージェント構成や、高リスク操作の前に人間が確認する「Human in the Loop」の導入も有効だとしている。さらに、不明点があればAIが勝手に推測せず、人間へ確認を求める設計も必要だという。
不安全なツールの使用(Unsafe Tool Use)
不安全なツールの使用は、AIエージェントが技術的には正しい操作を実行しているにもかかわらず、その結果が組織にとって危険、破壊的、あるいは意図しないものになってしまうケースを指す。
例えば、「古いデータを削除せよ」と指示されたAIエージェントが、誤って現在利用中の重要データまで削除してしまうケースがある。また、人間のレビューを経ていない内容を、AIエージェントが顧客へ自動メール送信してしまうケースもある。
コダティ氏はこうした事故の原因として、「AIエージェントへ過剰な権限を与えている」「承認のワークフローが存在しない」「読み取り権限と書き込み・削除権限が分離されていない」点を挙げる。
対策としては、「最小権限の原則」を徹底し、AIエージェントには必要最小限の権限のみ付与することが重要だという。加えて、高リスク操作の前に人間のレビューを挟む承認フローや、「読み取り専用」「書き込み可能」「削除可能」といった権限の階層化も有効だとしている。
特に重要なのは、「AIの性能向上」よりも、「AIをどう制御するか」という設計思想だ。コダティ氏は、「AIエージェントの失敗は偶発的なものではなく、予測可能なものだ」と強調する。その原因は、「自律性が高すぎる」か、「制約が少なすぎる」か、あるいは「監視や追跡が不足している」ことにあるという。
コダティ氏は、信頼性の高いエージェントシステムを構築するためには、単にAIをツールにつなぐだけでなく、「エンジニアリングとしての規律」(Engineering discipline)を持ってシステム全体を設計することが不可欠であると結論付けている。
本稿は、IBMが2026年5月14日に公開した動画「Why Agentic AI Fails: Infinite Loops, Planning Errors, and More」を基に作成しました。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社MatrixFlow] 「物流リソース最適化」ガイド:人員・配車・傭車を出庫依頼の確定前に決めきる -
製品資料
[株式会社キーエンス] なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは -
製品資料
[株式会社セールスフォース・ジャパン] 「CRMは設計と無関係」は本当か? PLMとの融合で実現する高速開発 -
事例
[日本ヒューレット・パッカード合同会社] AIエージェントの時代にどう備える? 「新たな働き手」を支える3要素とは -
製品資料
[日本ヒューレット・パッカード合同会社] “横並びの自動化”から脱却、AI活用で生産性と競争力を高める秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
ChatGPTは“検索しまくり”でGeminiは“淡泊”? データが明かすAIの裏側
-
2
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
3
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
4
「中堅・中小企業のネットワーク・セキュリティ運用実態」に関するアンケート
-
5
「IBM iはDXのボトルネック」は誤解 意外と知らない今風モダナイズの効果
-
6
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
7
「Wi-Fi 7」経由でWindowsが乗っ取られる? 最高権限奪取の恐怖
-
8
「朝8時にバッチが終わらない」データ爆発の危機をJPX総研はどう乗り越えたか
-
9
損保ジャパンはなぜ「COBOL」を捨てなかったのか? 脱メインフレームの真相
-
10
AIの導入効果はどう測る? DMM.comのエンジニア組織に学ぶ効果検証のノウハウ
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険? 避けるべき理由と具体的な対策
-
3
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
4
プログラミング不要で誰でも実現できる、ネットワーク運用管理の自動化とは
-
5
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
6
LLMが兵器化? 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
7
なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは
-
8
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
-
9
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
10
“あのファイル転送”で暗躍するノーウェアランサム
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー