課題1．レート制限によるキャパシティー不足

　AIシステムの障害というと、モデルの精度不足や推論ミスを想像しがちだ。しかしDatadogの分析では、LLM呼び出しの失敗要因の多くは別のところにあった。

　2026年2月のデータでは、LLMへのAPI呼び出しの約5％でエラーが発生しており、そのうち約60％はレート制限超過などのキャパシティー不足が原因だった。

　特にAIエージェントでは、1回のユーザー要求に対して複数回のモデル呼び出しが発生する。リトライ処理やツール呼び出しが連鎖すると、予想以上の負荷が発生し、プロバイダー側の利用制限に達しやすくなる。

　Datadogはこの問題への対策として、キューイングシステム（AIへの処理リクエストを一旦リクエストの待機列に入れ、順番や優先度に従って処理する仕組み）やバックオフ制御（リクエストやリトライが失敗した際に、次の再試行までの待ち時間を少しずつ長くしていく方法）、代替キャパシティーやフォールバック機構の整備を推奨している。さらに、AIエージェントごとに呼び出し回数やトークン使用量の上限を設定し、暴走ループを防ぐことも重要だとしている。

課題2．エージェント化による運用の複雑化

　近年は「LangChain」（生成AIを外部のツールやデータソース、APIと連携させるためのフレームワーク）や「LangGraph」（エージェントオーケストレーションフレームワーク）などのエージェントフレームワークの利用が急速に拡大している。Datadogによると、これらのフレームワークの導入率は2025年と比べてほぼ倍増した。

　AIエージェントは回答を生成する過程で、複数のAIモデルや検索ツールを利用しながら自律的に処理を進める。その結果、内部処理が複雑化し、障害発生時に原因を特定しにくくなる。

　AIを活用したアプリケーション開発基盤を提供するVercelのCEOであるギジェルモ・ラウフ氏は、「これからのAIエージェントの障害は、能力不足ではなく、チームが内部の処理を十分に観測できないことによって発生する」と指摘する。

　Datadogが提示する解決策は、AIオブザーバビリティの強化だ。AIエージェントの実行経路やツール呼び出し、モデルごとの処理状況を継続的に収集し、システム全体を可視化することで、問題の早期発見と改善につなげるべきだとしている。

課題3．コンテキスト設計とプロンプト最適化の不足

　AIの性能向上に伴い、企業は大量の情報をプロンプトに投入するようになった。しかし、それが新たなボトルネックを生んでいる。

　Datadogの調査では、入力したトークンの69％がAIの役割や制約を設定するシステムプロンプトに占められていた。また、リクエスト当たりの平均トークン数は、中央値の企業で2025年と比べて2倍以上、利用量上位10％の企業では4倍以上に増加していた。

　プロンプトが長大化すると、コストやレイテンシが増加するだけでなく、“本当に重要な情報”がノイズに埋もれる可能性も高まる。

　Datadogは、「コンテキストの量ではなく質が重要になっている」と指摘する。解決策として同社は、システムプロンプトの短縮やプロンプトキャッシュの活用、重複情報の削除、検索結果の要約などを挙げる。重要なのは、モデルに大量の情報を渡すことではなく、意思決定に必要な情報を選別し、整理して提供することだ。

AI運用の競争力を左右するのは「モデル」より「管理体制」

　DatadogのChief Product Officer、ヤンビン・リー氏は、「成功する企業は、より優れたモデルを構築する企業ではなく、そのモデルを適切に運用するための管理体制を構築する企業だ」と述べている。

　生成AIの性能競争が続く一方で、本番環境では運用管理の重要性が急速に高まっている。レート制限への対処、エージェントの可視化、コンテキスト設計の最適化――。Datadogの調査結果は、AI活用の成否を分けるポイントがモデル選定から運用管理へ移りつつあることを示している。