1．リクエストの発生元にタグを付ける

　AIへのすべてのリクエストに対し、送信する時点でチームや製品機能、タスクを自動的にタグ付けする。API呼び出しが完了してからでは、こうしたメタデータを取得するには遅すぎる。ビジネス上の背景情報が失われてしまうためだ。

2．複数ベンダーのデータを標準化する

　プロバイダーごとに異なる使用量の指標や自社運用モデルの指標を、統一された形式に変換する。これを中央のデータレイクハウスで実施する。

3．中央値と外れ値を比較する

　標準的なタスクのコスト（中央値）を、もっとも高額な5～10％のタスクなど最悪のケースのコストと比較する。両者に大きな差があれば、エージェントが高コストのループに陥っているなど、隠れた失敗を発見できる可能性がある。

4．影響の大きい業務を中心に報告する

　ワークフローを総支出の大きい順に並べ、ユーザー当たりのコストを注意深く監視する。

　タスク当たりのコスト測定を最大限に活用するには、役割に応じたレポート画面も欠かせない。同じ基礎データであっても、経営層の役割によって必要な情報は異なる。

　例えば、事業責任者は、人間の作業時間の削減やサポートチケットの解決件数など、実際のビジネス価値とタスク当たりのコストを比較できる。財務部門は、予算との差異やコストセンターの推移という観点から、タスク当たりのコストを追跡できる。

　エンジニアリング部門は、最悪のケースで発生するコストの急増やキャッシュの効率性、エージェントのループなどを監視し、パフォーマンスを最適化できる。

　そして、あらゆるコスト削減策にはトレードオフが伴うことを忘れてはならない。最適化の評価には、「タスクの成功当たりのコスト」 という1つの主要指標を常に用いるべきだ。

　APIコストを30％削減できたとしても、タスクの精度が低下すれば、人間の従業員が介入してエラーを修正しなければならない。その場合、コストを節約したのではなく、単に支出を人件費に移しただけだ。

　従来の企業向けアプリケーションと異なり、AIの支出は部門ごとの予算にきれいに収まらない。財務部門が予算を管理し、エンジニアリング部門がプロンプトやモデルの選択を担うことはある。しかし、AIの成果や利用については、複数の事業部門が責任を持つ。

　すべての関係者が責任を共有していると、実際には誰も責任を負っていない状態になりかねない。その結果、予想外の請求書が届き、その後、部門間で激しい責任の押し付け合いが起こることが多い。

　本番環境で稼働するAIワークロードには、損益責任を持つ明確な担当者を必ず置くべきだ。

　通常、その担当者はIT部門ではなく、プロダクトマネジャーや事業部門の責任者だ。タスクが生み出す価値を理解していなければならないからだ。それはIT上の計算ではなく、ビジネス上の価値と言える。

安いモデルを買うことなく、タスク当たりのコストを削減する

　AIのコスト削減は、単に安価で品質の低いモデルに切り替えることではない。構造的な無駄をなくすことが重要だ。

　企業は、次の5つの手法を用いて、タスク当たりのコストをAI支出の管理指標として導入できる。

1．スマートルーティングまたは推論階層化

　分類などの定型タスクは、高速で低コストのモデルに振り分ける。タスクが複雑な場合や、信頼度スコアが低い場合には、より高価な最先端モデルに自動的に切り替える。

2．コンテキストのキャッシュ

　共通のシステム指示や参照文書を、複数のタスクで再利用する。これにより、プロバイダー側で静的データをキャッシュし、再利用できるようになる。

3．コンテキストの削減

　すべてのやり取りで、会話履歴全体や膨大な文書を毎回送信することをやめる。関係のないテキストを除外すれば、トークン数を大幅に減らせるだけでなく、精度の向上にもつながる。

4．ワークフローとバッチ処理の最適化

エージェントの構成を合理化する。例えば、ツールの定義を読み込ませる代わりに、エージェントにコードを生成させる。また、緊急性の低いバックグラウンドタスクは、低コストのバッチ処理で実行する。

5．ガードレールとサーキットブレーカー

タスクごとの反復回数と支出に厳格な上限を設定する。サーキットブレーカーによって、失敗を繰り返すエージェントが無限ループに陥り、一晩で予算を使い果たすことを防ぐ。