従来の企業向けソフトウェアは、ユーザー数に応じて料金が設定されるため、財務部門は高い確度で予算を予測できた。ERPやCRMなどの従来型アプリケーションは、使用量に応じた課金方式であっても消費パターンが安定しているため、予算管理に役立てることができる。

　一方、AIのコストは、モデルがどれだけの処理を行うかによって決まる。処理量はリクエストごとに異なる可能性があるため、ユーザー数を基準にしたAIの予算管理は難しい。

　AIチャットbotからAIエージェントへの進化によって、この問題はさらに複雑になった。エージェントは、チャットbotなら1回のプロンプトで済む処理を、一連の呼び出しに分解する。計画を立て、文書を検索し、ツールを呼び出し、草案を作成し、結果を確認して修正する。

　Gartnerは2026年8月のプレスリリースで、エージェント型ワークフローのコストは、基本的なチャットbotとのやり取りの少なくとも5倍になると推定している。

　エージェント型AIのコスト管理を難しくしているのは、トークン料金の仕組みが単純ではないことだ。料金表には単位当たりの価格が示されているものの、1つの作業に何単位必要なのかは分からない。

　さらに、AIプロバイダーは入力トークンと出力トークンで異なる料金を設定している。加えて、推論モデルはユーザーが認識していない内部トークンを生成する。月次請求書には、ビジネス上の背景が分からないまま、トークンの総使用量だけが記載されることもあり得る。

　クラウド支出の管理を目的に設計されたFinOpsのダッシュボードも、あまり役に立たない。こうしたツールは、あらかじめ確保されたインフラの使用状況を追跡する。しかし、エージェントはインフラを確保するというより、必要に応じて呼び出されるものだからだ。

　ある医療機器メーカーの事例では、エンジニアリング部門がAPIに1万ドルを費やしたことがダッシュボードに表示されていた。しかし、そのうち8000ドルが、ある1つのエージェントが従業員向け品質管理ハンドブックを4000回も繰り返し読み込んだことによるものだとは見るだけでは分からなかった。

タスク当たりのコストとは何か

　タスクは、仕事を構成する基本単位だ。明確に定義され、検証可能で、受け入れ基準が設定されている。これに対して、トークンは課金単位だ。したがって、AIのコストをタスク単位で考えることには合理性がある。

　タスク当たりのコストとは、1つの作業単位を正常に完了するためにかかった総コストを、失敗した試行も含め、すべての試行を通じて平均したものと言える。測定する際には、人間によるレビューもコストに含めるべきだ。人件費として別枠で扱うのではなく、タスク全体のコストの一部として計上する。そうしなければ、人間が総コストの中でどのような役割を果たしているのかが見えなくなる。

　同様に、失敗したタスクを再試行するコストも見落とされやすい。しかし、これを含めて計算すると、「もっとも安いモデル」という判断が覆るケースがいくつも出てくる。

　小型モデルの1回当たりのコストが0.20ドルで、抽出処理に成功する割合が15％だとする。一方、大型モデルは1回当たり0.80ドルだが、成功率は78％の場合を考える。

　この場合、小型モデルで利用可能な結果を1件得るためのコストは1.33ドルとなる。大型モデルでは約1.03ドルだ。小型モデルが生み出す手戻りのコストを含める前から、大型モデルの方が安い。このように、トークン単価がもっとも安いモデルが、タスク単位ではもっとも高価なモデルになる可能性がある。

次回は、タスク当たりのコストを測定する具体的な方法、そして、安いモデルを買うことなくタスク当たりのコストを削減する方法を解説する。