情シスが追うべき真のKPIと可視化の仕組み
AIのトークン削減だけではコストは下がらない 情シスが見るべき「次のKPI」
業務へのAI活用において、ユーザー数やトークン消費量をKPIとする場合がある。IBMは、AIの使用を目的化する「tokenmaxxing」から、AI活用の評価指標を成果で測る「valuemaxxing」を提唱する。
生成AIの利用量を把握するために、「利用者数」や「消費トークン数」をKPI(重要業績評価指標)にしている企業は少なくない。しかしAIエージェントの利用が広がるにつれ、こうした指標だけではAIがどれだけ企業に価値を生んでいるのか判断しにくくなる。
だからといって、コスト削減を目的にトークン消費量だけを減らせばいいわけでもない。必要なコンテキストまで削ればAIの出力品質が下がり、修正や手戻りによってかえってコストが増える可能性がある。
IBMのグローバルデマンドストラテジスト、ケイティ・マクドナルド氏は、AI活用を「利用量」ではなく「成果」で測る必要性を解説している。具体的には何をすればいいのか。
IBMが解説するAI活用KPIの考え方
企業が生成AIを導入した初期段階では、「何人がAIを使っているか」「どれだけトークンを消費したか」といった利用状況が、導入の進み具合を把握する指標になる。このように、AI利用量を増やせば価値も増えると期待し、トークン消費を最大化しようとする考え方が「tokenmaxxing」だ。
IBM Consultingのシニアバイスプレジデント、ニール・ダー氏は、成果を測る適切な指標がないと、企業は利用状況を示すダッシュボードを作り、その数値自体が成果の代わりに扱われるようになると指摘する。利用量を測る指標について同氏は、AIの利用定着を把握する目的では機能する一方、AIが実際に生んだ価値を示す指標としては限界があると説明する。
AIエージェントではトークン数だけで成果を測れない
この問題は、AIエージェントの利用が広がるほど大きくなる。従来型の生成AIは、文章やコードの生成など比較的限定された処理を担うことが多かった。一方、AIエージェントは作業計画を立てたり、コードリポジトリを分析したり、外部ツールを呼び出したり、テストを実行したりする。複数のシステムをまたいで一連の処理を進めるケースもある。
こうした高度な処理を実行すれば、消費するトークン数も自然と増える。しかしマクドナルド氏によると、トークン消費量だけでは、そのAIエージェントが単に多く処理しただけなのか、実際に業務成果を生んだのかを区別できない。
AI利用量と費用が増えれば、企業は最終的に「費用に対して何を得られたのか」を問う必要がある。利用量だけを表示するダッシュボードでは、この問いには答えにくい。
トークンを減らし過ぎるとかえって高くつく?
AI利用コストが増えると、トークン消費量を減らそうとする企業がある。例えば、利用できるAIモデルを制限する、コンテキストウィンドウを小さくする、プロンプトを短くするといった対策だ。不要な情報を削減すること自体には意味がある。
一方マクドナルド氏は、削減を続けるうちに、AIが正しく処理するために必要なタスクの説明や業務上の制約、システムのアーキテクチャ情報まで削除する危険性があると指摘する。
例えば、アーキテクチャ情報を削って入力を500トークン減らした結果、AIがシステム全体と整合しないコードを生成し、デバッグや修正で5000トークンを追加消費するケースをマクドナルド氏は挙げる。
つまり、入力トークンを削減しても、同じ作業に必要なコストが後工程へ移動するだけ、という事態が発生する。
こうした状況についてマクドナルド氏は、トークンを最大化する考え方と最小化する考え方は一見正反対だが、どちらも「トークン消費量を最も重要な指標として扱う」という点では同じ問題を抱えていると説明する。
見るべきは「何トークン使ったか」ではない
では、企業はAI活用の成果をどう測ればよいのか。マクドナルド氏は、利用量ではなく成果を最大化する考え方として「valuemaxxing」を紹介する。この言葉は、AIワークロード向けインフラに特化したネオクラウドベンダーNebiusの最高収益責任者(CRO)であるマーク・ボロディツキー氏が提唱したものだという。
マクドナルド氏によると、valuemaxxingで具体的に確認するのは、トークン消費量だけでなく、AI活用によってどのような業務成果が生まれたかだという。
指標としては、「完了したデプロイ数」「削減した開発者の作業時間」「回避できた手戻り」「解消した脆弱性の数」などだ。つまり企業が確認すべきなのは、「AIをどれだけ使ったか」ではなく、「AIを使ったことで業務やシステムにどのような変化が起きたか」だとマクドナルド氏は強調する。
トークン消費量そのものを見る必要がなくなるというわけではない。成果と組み合わせることで、「この成果を得るために、このトークン消費量は妥当だったのか」を判断するためのコスト指標として使えるということだ。
「どのAIモデルを使うか」だけでは不十分
AI活用が高度になると、AIモデルそのものに加えて、モデルの周囲に構築するシステムの重要性も高まる。マクドナルド氏は、単一のAIモデルを選定するだけでなく、用途に応じて複数モデルを使い分ける「モデルオーケストレーション」の重要性も高まると指摘する。
複数モデルを比較、選定するに当たっては、単純に「最も性能が高いモデルはどれか」「トークン単価が安いモデルはどれか」を比較するだけではなく、業務ごとに適切なモデルを使い分け、必要なコンテキストやツールを与えながら、コストと成果を管理できる仕組みが必要になる。
情シスが用意すべき「コストと成果」の可視化
では、業務用のAI基盤を管理する情報システム部門担当者はどのような役割を果たせばいいのか。マクドナルド氏は、「AI利用コストと業務成果の両方を可視化し、利用量ではなく価値を測れる仕組みを用意する」役割が必要であると述べる。
AI導入の初期段階では、「従業員がAIを使っているか」を測ることに意味がある。しかし、利用が定着した後まで同じKPIを追い続ければ、AIを使うこと自体が目的になりかねない。
そこで、「どの業務成果に、どれだけのAIコストを使ったのか」を把握できるようにすることが情シスに求められる。
本稿は、2026年9月21日にIBM Technologyが公開したGoodbye Tokenmaxxing:From AI Usage to Agentic AI Outcomesを基に作成しました。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
新着ホワイトペーパー PR
-
事例
[京セラコミュニケーションシステム株式会社] 全員参加の経営改善を推進、北海道農業共済組合の管理会計システム活用術 -
市場調査・トレンド
[京セラコミュニケーションシステム株式会社] 1000人調査で分かった予実管理の実態 経営判断を支える仕組みづくりのヒント -
製品資料
[NTTPCコミュニケーションズ株式会社] 円滑なIT運用を阻む「3つの壁」とは? 情シスの負担を減らすAIOps活用のコツ -
事例
[Neatframe株式会社] 会議室不足の原因は「空予約」? 移転や増設の前に無駄を可視化する方法とは -
事例
[Neatframe株式会社] Web会議の音声トラブルをどう解消? AI活用も見据えた会議デバイス選びとは
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
年収700万超エンジニアに共通するスキルと「もっと勉強すべきだった分野」
-
2
脱VMwareか、継続か? 仮想化ソフト主要6製品の機能とスペックを徹底比較
-
3
AI時代の競争力はデータ基盤で決まる 仮想化刷新を未来への投資に変える条件
-
4
NVMeとはやっぱり違うCXL接続の「MS-SSD」とは何か?
-
5
クラウド時代にあえて「メインフレーム」を選びたくなる理由はこれだ
-
6
「ネットワーク・セキュリティ対策の現状と今後」に関するアンケート
-
7
「データストレージの活用方法」に関するアンケート
-
8
情シス管理職は何を「やらない」のか ラクス情シス課長が語る評価される仕事の選び方
-
9
IBM iのブラックボックス化を打破 資産継承と進化を実現する「IBM Bob」の実力
-
10
1200万円のSaaS導入を回避 スギ薬局「運用費10万円」のAIエージェント構築術
ホワイトペーパーランキング PR
-
1
登録セキスぺが語る「SCS評価制度」の舞台裏 星を取得すべき理由と対応のコツ
-
2
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
3
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは?
-
4
「人員を増やす」という選択肢はない 情シスが負の連鎖から抜け出すには?
-
5
「問題が深刻化しやすいプロジェクト管理」から脱却する方法とは?
-
6
AI時代の組織設計:「判断と責任」を人に残すための2つの原則とは?
-
7
防御側の「3つの前提」が崩壊 AI時代のセキュリティに必要な3つの転換とは?
-
8
AI活用を停滞させる「2:6:2の壁」を乗り越えるためのポイントとは?
-
9
生成AIで文書活用を進めるには? 効率化と安全性をどう両立する
-
10
OSSでは困難 100超のサービスを持つマネーフォワードが実践した統合監視術
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー