AI予算の6割は「データの整備」に消える：AI導入の「想定外」が予算を食いつぶす

生成AIの導入を急ぐ企業が、本番運用への移行期に直面する「隠れたコスト」が浮き彫りになっている。情シス決裁者が知っておくべき、AI投資を「負債」に変えないための予算策定と組織体制の急所を解説する。

[Julie Hanson，TechTarget]

　多くの企業がAIを職場に導入した。従業員は「ChatGPT」や「Gemini」「Claude」を使い、メール作成やコード記述を効率化している。さらに自律的に動作する「エージェント型AI」も登場した。

　エンタープライズソフトウェア企業は、これらの機能に課金する。ITマネジャーはAIツールが指標やROI（投資対効果）に与える影響を精査しなければならない。投資判断の際、モデルの利用権やインフラ、生産性向上に注目するだけでは不十分だ。統合、ガバナンス、セキュリティ、そして継続的な運用コストという「真のコスト」を考慮する必要がある。

統合コストはモデルの費用を上回る

「AIとコスト」に関連する編集部お薦め記事

　プロトタイプが完成すると、すぐに本番運用できると感じがちだ。チャットbotを作りデータを連携させれば、わずかな調整で済むように見える。だが、試作段階で機能するものが、大規模運用で通用するとは限らない。

　財務ソフトウェア企業BlackLineのスミット・ジョハールCIO（最高情報責任者）は、エージェント型AIへの移行は従来のSaaSモデルとは異なるコストが発生すると指摘する。プロトタイプは低価格帯や無料枠で動くが、大規模展開にはトークン費用やライセンス料が重くのしかかる。

　データレイヤーもコスト増の要因だ。従来のSaaSはロジックでデータを解釈するが、AIには「文脈」が必要だ。他のシステムから文脈を引き出す統合機能を構築するには、相応の費用がかかる。データはAIが扱えるよう、クリーンで矛盾がなく、権限構造を維持した状態に整えなければならない。

　AIエージェントに役割や制限を学習させる作業も、継続的なコストとなる。ジョハール氏は「AIは完璧ではない。重要な判断を監視・承認し、セキュリティを維持する人間を介在させる必要がある」と語る。

　法的AIプラットフォームSavvylexの創業者、マルセロ・ロレンゼッティ最高AI責任者は、「AI技術は新しいが、実装上の核心的な課題は従来と変わらない」と述べる。隠れたコストは、パイロット運用から本番環境へ移る際に顕在化する。需要の低い環境から、運用の負荷が高い環境へシフトするためだ。

　費用が増加する領域として、以下が挙げられる。

• 計算リソースの不足とCPU価格の上昇
• コンテンツの肥大化や再試行による推論コストの増加
• ネットワークとデータ転送
• コンプライアンスと監査
• セキュリティリスクの軽減
• エネルギー消費と労働力

データ準備は高額で終わりのない作業

　データ観測プラットフォームUnravel Dataの共同創設者兼CEO、クナル・アガルワル氏によれば、AIプロジェクトの予算100ドルのうち約60ドルはデータインフラと準備に費やされているという。

　「大規模言語モデル（LLM）のコストは可視化されており、誰もが注目している。しかし、モデル周辺の要素は見落とされがちだ。データを供給するパイプライン、前処理、適切に計画されていない再学習のループ。ここに大半の資金が投じられているが、アラートは上がってこない」とアガルワル氏は警告する。

　以下の要因がコストを押し上げる。

• 処理済みのデータを再処理する無駄
• 古いロジックで動く特徴量パイプライン
• 小規模なタスクで過大なクラスタ
• 放置された実験用リソース

　AIによるデータの爆発的増大を効果的に管理できなければ、コストと非効率性がイノベーションを阻害する。アガルワル氏は「投資額が収益を上回れば、音楽は止まる（ゲームオーバーになる）」と語っている。

ガバナンスとコンプライアンスの法的コスト

　エージェント型AIは業務スピードを上げるが、ガバナンス上の矛盾も生む。組織の動きが速くなるほど、オーケストレーションやログ記録、説明責任の重要性が増す。自動化と監視の必要性が高まり、IT部門のオーバーヘッドを増大させる。

　サービス管理プラットフォームXurrentのフィル・クリスチャンソン最高製品責任者は、「これまでにないコンプライアンスとガバナンスの問いが生まれている」と話す。

　新たな問題として「BYOA（Bring Your Own Agent）」と表現できるリスクが挙げられる。これは、従業員が個人のアクセストークンを「Claude」などのツールに付与し、社内APIと連携させる行為だ。IT部門からは人間が操作しているように見えるが、実際にはマシンの速度で処理が進むため、巨大な死角となる。

　実際、ある従業員が社内システムへのアクセス権をAIエージェントに与えたところ、数秒間に数千件のリクエストが送信された。DDoS攻撃と判定され、会社IDがブロックされる事態になったという。

　クリスチャンソン氏は「ツールの利用を禁じることはできない。企業の管理下にあるソフトウェアにAI機能を組み込み監視と承認ができる体制を整えるべきだ」と提唱する。

継続的な運用コスト

　人材管理・技術サービス企業TEKsystems Global Servicesのラム・パラニアッパンCTO（最高技術責任者）は、AI導入の真のコストを算出する際、フロントエンドとバックエンドの両面を見るべきだと話す。フロントエンドはガバナンスやセキュリティ、倫理的ガードレール。バックエンドはデータ洗浄、継続的なメンテナンス、組織への定着だ。

　従来のシステムは導入後にサポートへ引き継いで終わりだが、AIは異なる。精度の微調整、データ品質の監視、効率改善が常に求められる。パラニアッパン氏は、モデルの進化に合わせて柔軟に入れ替えができる「オープンアーキテクチャ」の採用を推奨している。

　また、エンジニアには従来の深い専門性に加え、ソフトウェア開発ライフサイクル全体を横断的に見る「フルスタック」の視点が求められる。組織はチームメンバーを新しいマインドセットへ引き上げる準備をしなければならない。

　パラニアッパン氏は、最大の隠れコストは「人間が適応できないこと」だと指摘する。「人間が介在するワークフローが定義されず、スキルの再習得が進まなければ、技術投資のROIはゼロになる」

セキュリティとリスク管理の負荷

　サイバーセキュリティ企業Netwrixのディルク・シュレーダー氏は、AIを「つなげば動くツール」と見なす組織が多いと警鐘を鳴らす。実際には、予測可能な出力を前提としたプロセスに、確率的なエンジンであるAIを組み込むと、既存の制御モデルは機能しなくなる。

　「AI利用を統制せず、明確なビジョンも持たないままでは、従業員に白紙委任状を渡すようなものだ。ROIのないままコストだけが増大する」とシュレーダー氏は言う。

　よって、AIで何を達成したいのか具体的に定める必要がある。どの業務にAIを使い、どのデータが流れ、誰がアクセスし、どう連携して成果を出すのか。AIは新たなセキュリティ上の欠陥を作るわけではないが、既存の弱点を浮き彫りにする。

　「AIは組織を改善させる。だがその前に、これまで無視できていた弱点を、もはや放置できない状態にする」（シュレーダー氏）

人材と組織のコスト

　AIに問題解決能力があっても、人間による監視は必要だ。既存の従業員のスキル向上に加え、新たなタスクを担うためのトレーニングや専門人材の採用が必要になる。

　必要となる新たな役割には以下が含まれる。

• 機械学習エンジニア：アルゴリズム開発、モデル学習、システム実装
• データエンジニア：インフラ構築、データパイプライン維持
• AIリサーチャー：自然言語処理などの特定分野の研究
• MLOpsエンジニア：モデルの監視と保守
• AIソリューションアーキテクト：既存インフラとの統合設計

　さらに、法規制の順守やプライバシー問題に対応するコンプライアンス専門家など、倫理・ガバナンス担当の増員も検討すべきだ。

クラウドとインフラのコスト増

　新ソフトウェアの実装時には、トークン消費やインフラのボトルネック、データ品質の問題による予期せぬコストに直面することがある。

　従来のソフトウェアはコストが予測可能だ。だがエージェント型ワークフローでは、1つの問い合わせが複数のAIエージェントに分解され、連鎖的にモデルを呼び出す。Ubuntuの開発元Canonicalのヒューゴ・ファン氏は「ステップ数が予測できないため、請求額が想定をはるかに超える可能性がある」と指摘する。

　既存のハードウェアで新システムを動かす際も、以下のボトルネックがコストを押し上げる。

• CPU：メモリウォール（CPUとメモリの速度差）がLLM実行の障壁となる
• GPU：並列処理には優れるが、共有メモリへのアクセスが遅延とコストを増やす
• TPU：データのやりとりは効率的だが、高度なコンパイラを扱える専門人材が必要
• レガシーシステム：数十年前のデータベースをAIに接続するには、多額のエンジニアリング費用がかかる

　ファン氏は「エージェント型AIでは、請求額が膨らむのは構造上の問題だ。トークン消費の拡大に幹部が気付くころには、予算は既に底を突いている」と述べる。モデルの洗練度よりも、データの質が結果を左右することを忘れてはならない。