Gartnerによると、生成AIの概念実証（PoC）プロジェクトの実施には30万～200万ドルの費用がかかる可能性がある。一部のITリーダーとビジネスリーダーは、高価なGPU（グラフィックス処理装置）を使用し、AIモデルをトレーニングするのに費用がかかることを認識している。

　AIモデルの推論プロセスにかかる費用が膨れ上がる可能性もある。Gartnerの主任リサーチアナリスト、ダリル・プラマー氏は、AIモデルの処理にコストがかかる理由を次のように説明する。「AIモデルが処理しなければならない大量の演算にはGPUが必要だ。そのためにユーザー企業はGPUを自社のデータセンターに導入するか、クラウドベンダーから借りることになるが、いずれも高額だ」

　プラマー氏は、AIベンダーがAI技術の進化をベンダーの視点から捉えるあまり、ユーザー企業が目指す目標の実現に寄り添えていないとも指摘した。同氏は「AIベンダーは1つのミスを犯している。それは、われわれに『何ができるか』を示しているだけで、『何をすべきか』を示していない点だ」と述べる。

　プラマー氏によると、AIベンダーが提供する先進的なAI技術を導入する準備が整っていない企業は、予算の大部分をコンサルティング費用に充て、新技術が自社にもたらす利益を理解しようとしている。

　「その段階から概念実証段階に到達するためには、さらなる予算が必要だ」とプラマー氏は述べ、AIシステムが実運用に移行するまでコストが増加し続けると付け加える。

費用を抑える2つのアプローチ

　生成AI活用にかかる費用を抑えるにはどうすればよいのか。Gartnerのリサーチ部門のバイスプレジデントであるアリシア・マラリー氏は、ユーザー企業に対して請求書の内容を理解し、監視するよう助言する。

　Gartnerは失敗を最小限に抑えるために、2つのアプローチを推奨する。1つ目のアプローチは、生産性向上のためにAI技術の導入を試みる企業向けの方法だ。

　アナリストは、ITリーダーが達成したい成果を考慮する必要があると説明する。業務効率の改善を目的とするユーザー企業（Gartnerは「AI-steady」と呼称）は、10件以下の実証実験を実施している可能性がある。その場合、AIシステムが正しく機能しているかどうかを、人力で監視可能だ。

　2つ目は、変革を促すためにAI技術を活用しようとする企業向けの方法だ。生成AIを業界変革の技術と見なす企業（Gartnerは「AI-accelerated」と呼称）は、より多くの実証実験を実施している場合がある。こうした企業が目指すAIシステムは、人力で管理することは現実的ではない。

　こうした理由から、AIシステムのコンプライアンスを確保する技術「TRiSM」（信頼、リスク、セキュリティ管理）が台頭するとGartnerは予測する。