ユーザー企業はGPUを使用する目的や計画を検討すべきだ。「大規模なGPUクラスタが本当に必要になるのは、トレーニングや調整（ファインチューニング）といった限られた用途だ」とフェローズ氏は述べる

　オンプレミスインフラにGPUクラスタを構築するか、GPUaaSを利用するかを判断する前に、ユーザー企業はユースケースを検討する必要があると、調査会社Gartnerのアナリスト、チラグ・デカテ氏は指摘する。「ユーザー企業はGPUを何に使うのか、ROI（投資対効果）はどうなるか、そのシステムによってどのような効果を得られるのかを自問すべきだ」（デカテ氏）

　「GPUが供給不足であるという不安から、ユーザー企業は『GPUを余分に調達しなければならない』と考えがちであり、それが供給不足に拍車を掛けることがある」とデカテ氏は指摘する。同氏によればほとんどの企業は大量のハイエンドGPUがなくても、生成AIを利用できる。例えば小規模言語モデル（SLM）は、自然言語を使用するが、大規模言語モデル（LLM）よりもパラメーター（モデルの振る舞いを決定する変数）が少なく、「CPU」（中央処理装置）で実行できる。

　デカテ氏は「ユーザー企業は、GPUクラスタを立ち上げ、維持する難しさを過小評価しがちだ」とも指摘する。GPUクラスタの立ち上げや維持には、固有のスキルセットが必要になる。GPUは部品、メモリ、ドライバに関する不具合が発生することがあり、取り扱いには専門性が求められる。「一部の故障では、ノード（サーバ）を再起動するだけで復旧するが、部品が故障していると、そうはいかない」（同氏）

生成AIブームが終わった後

　「GPUが将来にわたって入手困難とは限らない」と、フェローズ氏は見る。今後数年は供給不足が続く可能性があるが、過去データでトレーニング済みの既存LLMをベースに新しいLLMが構築されるようになれば、トレーニングにこれまでのような大量のGPUは必要なくなるからだ。「トレーニングの蓄積が生かされるため、新規のトレーニングに必要なGPUはこれまでより少なくなるだろう」（フェローズ氏）

　さらにフェローズ氏は、推論やSLMに必要なGPUが少なくなるとの見方も示す。「どのユーザー企業にも100個のGPUが必要かと言えば、そんなことはない。小規模企業は1、2個のGPUで十分な場合がある。GPUの性能が向上し続ければ、中規模企業でも2つか3つの8ノードクラスタでやっていける可能性がある」（フェローズ氏）

　フェローズ氏によると使用するデータ規模や、サービスの使用目的によっては、GPUaaSが効果的な場合がある。バッチング（大規模データセットを分割してトレーニングの改善を図る）など継続的な作業がないプロセスにはGPUaaSが適している可能性があるという。