「NVIDIAのGPUは高過ぎる……」と諦める必要はない？ GPU調達はこう変わる：「GPU高すぎ問題」に終止符

AIプロジェクトで欠かせないのが「GPUの調達」だ。しかし、高額なコストやインフラ整備の難しさから、一部の企業にとっては現実的な選択肢とは言い難い。こうした問題を解消できるアプローチとは。

[ITmedia]

　AI（人工知能）――特にLLM（大規模言語モデル）の開発がトレンドとなる中で、大容量メモリを搭載した「GPU」（グラフィックス処理装置）の需要が急増している。例えば、ゲーミング向けGPUは一般的に24GB程度のGPUメモリを搭載するが、LLMの開発ではその100〜1000倍のGPUメモリ容量が必要になることも珍しくない。

　しかし、こうした高性能GPUの調達は簡単ではなく、オンプレミス導入を断念せざるを得ない企業も存在する。NVIDIAの主力GPUである「NVIDIA H200 Tensor コア GPU」（以下、H200）を搭載したGPUサーバは、1台当たり5000万円以上が一般的だ。

　さらにNVIDIAによれば、H200の前身モデル「NVIDIA H100 Tensor コア GPU」（以下、H100）1台の消費電力は最大10.2キロワットに達する。GPUサーバやそれらを搭載するラックの消費電力が、既存のデータセンターの電力で賄い切れないケースが増えている。

　既存のAIモデルをそのまま推論に使う場合は、大規模なGPU性能は必要ない。一方で、AIモデルにデータを学習させる場合には、高い計算性能を持つH200クラスのGPUが不可欠となる。

　こうしたGPU調達にまつわる課題を解消するアプローチとして何が注目されているのか。有識者に話を聞いた。