生成AIの推論が“キャパオーバー”に GPUを効率利用する「分散推論」とは：NVIDIAが公開したAI推論の新手法とNTTグループのアプローチ

生成AIを使って高精度な回答を得るためには、計算コストの増大を覚悟しなければならない。解決策として、推論時のGPU利用を効率化する「分散推論」が注目されている。何がすごいのか居酒屋に例えて解説する。

[ITmedia]

　生成AIの進化があまりにも早い。「チャットbot型生成AIサービス」が登場してから数年のうちに、生成AIを活用するさまざまな技術――RAG（検索拡張生成）、マルチモーダルAI、いわゆる“推論モデル”（Reasoning Model）、AIエージェント、などがビジネスの現場に実装されている。

　生成AIが“賢く”なる一方で、既存のAIインフラでは処理を賄えなくなりつつある。例えば、コーディングやAIエージェントなどで利用が広がっている推論モデルは、論理的な思考を繰り返すことで高品質なアウトプットを生成する。その処理にかかる計算コストが膨大なため、生成AIサービスを使うと利用料金が跳ね上がってしまう。自社でAIモデルを運用しようにも、多くの計算リソースを確保しなければならないなど、費用やハードウェアの構造的な課題が立ちふさがる。

　そこで注目されているのが「分散推論」というアプローチだ。推論処理を複数のGPUに振り分けて処理を高速化させる。NVIDIAがオープンソースの分散推論フレームワーク「NVIDIA Dynamo」を公開したことで一躍注目されている。そのメリットはどこにあるのか。国産AI「tsuzumi」の開発やNVIDIA Dynamoの検証を行うNTTグループの専門家が、“居酒屋”に例えて説明してくれた。