オンプレミスシステムでLLMを動かす方法【中編】

「社内LLM」がきちんと動くためのGPUの“選び方”と“組み方”

自社でLLMを動かすには、十分なメモリ容量と処理能力を持つGPUが必要になる。必要以上に高価なGPUを導入してしまわないよう、自社に本当に必要なスペックと構成を見極めるポイントとは。

公開 2025年01月23日 05時00分

[TechTarget]

印刷する連載新着通知を受け取る

　自社サーバでLLM（大規模言語モデル）を運用することには、セキュリティやパフォーマンスなどの面で複数のメリットがある。ただし適切なハードウェアを整えるのは容易ではない。GPUは決して安い製品ではないため、過剰なスペックを避けたいところだが、メモリ容量が不足すれば処理速度の低下や安定性の問題が発生する。LLMの自社運用に必要なGPUは、何に注目して見極めればよいのか。

オンプレミスシステムでLLMを動かすためのGPU要件

併せて読みたいお薦め記事

連載：オンプレミスシステムでLLMを動かす方法

前編：「LLM」をクラウドサービスではなく自社サーバで動かすメリットは？

LLMを知る

　LLMをオンプレミスシステムで稼働させる際、最初に検討すべき要件はGPUのメモリ容量だ。LLMは大規模なパラメーター（モデルの振る舞いを決定する変数）を持ち、推論時にはこれらのパラメーターと処理中の中間データをGPUメモリに保持する必要がある。

　GPUは高負荷な並列処理に最適化されており、LLMの効率的な実行に必要な処理速度とデータ転送速度を提供する。メモリからプロセッサへのデータ転送におけるボトルネックを回避し、LLMの複雑な計算を処理できるようにする。GPUメモリ容量を見積もる際は、モデルのパラメーター数（10億単位）から概算可能だ。

　1台のGPUで複数リクエストを並列処理するシステムの場合、必要なGPUのメモリ容量はさらに多くなる。本番環境で必要なメモリ容量を見積もることは難しい。入力クエリの長さ、リクエストの間隔、生成するレスポンスの長さなど、さまざまな要因によって要件が変わるためだ。想定される利用状況を模したテスト環境でメモリの平均使用量を測定し、そのデータを基に本番環境に必要なメモリ容量を予測する方法は一つの手だ。

　特定用途向けのデータセットを用いてLLMを調整（ファインチューニング）する場合は、通常よりも多くのGPUメモリ容量が必要だ。LLMサービスのエンドユーザーに影響を与えないよう、ファインチューニングは専用のハードウェアで実行するのが望ましい。

　次回は、エンドユーザーデバイスでのLLM利用や複数人でのLLM利用を想定した際に役立つツールを取り上げる。