オンプレミスとクラウドのコスト比較に見る、LLM推論を行うインフラの選び方：デル・テクノロジーズ株式会社提供ホワイトペーパー

[ITmedia]

　さまざまな企業が生成AIの実用化に向けた取り組みを進めている。こうした中で、大規模言語モデル（LLM）の推論を、クラウドとオンプレミスのどちらで行えばよいのか、選択に悩むケースもあるはずだ。

　そこで本資料では、大規模言語モデル（LLM）の推論をオンプレミスのインフラ上で行った場合と、パブリッククラウドのIaaSやAPIサービスを介して行った場合でコストを比較した結果を紹介する。これによると、70Bパラメーターの大規模なLLMモデルの推論をオンプレミスで行った場合、IaaSより69〜75％も高いコストパフォーマンスで推論を実行したという。APIサービスと比較すると、最大88％もコストパフォーマンスが高くなり、より有効なコスト削減効果を期待できることが判明した。

　これらの結果から、組織にとっては、オープンソースのLLMを使って生成AI製品を自社開発し、オンプレミスのインフラ上でLLMの推論を行うことで、クラウドより優位なコストパフォーマンスを得られる可能性があることが分かった。本資料では、この分析の結果や生成AI製品導入のヒントを解説しているので、ぜひ参考にしてほしい。