AI投資の盲点
高額GPUが遊んでいるのはなぜ? AIインフラを襲う根深い「データ待ち」問題
高価なGPUを導入したにもかかわらず、十分な性能を発揮できず低稼働にとどまる事態が相次いでいる。原因は計算能力不足ではなくデータインフラにあった。Dellの検証から見えた問題の真因とは。
AIインフラにおいて、高額なGPU(グラフィックス処理装置)を複数配置したにもかかわらず、アクティブなジョブの平均稼働率が数割程度にとどまる事例が散見される。パフォーマンス低下の真因は、計算能力やネットワークの帯域不足ではなく、AIモデルが制御できない要因によってGPUがデータの到着を待たされていることにある。
Dell Technologies(以下、Dell)はこの課題を解消するため、「データの3つの形態」に基づくフェデレーテッド(連携型)システム構成を提唱している。同社が実施したLLM(大規模言語モデル)の推論比較テストによれば、推論時のデータを最適化して処理することで、最初の出力が得られるまでの時間を最大19倍高速化できた。
高価なGPUの性能を引き出し、AI投資の成果を左右するデータインフラには、どのような要件が求められるのか。
なぜGPUはアイドル状態になるのか
従来のストレージ組み込み型AIインフラは、「すでにシステムに到達したデータのみを用いて処理する」という前提で設計されている。
新規に構築したインフラや、範囲が限定された単一のワークロードであれば、この前提でも問題なく機能する。しかし、多様なデータソースや絶えず変化するAIモデルが存在する企業システムでは、状況が異なる。データをAIインフラに移動させる作業が必要であり、その転送にかかる時間がそのままGPUの待機時間を生み出している。結果として、最も高価な計算資源であるGPUが処理を実行せずに電力を消費し続けるという構造的な課題だ。
現場が直面する制約
データをあらかじめ単一のストレージ群に一元集約できない背景には、インフラ運用現場の制約が存在する。Dellは、データの移動を阻害する主な要因として以下の4点を挙げている。
1点目は、規制およびデータ主権上の制約だ。セキュリティ要件のために、任意にコピーすることが認められていないデータがある。
2点目は、アプリケーションの結合だ。データソースシステムが特定の変更ウィンドウ(メンテナンス時間枠)に固定されており、AIインフラから任意のタイミングでデータを抽出できないことがある。
3点目は、特定の地域や国にデータを固定しなければならないというデータレジデンシー(所在地)の制約だ。
4点目は、データの生成速度だ。各種センサーからのテレメトリー(遠隔情報収集)や顧客のトランザクションは絶えず生成されており、いかなる同期処理も追い付かない速度に達している。
これらの物理的・制度的な制約を無視してデータの移動を強制する設計は、インフラ全体の深刻なボトルネックになる。
「データの3つの形態」とKVキャッシュの最適化
この課題に対するアプローチとして、Dellはデータを単一のファイルやオブジェクトとして扱うのではなく、「データ」「メタデータ」「ベクトル」の3形態に分類して最適化する考え方を提唱している。その上で、データを単一システムに強制移行させるのではなく、データが存在する元の場所からGPUに直接供給する「フェデレーテッド(連携型)アーキテクチャ」の重要性を説いている。
大容量の「データ」は、ガバナンスやデータ主権を保つために元のストレージやクラウドに留め置く。「メタデータ」はシステム全体に伝送し、GPU層がデータ群を可視化できるようにする。ポータブルな「ベクトル」は高速経路で連携させる。データを性質ごとに扱い分けることで、GPUの待機時間を最小化し、稼働時間を実際の計算処理に振り向けることが可能になる。
この分類が最も効果を発揮するのが、LLM推論における「KVキャッシュ」の処理だ。KVキャッシュとは、AIモデルが文脈を保持・処理する際に構築するキーと値のテンソル(ベクトルデータ)を指す。このデータはGPUとストレージの間を高頻度で移動するため、通常のデータと同じ経路で処理させると推論速度の大幅な低下を招く。
KVキャッシュを専用のストレージ処理にオフロード(委譲)することが、GPU利用効率向上の要となる。Dellが2025年10月に実施した、LLM「Qwen3-32B」を用いた比較テストでは、同社のストレージ製品を使用した場合、TTFT(Time to First Token:最初のトークンが出力されるまでの時間)は0.82~0.86秒だった。これは、KVキャッシュのオフロードを有効にしていない、標準的なオープンソースの推論エンジン「vLLM」の11.8秒と比較して最大約19倍の高速化(KVキャッシュオフロードなしの標準vLLMと比較して約14倍高速化)を示している。
RFPに組み込むべき「3つの質問」
企業がAIインフラの調達を行う際、IOPS(入出力性能)や帯域幅、容量といった単なるストレージ製品向けの評価基準だけでは不十分だ。Dellは、ベンダー選定のRFP(提案依頼書)に以下の3つの質問を含めることを推奨する。
- 規制や結合課題を持つ現実的な条件下で、KVキャッシュオフロードを有効にした際の期待GPU稼働率は何%か
- 理想的な設定ではなく、制約下での実力値を測る
- 最新のオープンソースモデルでの比較テスト結果を公開し、第三者が再現可能な形で妥当性を証明できるか
- ベンダー独自の指標を排し、客観的な検証結果を求める
- コピー不可能な新規データソースがオンラインになった際、GPUがそのデータを活用可能になるまでの時間はどの程度か
- ベンダーのシステム構成が想定しているGPUのアイドル(待機)時間を示す尺度となる
AIインフラの投資対効果を最大化するためには、単なるカタログスペックの比較から脱却しなくてはならない。データの重力という現実の制約を受け入れ、システム全体でのデータ連携を最適化するオープンな設計基準を持つことが、IT担当者に強く求められている。
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。
TechTarget ニュースプラス
国内のIT業界ニュースを迅速に報道します。企業動向から導入事例、市場トレンドまで幅広く取り上げ、実務に直結する情報をタイムリーに提供する連載です。
関連記事
新着ホワイトペーパー PR
-
製品資料
[ニュータニックス・ジャパン合同会社] AI活用を成功へ導く、シンプルで費用対効果に優れたクラウド基盤とは? -
製品資料
[ニュータニックス・ジャパン合同会社] マネージドKubernetesには限界も――メリットをフル活用する新たな選択肢とは? -
技術文書・技術解説
[ニュータニックス・ジャパン合同会社] 決断の日が迫る「vSphere 8」サポート終了問題 考慮すべきリスクと選択肢は? -
製品資料
[サイバーソリューションズ株式会社] メール誤送信対策のルールが肥大化 苦しむ情シスはどうすれば救われるのか? -
事例
[横河レンタ・リース株式会社] AIの全社活用が加速 トヨタ・コニック・プロに学ぶ「AI PC調達」の秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
半数がブルーカラー転向を視野に? ベテランエンジニアを追い込む“54歳の壁”
-
2
「Wi-Fi 7」経由でWindowsが乗っ取られる? 最高権限奪取の恐怖
-
3
「アップグレードできないJava」をどう守る IBMとRed HatがAIで400件超修正
-
4
Copilot導入で陥る“目的化”の落とし穴 定着の鍵は「作り込まない」こと
-
5
パッチなしで「今すぐサーバを落とせ」 Kiteworks異例警告の波紋
-
6
OpenAIやAnthropicでさえ制御不能 2026年夏「3大サイバー攻撃」の衝撃
-
7
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
8
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
9
「企業におけるAI導入検討度とIT投資優先度」に関するアンケート
-
10
IT製品の導入に関するアンケート「サーバ&ストレージ」編
ホワイトペーパーランキング PR
-
1
家庭用Wi-Fiルーターの業務利用は危険? 避けるべき理由と具体的な対策
-
2
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
3
システムの保守がモダン化を阻む? 「変えない判断」から脱却する方法とは
-
4
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
5
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
6
プログラミング不要で誰でも実現できる、ネットワーク運用管理の自動化とは
-
7
Linux初心者でも知らないとまずい「RHEL」「SLES」の違いとは?
-
8
東大教授と考える、AI時代の「データ主権」「信頼性」「ガバナンス」の在り方
-
9
「IT史に名を残すシステム障害」8選
-
10
最速72分でデータが流出? 最新の脅威トレンドや侵入手法から分かった防衛策
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー