AI投資の盲点
高額GPUが遊んでいるのはなぜ? AIインフラを襲う根深い「データ待ち」問題
高価なGPUを導入したにもかかわらず、十分な性能を発揮できず低稼働にとどまる事態が相次いでいる。原因は計算能力不足ではなくデータインフラにあった。Dellの検証から見えた問題の真因とは。
AIインフラにおいて、高額なGPU(グラフィックス処理装置)を複数配置したにもかかわらず、アクティブなジョブの平均稼働率が数割程度にとどまる事例が散見される。パフォーマンス低下の真因は、計算能力やネットワークの帯域不足ではなく、AIモデルが制御できない要因によってGPUがデータの到着を待たされていることにある。
Dell Technologies(以下、Dell)はこの課題を解消するため、「データの3つの形態」に基づくフェデレーテッド(連携型)システム構成を提唱している。同社が実施したLLM(大規模言語モデル)の推論比較テストによれば、推論時のデータを最適化して処理することで、最初の出力が得られるまでの時間を最大19倍高速化できた。
高価なGPUの性能を引き出し、AI投資の成果を左右するデータインフラには、どのような要件が求められるのか。
なぜGPUはアイドル状態になるのか
従来のストレージ組み込み型AIインフラは、「すでにシステムに到達したデータのみを用いて処理する」という前提で設計されている。
新規に構築したインフラや、範囲が限定された単一のワークロードであれば、この前提でも問題なく機能する。しかし、多様なデータソースや絶えず変化するAIモデルが存在する企業システムでは、状況が異なる。データをAIインフラに移動させる作業が必要であり、その転送にかかる時間がそのままGPUの待機時間を生み出している。結果として、最も高価な計算資源であるGPUが処理を実行せずに電力を消費し続けるという構造的な課題だ。
現場が直面する制約
データをあらかじめ単一のストレージ群に一元集約できない背景には、インフラ運用現場の制約が存在する。Dellは、データの移動を阻害する主な要因として以下の4点を挙げている。
1点目は、規制およびデータ主権上の制約だ。セキュリティ要件のために、任意にコピーすることが認められていないデータがある。
2点目は、アプリケーションの結合だ。データソースシステムが特定の変更ウィンドウ(メンテナンス時間枠)に固定されており、AIインフラから任意のタイミングでデータを抽出できないことがある。
3点目は、特定の地域や国にデータを固定しなければならないというデータレジデンシー(所在地)の制約だ。
4点目は、データの生成速度だ。各種センサーからのテレメトリー(遠隔情報収集)や顧客のトランザクションは絶えず生成されており、いかなる同期処理も追い付かない速度に達している。
これらの物理的・制度的な制約を無視してデータの移動を強制する設計は、インフラ全体の深刻なボトルネックになる。
「データの3つの形態」とKVキャッシュの最適化
この課題に対するアプローチとして、Dellはデータを単一のファイルやオブジェクトとして扱うのではなく、「データ」「メタデータ」「ベクトル」の3形態に分類して最適化する考え方を提唱している。その上で、データを単一システムに強制移行させるのではなく、データが存在する元の場所からGPUに直接供給する「フェデレーテッド(連携型)アーキテクチャ」の重要性を説いている。
大容量の「データ」は、ガバナンスやデータ主権を保つために元のストレージやクラウドに留め置く。「メタデータ」はシステム全体に伝送し、GPU層がデータ群を可視化できるようにする。ポータブルな「ベクトル」は高速経路で連携させる。データを性質ごとに扱い分けることで、GPUの待機時間を最小化し、稼働時間を実際の計算処理に振り向けることが可能になる。
この分類が最も効果を発揮するのが、LLM推論における「KVキャッシュ」の処理だ。KVキャッシュとは、AIモデルが文脈を保持・処理する際に構築するキーと値のテンソル(ベクトルデータ)を指す。このデータはGPUとストレージの間を高頻度で移動するため、通常のデータと同じ経路で処理させると推論速度の大幅な低下を招く。
KVキャッシュを専用のストレージ処理にオフロード(委譲)することが、GPU利用効率向上の要となる。Dellが2025年10月に実施した、LLM「Qwen3-32B」を用いた比較テストでは、同社のストレージ製品を使用した場合、TTFT(Time to First Token:最初のトークンが出力されるまでの時間)は0.82~0.86秒だった。これは、KVキャッシュのオフロードを有効にしていない、標準的なオープンソースの推論エンジン「vLLM」の11.8秒と比較して最大約19倍の高速化(KVキャッシュオフロードなしの標準vLLMと比較して約14倍高速化)を示している。
RFPに組み込むべき「3つの質問」
企業がAIインフラの調達を行う際、IOPS(入出力性能)や帯域幅、容量といった単なるストレージ製品向けの評価基準だけでは不十分だ。Dellは、ベンダー選定のRFP(提案依頼書)に以下の3つの質問を含めることを推奨する。
- 規制や結合課題を持つ現実的な条件下で、KVキャッシュオフロードを有効にした際の期待GPU稼働率は何%か
- 理想的な設定ではなく、制約下での実力値を測る
- 最新のオープンソースモデルでの比較テスト結果を公開し、第三者が再現可能な形で妥当性を証明できるか
- ベンダー独自の指標を排し、客観的な検証結果を求める
- コピー不可能な新規データソースがオンラインになった際、GPUがそのデータを活用可能になるまでの時間はどの程度か
- ベンダーのシステム構成が想定しているGPUのアイドル(待機)時間を示す尺度となる
AIインフラの投資対効果を最大化するためには、単なるカタログスペックの比較から脱却しなくてはならない。データの重力という現実の制約を受け入れ、システム全体でのデータ連携を最適化するオープンな設計基準を持つことが、IT担当者に強く求められている。
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。
TechTarget ニュースプラス
国内のIT業界ニュースを迅速に報道します。企業動向から導入事例、市場トレンドまで幅広く取り上げ、実務に直結する情報をタイムリーに提供する連載です。
関連記事
新着ホワイトペーパー PR
-
製品資料
[オーティファイ株式会社] AIでコーディングは加速したのにテストはそのまま? いまQAに必要な進化とは -
事例
[オーティファイ株式会社] QAで開発サイクルを遅延させない 8社の事例に学ぶ「テスト工程」の課題解決策 -
製品資料
[株式会社ガラパゴス] 「AIっぽい広告」の山に埋もれさせない AIマーケで着実に成果をだす秘訣とは? -
製品資料
[株式会社ガラパゴス] 「広告投資」調査レポート2026:勝ち組企業は何に投資しているのか? -
製品資料
[株式会社Helpfeel] 「問い合わせの渋滞」を解消、情シスの負担を軽減する“次世代型AI”活用方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Copilot」はなぜ放置される? “議事録要約止まり”を脱する処方箋
-
2
9割が頓挫する「AI内製化」 差がついたのはツールより設計力
-
3
膨らむAIコストに歯止め GitHubのマルチモデルルーターは何が違うのか
-
4
脱VMwareの前提が崩れる BroadcomのVDDK公開停止で確認すべき点
-
5
JSONをやめてPythonで送る トークン消費を約7割抑えるAIの設計
-
6
「WhatsApp」の暗号化は万全ではない? E2EEとマルチデバイス機能が生む死角
-
7
「コンテナ型データセンターの検討状況と課題」に関するアンケート
-
8
「身代金を支払う」以外のランサムウェア対策は本当にあるのか?
-
9
技術力だけでは「上に行けない」 シヤチハタCDOが語る、情シスが次の役割をつかむ条件
-
10
AI全部入り「Microsoft 365 E7」に企業が二の足を踏む訳 移行意向はわずか4%
ホワイトペーパーランキング PR
-
1
5回聞くだけじゃ足りない? トヨタ式「なぜなぜ分析」の正しい実践方法
-
2
生成AIで文書活用を進めるには? 効率化と安全性をどう両立する
-
3
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
4
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは?
-
5
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
6
国税庁の次世代基幹システム「KSK2」稼働開始に向けて、対応すべき変更点とは?
-
7
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
8
「スクラム」と「カンバン」の違いとは? アジャイル型開発手法を徹底比較
-
9
ドラマで分かる、標的型攻撃メールの被害を受ける企業と回避できる企業の分岐点
-
10
「脱Excel」か「Excel快適化」か? 現場にやさしい業務改善の進め方
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー