AI投資の盲点
高額GPUが遊んでいるのはなぜ? AIインフラを襲う根深い「データ待ち」問題
高価なGPUを導入したにもかかわらず、十分な性能を発揮できず低稼働にとどまる事態が相次いでいる。原因は計算能力不足ではなくデータインフラにあった。Dellの検証から見えた問題の真因とは。
AIインフラにおいて、高額なGPU(グラフィックス処理装置)を複数配置したにもかかわらず、アクティブなジョブの平均稼働率が数割程度にとどまる事例が散見される。パフォーマンス低下の真因は、計算能力やネットワークの帯域不足ではなく、AIモデルが制御できない要因によってGPUがデータの到着を待たされていることにある。
Dell Technologies(以下、Dell)はこの課題を解消するため、「データの3つの形態」に基づくフェデレーテッド(連携型)システム構成を提唱している。同社が実施したLLM(大規模言語モデル)の推論比較テストによれば、推論時のデータを最適化して処理することで、最初の出力が得られるまでの時間を最大19倍高速化できた。
高価なGPUの性能を引き出し、AI投資の成果を左右するデータインフラには、どのような要件が求められるのか。
なぜGPUはアイドル状態になるのか
従来のストレージ組み込み型AIインフラは、「すでにシステムに到達したデータのみを用いて処理する」という前提で設計されている。
新規に構築したインフラや、範囲が限定された単一のワークロードであれば、この前提でも問題なく機能する。しかし、多様なデータソースや絶えず変化するAIモデルが存在する企業システムでは、状況が異なる。データをAIインフラに移動させる作業が必要であり、その転送にかかる時間がそのままGPUの待機時間を生み出している。結果として、最も高価な計算資源であるGPUが処理を実行せずに電力を消費し続けるという構造的な課題だ。
現場が直面する制約
データをあらかじめ単一のストレージ群に一元集約できない背景には、インフラ運用現場の制約が存在する。Dellは、データの移動を阻害する主な要因として以下の4点を挙げている。
1点目は、規制およびデータ主権上の制約だ。セキュリティ要件のために、任意にコピーすることが認められていないデータがある。
2点目は、アプリケーションの結合だ。データソースシステムが特定の変更ウィンドウ(メンテナンス時間枠)に固定されており、AIインフラから任意のタイミングでデータを抽出できないことがある。
3点目は、特定の地域や国にデータを固定しなければならないというデータレジデンシー(所在地)の制約だ。
4点目は、データの生成速度だ。各種センサーからのテレメトリー(遠隔情報収集)や顧客のトランザクションは絶えず生成されており、いかなる同期処理も追い付かない速度に達している。
これらの物理的・制度的な制約を無視してデータの移動を強制する設計は、インフラ全体の深刻なボトルネックになる。
「データの3つの形態」とKVキャッシュの最適化
この課題に対するアプローチとして、Dellはデータを単一のファイルやオブジェクトとして扱うのではなく、「データ」「メタデータ」「ベクトル」の3形態に分類して最適化する考え方を提唱している。その上で、データを単一システムに強制移行させるのではなく、データが存在する元の場所からGPUに直接供給する「フェデレーテッド(連携型)アーキテクチャ」の重要性を説いている。
大容量の「データ」は、ガバナンスやデータ主権を保つために元のストレージやクラウドに留め置く。「メタデータ」はシステム全体に伝送し、GPU層がデータ群を可視化できるようにする。ポータブルな「ベクトル」は高速経路で連携させる。データを性質ごとに扱い分けることで、GPUの待機時間を最小化し、稼働時間を実際の計算処理に振り向けることが可能になる。
この分類が最も効果を発揮するのが、LLM推論における「KVキャッシュ」の処理だ。KVキャッシュとは、AIモデルが文脈を保持・処理する際に構築するキーと値のテンソル(ベクトルデータ)を指す。このデータはGPUとストレージの間を高頻度で移動するため、通常のデータと同じ経路で処理させると推論速度の大幅な低下を招く。
KVキャッシュを専用のストレージ処理にオフロード(委譲)することが、GPU利用効率向上の要となる。Dellが2025年10月に実施した、LLM「Qwen3-32B」を用いた比較テストでは、同社のストレージ製品を使用した場合、TTFT(Time to First Token:最初のトークンが出力されるまでの時間)は0.82~0.86秒だった。これは、KVキャッシュのオフロードを有効にしていない、標準的なオープンソースの推論エンジン「vLLM」の11.8秒と比較して最大約19倍の高速化(KVキャッシュオフロードなしの標準vLLMと比較して約14倍高速化)を示している。
RFPに組み込むべき「3つの質問」
企業がAIインフラの調達を行う際、IOPS(入出力性能)や帯域幅、容量といった単なるストレージ製品向けの評価基準だけでは不十分だ。Dellは、ベンダー選定のRFP(提案依頼書)に以下の3つの質問を含めることを推奨する。
- 規制や結合課題を持つ現実的な条件下で、KVキャッシュオフロードを有効にした際の期待GPU稼働率は何%か
- 理想的な設定ではなく、制約下での実力値を測る
- 最新のオープンソースモデルでの比較テスト結果を公開し、第三者が再現可能な形で妥当性を証明できるか
- ベンダー独自の指標を排し、客観的な検証結果を求める
- コピー不可能な新規データソースがオンラインになった際、GPUがそのデータを活用可能になるまでの時間はどの程度か
- ベンダーのシステム構成が想定しているGPUのアイドル(待機)時間を示す尺度となる
AIインフラの投資対効果を最大化するためには、単なるカタログスペックの比較から脱却しなくてはならない。データの重力という現実の制約を受け入れ、システム全体でのデータ連携を最適化するオープンな設計基準を持つことが、IT担当者に強く求められている。
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。
TechTarget ニュースプラス
国内のIT業界ニュースを迅速に報道します。企業動向から導入事例、市場トレンドまで幅広く取り上げ、実務に直結する情報をタイムリーに提供する連載です。
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社フィックスターズ] 組み込みデバイスへのAI実装で開発速度と品質を両立する方法 -
製品レビュー
[株式会社セールスフォース・ジャパン] 実画面を見れば納得 営業・設計・開発を「AI×CRM」でつなぐとこうなる -
比較資料
[アイティメディア広告企画] ERP導入ガイド:「OBIC7」「SMILE V 2nd Edition」「Oracle NetSuite」を比較 -
市場調査・トレンド
[アイティメディア株式会社] AI Overviews時代のB2Bマーケ! 成長企業が選ぶ戦略とは? -
市場調査・トレンド
[アイティメディア株式会社] なぜあの施策は失敗したのか? B2Bマーケ施策を成功させる3つの鉄則
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
NVIDIA「一強体制」の終わりか データセンターを襲う“電力の壁”
-
2
岐阜県庁が7000人規模でも重くならないテレワークを「Prisma Access」で実現
-
3
半数がブルーカラー転向を視野に? ベテランエンジニアを追い込む“54歳の壁”
-
4
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
5
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
6
ソフトウェア部品表「SBOM」のフォーマットとは? 国際標準「SPDX」の中身
-
7
IBM iのブラックボックス化を打破 資産継承と進化を実現する「IBM Bob」の実力
-
8
「セキュリティ運用と侵入後の初動防御」に関するアンケート
-
9
「パスワード使い回し8割」の衝撃 なぜ“パスキー移行”が必要か
-
10
「アップグレードできないJava」をどう守る IBMとRed HatがAIで400件超修正
ホワイトペーパーランキング PR
-
1
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
2
「IT史に名を残すシステム障害」8選
-
3
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
4
SCS評価制度時代の「SASE選定」ガイド
-
5
顧客対応自動化の要点:RAGとデータ連携で“業務で使える生成AI”にする方法
-
6
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
7
「EDR」選定ガイド:比較・検討フェーズで整理すべきポイントを解説
-
8
なぜAIは組織で定着しないのか? 全社展開を阻む「3つの壁」と突破のヒント
-
9
経験豊富な即戦力人材に直接アプローチできる、「攻めの採用」への転換術
-
10
ランサムウェア攻撃“究極の対策”はこれだ
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー