AI投資の盲点

高額GPUが遊んでいるのはなぜ? AIインフラを襲う根深い「データ待ち」問題

高価なGPUを導入したにもかかわらず、十分な性能を発揮できず低稼働にとどまる事態が相次いでいる。原因は計算能力不足ではなくデータインフラにあった。Dellの検証から見えた問題の真因とは。

 AIインフラにおいて、高額なGPU(グラフィックス処理装置)を複数配置したにもかかわらず、アクティブなジョブの平均稼働率が数割程度にとどまる事例が散見される。パフォーマンス低下の真因は、計算能力やネットワークの帯域不足ではなく、AIモデルが制御できない要因によってGPUがデータの到着を待たされていることにある。

 Dell Technologies(以下、Dell)はこの課題を解消するため、「データの3つの形態」に基づくフェデレーテッド(連携型)システム構成を提唱している。同社が実施したLLM(大規模言語モデル)の推論比較テストによれば、推論時のデータを最適化して処理することで、最初の出力が得られるまでの時間を最大19倍高速化できた。

 高価なGPUの性能を引き出し、AI投資の成果を左右するデータインフラには、どのような要件が求められるのか。

なぜGPUはアイドル状態になるのか

印刷する
SNSでシェア

TechTarget ニュースプラス

国内のIT業界ニュースを迅速に報道します。企業動向から導入事例、市場トレンドまで幅広く取り上げ、実務に直結する情報をタイムリーに提供する連載です。

この連載の記事をもっと見る

関連記事

新着ホワイトペーパー PR

こんなメディアも見られています

TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。

無料会員登録
最新情報をいち早くチェック!

IT導入や運用管理に関する技術資料やレポートが閲覧でき、興味や必要性に合致した情報を、的確かつ迅速に入手できます

いますぐ無料会員登録

ベンダーコンテンツ PR

From Informa TechTarget

アクセスランキング

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

ホワイトペーパーランキング PR

  1. 1
  2. 2
  3. 3
  4. 4
  5. 5
  6. 6
  7. 7
  8. 8
  9. 9
  10. 10

TechTargetジャパン SNS

X @techtarget_itmをフォロー

インフォメーション

TechTargetジャパンをフォロー

TechTargetジャパンについて