求められるインフラ設備の再設計
AIサーバの発熱で見えてきた「データセンターの限界」 電力、冷却を再定義
データセンターインフラにAIサーバを統合するのは容易ではない。熱と負荷が増加するため、高度な冷却システム、構造的調整、電力容量の強化が必要となる。
あらゆる規模のデータセンターが、人工知能(AI)技術を活用するためのサーバをインフラに統合し始めている。だが従来のデータセンターは、AIサーバ特有の高い処理負荷や発熱に対応するようには設計されていない。そのため、AIサーバの導入は一筋縄ではいかず、複雑な作業になることが多い。
AIサーバをデータセンターに統合するには、ハイパースケール(大規模運用)データセンターで採用されているような特殊な設計が必要になる。しかもそのハイパースケールデータセンターでさえ、高負荷という課題に直面しているのが現状だ。
処理性能の向上とAIサーバ需要の高まりによって、搭載されるプロセッサは従来の冷却システムが想定していた以上の熱を発生させるようになった。そのため、冷却システムも新たな温度上昇に対応できるよう進化が求められている。これには、床荷重の強化やラックスペースの再設計、サーバ搭載密度の見直し、電力管理の高度化といった変更が必要だ。さらに、空冷に代わる手段として「液体冷却システム」の導入も重要な検討対象となっている。
床荷重とサーバラック仕様
初期のサーバラックは、24インチ(約61センチ)四方のサイズで、重量は約110キロ程度だった。アクセスフロア(床下配線などのために底上げされた床)を高く設けることで荷重を分散すれば、ほとんどの建物の床でもこの重量に耐えられた。
しかし、AIサーバの進化とデータセンターへの統合が進んだことで、ラックキャビネットの重量やサイズは増大している。現在の高密度なラックキャビネットは、1台でおよそ1130~1360キログラムの重量を支えられる仕様になっている。こうした重量級のサーバラックを設置するには、床の耐荷重が強化された設計が必要になることがあり、特に新築の建物であっても対応が求められるケースが増えている。
サーバラックの交換や補強を検討する際には、サーバラックのサイズと重量、設置するサーバラックの台数、通路(アクセス)設計、冷却システム、床の高さ、そして機器の配置によって変動する床の耐荷重を総合的に評価する必要がある。特に、奥行きのある高密度サーバラックは、従来の列間スペース(ラック間の標準的な通路幅)に収まらないことが多く、データセンターのレイアウト設計をさらに複雑にする。
電力設備
標準的なデータセンターのサーバラックには、42U(ラックユニット)分の機器を収納できるスペースがあり、最も一般的な構成では1ラック当たり約100~150キロワットの電力を消費する。一方、従来のデータセンターはおおむね5~10キロワットのラック密度(1ラック当たりの消費電力)を想定して設計されていた。
AIサーバを統合するには、少なくとも50キロワット以上のラック密度が求められるため、既存の設計では対応し切れないことがある。従来のAC(交流)電源回路や配線は、AIサーバの大規模なアレイに必要な電流を効率よく供給するには不十分であり、電源コードやプラグ、レセプタクル(コンセントの差し込み口)も、AIサーバの高温環境には適していない。
多くのAIサーバでは、400ボルトのDC(直流)電源が標準仕様として用いられており、これに対応する特殊な電源装置や、電力を効率的に分配するための特殊な電源装置や電力分配用のバスウェイが必要になる。データセンター管理者は、電源設計に精通した専門家を雇い、サーバラックと一体化したキャビネットへ全ての電源機構を統合し、レイズドフロア(二重床)上にPDU(電源分配ユニット)を設置して電力を分配すべきだ。こうした構成により、エアフロー(空気の流れ)を妨げず、冷却効率の向上にもつながる。
安定した無停電電源装置(UPS)は、常に100%の処理能力で稼働することが求められるAIインフラにとって不可欠な存在だ。AIサーバを運用するには、消費電力の増加を正確に評価し、それに対応できるよう電力システム全体を見直す必要がある。データセンター管理者は、AIインフラの高負荷運用によって増加する電力需要を見越して、UPSをはじめとするバックアップ電源設備をアップグレードし、稼働停止(ダウンタイム)を最小限に抑える対策を講じる必要がある。
冷却システム
AIサーバは、CPUやGPUなどのプロセッサ(を直接冷却する方式である「ダイレクトチップ冷却」システムに対応していることがある。この冷却方式は、熱負荷の最大75%を液体によって直接冷却することができる。残る25%の熱については、従来型の空冷システムで補助的に処理する必要がある。例えば、60キロワットのサーバラックで25%の熱を空冷で処理する場合、約15キロワット分の空冷能力が必要となる。これは、適切に設計された一般的なデータセンターの冷却システムでも対応可能な範囲だ。
しかし、150キロワットの高密度キャビネットになると、空冷で処理すべき熱量は30~45キロワットに達し、これは多くの従来型空調設備の想定余力を超えるレベルになる。さらに、250キロワット級のキャビネットでは、50~75キロワット以上の空冷能力が求められる可能性があり、こうした冷却負荷に対応できるのは、ハイパースケール(大規模)データセンターのように高性能冷却インフラを備えた環境に限られる。
検討すべき代替冷却システム
冷却システムには、高い冗長性と信頼性を備え、24時間体制で安定したサービスを提供できる能力が求められる。その設計は、データセンターの立地条件や気候によって最適解が異なる。例えば、暑く乾燥した地域では、「蒸発冷却」や「独立型冷却塔」が適している可能性がある。一方で、水資源が限られている場所や気温の低い地域では、「乾式冷却」の方が有効となる。
AIサーバのような高密度コンピューティング機器に冷却水を分配するには、「冷却水分配ユニット」(CDU:Coolant Distribution Unit)が必要になる。この装置は、建物全体の冷却水供給系統と、個々のサーバラックに送るテクニカルウオーター(冷却用途に使われる処理水)とをつなぐ熱交換器だ。
ダイレクトチップ冷却では、プロセッサに搭載されるマイクロチャネル(微細な液体流路)を使用するが、これが不純物を含んだ水で詰まりやすいという課題がある。CDUは、施設側の水をろ過・温調し、安全な状態で機器へ供給することで、このリスクを軽減する。小型のCDUはラックマウント型として利用でき、大型のCDUでは、異なる流量や圧力が求められる機器同士を接続できるよう、バランスバルブが装備されている。
もう一つの代替手段が、「アクティブ型リアドア空調」の利用だ。これは冷却水とファンを組み合わせてサーバラック背面で熱を除去する方式で、ファン電力を消費するものの、大規模な空冷設備よりもエネルギー効率が高いのが特徴だ。これにより、チップ冷却と空冷を一体化したハイブリッド型キャビネット構成を実現できる。
関連記事:ALl
https://techtarget.itmedia.co.jp/tt/news/2412/26/news06.html
高負荷サーバ“狙い撃ち”も常識に 「データセンター冷却」の基礎知識
https://techtarget.itmedia.co.jp/tt/news/2501/23/news10.html
止めてはいけないデータセンターの3本柱「電源」「防火」「監視」の基本
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 世界のインサイト&ベストプラクティス
米国TechTargetの豊富な記事の中から、さまざまな業種や職種に関する動向やビジネスノウハウなどを厳選してお届けします。
この記事の著者
新着ホワイトペーパー PR
-
事例
[株式会社マクニカ] アイカ工業に学ぶ脆弱性対策 情シスが把握できずにいたアセットも正確に把握 -
製品資料
[株式会社マクニカ] 「脆弱性総まとめ」解説 被害事例から考える必須の対策ポイント -
製品資料
[Splunk Services Japan合同会社] サイバー脅威「トップ50」完全解説ガイド、新たな攻撃手法に対抗するには -
製品資料
[株式会社うるる] 「入札市場」完全ガイドブック:メリットから資格取得のポイントまで -
市場調査・トレンド
[株式会社うるる] はじめての「自治体/官公庁入札」 必要な知識がすぐに学べる入門ガイド
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
2
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
3
Microsoft製品でここまで自動化できる 情シスがやめられる手作業10選
-
4
AI基盤は本当に「オンプレ回帰」する? Broadcomの言い分と企業の本音
-
5
「技術屋」で終わらないために 情シスが今取るべき認定資格5選
-
6
「世界一給与にハングリー」な日本のエンジニアが“雇用の安定”を求める理由
-
7
「Linuxサーバの長期運用とRed Hat Enterprise Linux」に関するアンケート
-
8
「IoT通信環境の構築・運用」に関するアンケート
-
9
「VMware離れ」は本当か 3000社がVCF 9にかじを切った現実的な理由
-
10
ISMSの“コンサル丸投げ”が招く数千万円の無駄 NTTドコモビジネスの脱出劇
ホワイトペーパーランキング PR
-
1
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
2
AIが「わざわざ使うツール」になっていない? 業務で自然に使う導線にする秘訣
-
3
5回聞くだけじゃ足りない? トヨタ式「なぜなぜ分析」の正しい実践方法
-
4
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは?
-
5
「脱Excel」か「Excel快適化」か? 現場にやさしい業務改善の進め方
-
6
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
7
PostgreSQLの「機能」「性能」「運用」「拡張性」に関する悩みの解消法
-
8
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
9
Macの安全神話は崩壊? 最新の脅威動向から見えた攻撃のトレンドと有効な対策
-
10
情報セキュリティ対策早分かりガイド:25の自社診断で弱点と解決策を理解
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー