数十万台のサーバが稼働中
潜入! 写真で分かる「Facebook」の巨大データセンター
米ノースカロライナ州にあるFacebookの巨大データセンターに潜入。独自仕様で開発されたサーバやストレージを見た。写真とともに紹介しよう。
米Facebookは米国とスウェーデンに設置したデータセンターで、同社が主導する「Open Compute Project」(OCP)の仕様に基づく数十万台ものサーバをホストしている。米ノースカロライナ州フォレストシティにある各データセンター施設でそれぞれ数万台が稼働中だ。
本稿ではフォレストシティのデータセンター内の写真とともに、OCP仕様のサーバおよびストレージや、同社が設計した冷却システムなどについて見ていこう。
Facebookサーバの特徴
Facebookは自社のデータセンターでOCP仕様のハードウェアを運用している。OCPは、サーバやネットワークスイッチといったデータセンターコンポーネントについて、カスタマイズせずに利用できるようにすることを目指している。
OCPサーバは、取り外しが簡単な標準化されたモジュラーコンポーネントから成る。それぞれのコストは可能な限り安く抑えられているが、これは、「コモディティを大量に使用することで極めて高い効率を実現する」というアプローチによるものだ。
熱や湿度を物ともしないOCPサーバ
余分なものが削ぎ落とされたOCPサーバは、過酷なデータセンター環境に耐えられる。回路基板とコンポーネントの上を空気が流れやすいことから、冷却ファンに掛かる電力は少ない。
Facebookは、ラックにOCPサーバを高密度に設置し、Webトラフィックからデータベースまで多種多様なワークロードをホストしている。コールドアイル(冷気通路)の平均温度は28.3度で、ホットアイル(暖気通路)の温度は48.9度に達することもある。
冷却サイクルはホットアイルで完了
各アイルに数千台のサーバが並ぶハイパースケールデータセンター内を歩くと、騒音がかなり大きいのではと思われるだろう。しかし、フォレストシティのデータセンターは比較的静かで、暖かく、湿度が高い。
サーバを冷却するための二重床や機械式空調設備は見当たらない。代わりに、外気を取り入れてフィルタに通し、ラックの前面に勢いよく送り込むように建物が設計されている。Facebookのサーバは空気を密閉ホットアイルに排出する。ホットアイルは温度が48.9度にも達し、データセンターフロアで最もうるさい。サーバの熱で空気の除湿が自然に行われることから、同社は、ホットアイルの空気を回収してリサイクルするように建物を設計した。
グリーン設計で環境対策
Facebookは地域貢献活動の一環としてデータセンターのグリーン化に力を入れていて、施設外の敷地にも緑をふんだんに残した。どのデータセンターや企業でもまねできる取り組みだ。
Facebookはサーバの過冷却や電力の浪費を避けるため、現地の自然気流を利用できるようにフォレストシティのキャンパスを設計している。人感センサーによる照明制御など、環境に配慮した工夫も施されている。
グリーン設計が適用されたのは、データセンターの施設内だけではない。約3万3000平方メートルのメインビルディングと、Facebookがアーカイブデータを保存している約8400平方メートルのコールドストレージ(アクセス頻度が低いデータのストレージ)施設の間の敷地は、希少な植物の生育地として維持されている。
Facebookの地域貢献活動には、省電力や環境対策の取り組みに加え、学童向けの美術コンテストの開催、現地のコミュニティーカレッジと連携したインターンシッププログラムなどがある。
ビッグデータの負荷を軽減するストレージ戦略
Facebookはアーカイブストレージを2つの施設で管理している。フォレストシティのデータセンターは、そのうちの1つだ。
Facebookは当然ながら膨大なデータを扱っている。その一部は(非常に)頻繁にアクセスされ、高い価値を持つが、大部分はアーカイブであり、時間とともに価値が下がっていく。
Facebookのストレージアプローチでは、階層化の考え方が採用されている。この構造では、古いデータはHDDに移し、必要とされる場合に備えてそこにとどまり、ほとんど電力を消費しない。
こうした階層化は、サービスのパフォーマンスに影響を与えることなく、消費電力と、アーカイブコンテンツに必要なストレージ容量を低減する。
コールドストレージ施設の冷却のキモ
Facebookのコールドストレージ施設のストレージラックは、一般的なHDDに対応したOCPの設計に基づいている。
コールドストレージに保存されるデータは頻繁にアクセスされるわけではないため、コールドストレージ施設の冷却コストは、メインのデータセンター施設に比べると、はるかに低い。そこでFacebookは、コールドストレージ施設のコールドアイルの温度を、もともと暖かい同社の通常のデータセンター施設のコールドアイルと比べても、さらに少し高温に保っている。また、コールドストレージ施設の冷却では、フルスケールのデータセンター冷却システムを実装するのではなく、コンパクトなモジュラーアプローチを取っている。
この冷却設計では、フォレストシティのメイン施設で稼働している冷却システムが踏襲されており、二重床もコンプレッサも使用されていない。外気が取り込まれ、フィルタを通って汚染物質が除去されてから、コールドアイルに勢いよく送り込まれるようになっている。
コラボレーションと効率が生み出すFacebook環境
Facebookは、米東海岸に位置するノースカロライナのデータセンターに西海岸カリフォルニアの楽しいスタイルを少しばかり持ち込んだが、技術的なニーズは見失ってはいない。
Facebookのデータセンターでは、IT担当者と施設担当者の部門横断的な連携に加え、インフラの安定性と修復の容易さが追求されている。OCPサーバは、ほとんど工具を使わずにラックから取り外し、故障部品を交換できる。さらに、技術者はメンテナンスや修理、入れ替えのために個々のサーバをネットワークから切り離す際、ワークロードをそのハードウェアから手動で移動する必要がない。
また、オフィススペースにはちょっとした面白い趣向も凝らされている。レゴルームなどがあり、外は湿っぽい空気のノースカロライナだが、室内はシリコンバレーを思わせるかもしれない。
PUEダッシュボードの数字はウソをつかない
グリーンコンピューティングが注目を集め、エネルギーコストが上昇する中、電力使用効率(PUE:Power Usage Efficiency)と水使用効率(WUE:Water Usage Effectiveness)を管理指標としているデータセンター運用者が増えている。しかし、これらのデータを公開している例はごく少ない。
Facebookは、フォレストシティのデータセンターにおけるPUEとWUEのリアルタイム値と過去12カ月の平均値に加え、外気の温度と湿度を表示するダッシュボードを公開している。慎重な立地選定、革新的な冷却システム設計、ビル管理とITの高度な統合、効率の高いサーバを組み合わせることで、Facebookは、平均で1.10を下回るPUEと同0.50リットル/キロワット時を下回るWUEを実現している。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
2
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
3
「データストレージの活用方法」に関するアンケート
-
4
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
-
5
本当に安いPCで十分か? “すぐ重くなる”を防ぐノートPC選びの絶対条件
-
6
Claudeの不可視透かしに批判殺到 著作権消失や誤判定に潜む企業リスク
-
7
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
8
221人調査で分かった「情シス最大のストレス」は?
-
9
LLMの「過学習」、正しく説明している文章はどれ?
-
10
レガシー基幹システムをSAPに統合 山善が突き止めた「標準化と個別最適」の境界線
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー