数十万台のサーバが稼働中
潜入! 写真で分かる「Facebook」の巨大データセンター
米ノースカロライナ州にあるFacebookの巨大データセンターに潜入。独自仕様で開発されたサーバやストレージを見た。写真とともに紹介しよう。
米Facebookは米国とスウェーデンに設置したデータセンターで、同社が主導する「Open Compute Project」(OCP)の仕様に基づく数十万台ものサーバをホストしている。米ノースカロライナ州フォレストシティにある各データセンター施設でそれぞれ数万台が稼働中だ。
本稿ではフォレストシティのデータセンター内の写真とともに、OCP仕様のサーバおよびストレージや、同社が設計した冷却システムなどについて見ていこう。
Facebookサーバの特徴
Facebookは自社のデータセンターでOCP仕様のハードウェアを運用している。OCPは、サーバやネットワークスイッチといったデータセンターコンポーネントについて、カスタマイズせずに利用できるようにすることを目指している。
OCPサーバは、取り外しが簡単な標準化されたモジュラーコンポーネントから成る。それぞれのコストは可能な限り安く抑えられているが、これは、「コモディティを大量に使用することで極めて高い効率を実現する」というアプローチによるものだ。
熱や湿度を物ともしないOCPサーバ
余分なものが削ぎ落とされたOCPサーバは、過酷なデータセンター環境に耐えられる。回路基板とコンポーネントの上を空気が流れやすいことから、冷却ファンに掛かる電力は少ない。
Facebookは、ラックにOCPサーバを高密度に設置し、Webトラフィックからデータベースまで多種多様なワークロードをホストしている。コールドアイル(冷気通路)の平均温度は28.3度で、ホットアイル(暖気通路)の温度は48.9度に達することもある。
冷却サイクルはホットアイルで完了
各アイルに数千台のサーバが並ぶハイパースケールデータセンター内を歩くと、騒音がかなり大きいのではと思われるだろう。しかし、フォレストシティのデータセンターは比較的静かで、暖かく、湿度が高い。
サーバを冷却するための二重床や機械式空調設備は見当たらない。代わりに、外気を取り入れてフィルタに通し、ラックの前面に勢いよく送り込むように建物が設計されている。Facebookのサーバは空気を密閉ホットアイルに排出する。ホットアイルは温度が48.9度にも達し、データセンターフロアで最もうるさい。サーバの熱で空気の除湿が自然に行われることから、同社は、ホットアイルの空気を回収してリサイクルするように建物を設計した。
グリーン設計で環境対策
Facebookは地域貢献活動の一環としてデータセンターのグリーン化に力を入れていて、施設外の敷地にも緑をふんだんに残した。どのデータセンターや企業でもまねできる取り組みだ。
Facebookはサーバの過冷却や電力の浪費を避けるため、現地の自然気流を利用できるようにフォレストシティのキャンパスを設計している。人感センサーによる照明制御など、環境に配慮した工夫も施されている。
グリーン設計が適用されたのは、データセンターの施設内だけではない。約3万3000平方メートルのメインビルディングと、Facebookがアーカイブデータを保存している約8400平方メートルのコールドストレージ(アクセス頻度が低いデータのストレージ)施設の間の敷地は、希少な植物の生育地として維持されている。
Facebookの地域貢献活動には、省電力や環境対策の取り組みに加え、学童向けの美術コンテストの開催、現地のコミュニティーカレッジと連携したインターンシッププログラムなどがある。
ビッグデータの負荷を軽減するストレージ戦略
Facebookはアーカイブストレージを2つの施設で管理している。フォレストシティのデータセンターは、そのうちの1つだ。
Facebookは当然ながら膨大なデータを扱っている。その一部は(非常に)頻繁にアクセスされ、高い価値を持つが、大部分はアーカイブであり、時間とともに価値が下がっていく。
Facebookのストレージアプローチでは、階層化の考え方が採用されている。この構造では、古いデータはHDDに移し、必要とされる場合に備えてそこにとどまり、ほとんど電力を消費しない。
こうした階層化は、サービスのパフォーマンスに影響を与えることなく、消費電力と、アーカイブコンテンツに必要なストレージ容量を低減する。
コールドストレージ施設の冷却のキモ
Facebookのコールドストレージ施設のストレージラックは、一般的なHDDに対応したOCPの設計に基づいている。
コールドストレージに保存されるデータは頻繁にアクセスされるわけではないため、コールドストレージ施設の冷却コストは、メインのデータセンター施設に比べると、はるかに低い。そこでFacebookは、コールドストレージ施設のコールドアイルの温度を、もともと暖かい同社の通常のデータセンター施設のコールドアイルと比べても、さらに少し高温に保っている。また、コールドストレージ施設の冷却では、フルスケールのデータセンター冷却システムを実装するのではなく、コンパクトなモジュラーアプローチを取っている。
この冷却設計では、フォレストシティのメイン施設で稼働している冷却システムが踏襲されており、二重床もコンプレッサも使用されていない。外気が取り込まれ、フィルタを通って汚染物質が除去されてから、コールドアイルに勢いよく送り込まれるようになっている。
コラボレーションと効率が生み出すFacebook環境
Facebookは、米東海岸に位置するノースカロライナのデータセンターに西海岸カリフォルニアの楽しいスタイルを少しばかり持ち込んだが、技術的なニーズは見失ってはいない。
Facebookのデータセンターでは、IT担当者と施設担当者の部門横断的な連携に加え、インフラの安定性と修復の容易さが追求されている。OCPサーバは、ほとんど工具を使わずにラックから取り外し、故障部品を交換できる。さらに、技術者はメンテナンスや修理、入れ替えのために個々のサーバをネットワークから切り離す際、ワークロードをそのハードウェアから手動で移動する必要がない。
また、オフィススペースにはちょっとした面白い趣向も凝らされている。レゴルームなどがあり、外は湿っぽい空気のノースカロライナだが、室内はシリコンバレーを思わせるかもしれない。
PUEダッシュボードの数字はウソをつかない
グリーンコンピューティングが注目を集め、エネルギーコストが上昇する中、電力使用効率(PUE:Power Usage Efficiency)と水使用効率(WUE:Water Usage Effectiveness)を管理指標としているデータセンター運用者が増えている。しかし、これらのデータを公開している例はごく少ない。
Facebookは、フォレストシティのデータセンターにおけるPUEとWUEのリアルタイム値と過去12カ月の平均値に加え、外気の温度と湿度を表示するダッシュボードを公開している。慎重な立地選定、革新的な冷却システム設計、ビル管理とITの高度な統合、効率の高いサーバを組み合わせることで、Facebookは、平均で1.10を下回るPUEと同0.50リットル/キロワット時を下回るWUEを実現している。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
市場調査・トレンド
数百万台規模のデータで判明、企業のIT環境に潜む「見えない課題」とは -
製品資料
クラウド開発環境で高まる運用の課題、選定において重要な判断軸とは? -
製品資料
Oracle DatabaseをAI活用基盤へ、クラウド移行を阻む4つの課題と解決策 -
市場調査・トレンド
数百万台規模のデータで判明、企業のIT環境に潜む「見えない課題」とは -
製品資料
サーバ高密度化を阻む「見えない配線問題」 UTPやDACの限界を超える選択肢は?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
Microsoft製品でここまで自動化できる 情シスがやめられる手作業10選
-
2
ISMSの“コンサル丸投げ”が招く数千万円の無駄 NTTドコモビジネスの脱出劇
-
3
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
4
「企業内サーバ環境の利用実態」に関するアンケート
-
5
Netflixのバックエンドは「ほぼJava」 3000超のアプリを支える開発基盤の裏側
-
6
「法人PCの導入」に関するアンケート
-
7
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
8
オフィスに残る「1500万回線」の時限爆弾 迫る銅線廃止に情シスが打つべき棚卸しとROI
-
9
Googleの「Fairwind」始動 脆弱性の発見から修正までAIが数分で完結
-
10
「OSの選定・導入」に関するアンケート
ホワイトペーパーランキング PR
-
1
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
2
財務・会計はAI活用でどう変わる? 調査で見えた変革の道筋
-
3
AIが「わざわざ使うツール」になっていない? 業務で自然に使う導線にする秘訣
-
4
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは?
-
5
「脱Excel」か「Excel快適化」か? 現場にやさしい業務改善の進め方
-
6
「結局、一部の人しか使わない」 AI活用が業務に定着しない根本的な理由
-
7
コスト分析で見る「デバイス復旧」の代償 損失額から導きだされた投資戦略とは
-
8
Macの安全神話は崩壊? 最新の脅威動向から見えた攻撃のトレンドと有効な対策
-
9
ゼロトラストにおける「IDaaSの課題」と補完すべき重要機能とは?
-
10
情報セキュリティ対策早分かりガイド:25の自社診断で弱点と解決策を理解
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー