数十万台のサーバが稼働中
潜入! 写真で分かる「Facebook」の巨大データセンター
米ノースカロライナ州にあるFacebookの巨大データセンターに潜入。独自仕様で開発されたサーバやストレージを見た。写真とともに紹介しよう。
米Facebookは米国とスウェーデンに設置したデータセンターで、同社が主導する「Open Compute Project」(OCP)の仕様に基づく数十万台ものサーバをホストしている。米ノースカロライナ州フォレストシティにある各データセンター施設でそれぞれ数万台が稼働中だ。
本稿ではフォレストシティのデータセンター内の写真とともに、OCP仕様のサーバおよびストレージや、同社が設計した冷却システムなどについて見ていこう。
Facebookサーバの特徴
Facebookは自社のデータセンターでOCP仕様のハードウェアを運用している。OCPは、サーバやネットワークスイッチといったデータセンターコンポーネントについて、カスタマイズせずに利用できるようにすることを目指している。
OCPサーバは、取り外しが簡単な標準化されたモジュラーコンポーネントから成る。それぞれのコストは可能な限り安く抑えられているが、これは、「コモディティを大量に使用することで極めて高い効率を実現する」というアプローチによるものだ。
熱や湿度を物ともしないOCPサーバ
余分なものが削ぎ落とされたOCPサーバは、過酷なデータセンター環境に耐えられる。回路基板とコンポーネントの上を空気が流れやすいことから、冷却ファンに掛かる電力は少ない。
Facebookは、ラックにOCPサーバを高密度に設置し、Webトラフィックからデータベースまで多種多様なワークロードをホストしている。コールドアイル(冷気通路)の平均温度は28.3度で、ホットアイル(暖気通路)の温度は48.9度に達することもある。
冷却サイクルはホットアイルで完了
各アイルに数千台のサーバが並ぶハイパースケールデータセンター内を歩くと、騒音がかなり大きいのではと思われるだろう。しかし、フォレストシティのデータセンターは比較的静かで、暖かく、湿度が高い。
サーバを冷却するための二重床や機械式空調設備は見当たらない。代わりに、外気を取り入れてフィルタに通し、ラックの前面に勢いよく送り込むように建物が設計されている。Facebookのサーバは空気を密閉ホットアイルに排出する。ホットアイルは温度が48.9度にも達し、データセンターフロアで最もうるさい。サーバの熱で空気の除湿が自然に行われることから、同社は、ホットアイルの空気を回収してリサイクルするように建物を設計した。
グリーン設計で環境対策
Facebookは地域貢献活動の一環としてデータセンターのグリーン化に力を入れていて、施設外の敷地にも緑をふんだんに残した。どのデータセンターや企業でもまねできる取り組みだ。
Facebookはサーバの過冷却や電力の浪費を避けるため、現地の自然気流を利用できるようにフォレストシティのキャンパスを設計している。人感センサーによる照明制御など、環境に配慮した工夫も施されている。
グリーン設計が適用されたのは、データセンターの施設内だけではない。約3万3000平方メートルのメインビルディングと、Facebookがアーカイブデータを保存している約8400平方メートルのコールドストレージ(アクセス頻度が低いデータのストレージ)施設の間の敷地は、希少な植物の生育地として維持されている。
Facebookの地域貢献活動には、省電力や環境対策の取り組みに加え、学童向けの美術コンテストの開催、現地のコミュニティーカレッジと連携したインターンシッププログラムなどがある。
ビッグデータの負荷を軽減するストレージ戦略
Facebookはアーカイブストレージを2つの施設で管理している。フォレストシティのデータセンターは、そのうちの1つだ。
Facebookは当然ながら膨大なデータを扱っている。その一部は(非常に)頻繁にアクセスされ、高い価値を持つが、大部分はアーカイブであり、時間とともに価値が下がっていく。
Facebookのストレージアプローチでは、階層化の考え方が採用されている。この構造では、古いデータはHDDに移し、必要とされる場合に備えてそこにとどまり、ほとんど電力を消費しない。
こうした階層化は、サービスのパフォーマンスに影響を与えることなく、消費電力と、アーカイブコンテンツに必要なストレージ容量を低減する。
コールドストレージ施設の冷却のキモ
Facebookのコールドストレージ施設のストレージラックは、一般的なHDDに対応したOCPの設計に基づいている。
コールドストレージに保存されるデータは頻繁にアクセスされるわけではないため、コールドストレージ施設の冷却コストは、メインのデータセンター施設に比べると、はるかに低い。そこでFacebookは、コールドストレージ施設のコールドアイルの温度を、もともと暖かい同社の通常のデータセンター施設のコールドアイルと比べても、さらに少し高温に保っている。また、コールドストレージ施設の冷却では、フルスケールのデータセンター冷却システムを実装するのではなく、コンパクトなモジュラーアプローチを取っている。
この冷却設計では、フォレストシティのメイン施設で稼働している冷却システムが踏襲されており、二重床もコンプレッサも使用されていない。外気が取り込まれ、フィルタを通って汚染物質が除去されてから、コールドアイルに勢いよく送り込まれるようになっている。
コラボレーションと効率が生み出すFacebook環境
Facebookは、米東海岸に位置するノースカロライナのデータセンターに西海岸カリフォルニアの楽しいスタイルを少しばかり持ち込んだが、技術的なニーズは見失ってはいない。
Facebookのデータセンターでは、IT担当者と施設担当者の部門横断的な連携に加え、インフラの安定性と修復の容易さが追求されている。OCPサーバは、ほとんど工具を使わずにラックから取り外し、故障部品を交換できる。さらに、技術者はメンテナンスや修理、入れ替えのために個々のサーバをネットワークから切り離す際、ワークロードをそのハードウェアから手動で移動する必要がない。
また、オフィススペースにはちょっとした面白い趣向も凝らされている。レゴルームなどがあり、外は湿っぽい空気のノースカロライナだが、室内はシリコンバレーを思わせるかもしれない。
PUEダッシュボードの数字はウソをつかない
グリーンコンピューティングが注目を集め、エネルギーコストが上昇する中、電力使用効率(PUE:Power Usage Efficiency)と水使用効率(WUE:Water Usage Effectiveness)を管理指標としているデータセンター運用者が増えている。しかし、これらのデータを公開している例はごく少ない。
Facebookは、フォレストシティのデータセンターにおけるPUEとWUEのリアルタイム値と過去12カ月の平均値に加え、外気の温度と湿度を表示するダッシュボードを公開している。慎重な立地選定、革新的な冷却システム設計、ビル管理とITの高度な統合、効率の高いサーバを組み合わせることで、Facebookは、平均で1.10を下回るPUEと同0.50リットル/キロワット時を下回るWUEを実現している。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[ゾーホージャパン株式会社] サイバー攻撃からネットワークを守る上で確実に押さえておきたいポイントとは? -
事例
[アルプス システム インテグレーション株式会社] 中小企業でも安心して活用できる「手ごろなSOCサービス」とは? -
製品資料
[株式会社シーイーシー] 脱VMwareに成功した企業は何をどう実践した? 事例に学ぶ戦略立案&実装のコツ -
製品資料
[株式会社オービックビジネスコンサルタント] ランサムウェア攻撃を“二重の防御構造”で防ぐ、クラウド型基幹システムの実力 -
製品資料
[株式会社オービックビジネスコンサルタント] 動画で知るランサムウェア被害企業のリアル、会計データが無事だった理由とは
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
損保ジャパンはなぜ「COBOL」を捨てなかったのか? 脱メインフレームの真相
-
2
鹿島建設のDXを阻む「10年前のAWS」 安全性と自由度を両立したモダナイズ
-
3
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
4
1200万円のSaaS導入を回避 スギ薬局「運用費10万円」のAIエージェント構築術
-
5
慶應義塾が「Notion」を選んだ理由 AI導入の盲点になる“情報のサイロ化”
-
6
「ノートPC派」は損をしている? Dellと考える“自作PC”のメリット
-
7
IT製品の導入に関するアンケート「PC&デバイス」編
-
8
年収700万超エンジニアに共通するスキルと「もっと勉強すべきだった分野」
-
9
LINEヤフーはなぜ「社内の管理者」すら信用しないインフラを作ったのか
-
10
生データを隠してデータ連携 KDDIが4000万人の顧客情報を安全に分析できた理由
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
2
DX/AI投資の壁を突破、現代の最高財務責任者が直面する課題と克服のヒント
-
3
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
4
LLMが兵器化? 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
5
システムの保守がモダン化を阻む? 「変えない判断」から脱却する方法とは
-
6
生成AIを開発に導入しても効果が見えない? 実証実験で分かった成果と課題
-
7
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
8
“あのファイル転送”で暗躍するノーウェアランサム
-
9
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー