ビッグデータ分析基盤の構築事例(後編)
Wikipediaのビッグデータ分析を支えるITインフラ
多くの企業がビッグデータ分析のためにデータセンターインフラの見直しを進めている。その中には、新しいデータ分析プロジェクトを進めるに当たり、既存のインフラを見直したWikimedia Foundationも含まれている。
前回の「ビッグデータ分析に必要な性能を満たすインフラの条件とは?」に続き、ビッグデータの分析基盤を構築した企業を紹介する。ビッグデータが大規模な検索エンジンや巨大なソーシャルネットワークというルーツから離れて新たな展開を見せるのに伴い、多くの企業でビッグデータを支えるデータセンターインフラを見直す必要に迫られている。
ビッグデータの浸透効果:eHarmony
オンラインデートサイトの米eHarmonyでは、会員同士の出会いを支援するのに「Apache Hadoop」(以下、Hadoop)を利用している。ベースとなるデータ量は64Tバイトと比較的少ないものの、これに対応するために斬新なサーバインフラを追加したという。
eHarmonyは2011年6月まで、米Amazonのクラウドサービスである「Elastic MapReduc」上でHadoopを運用していたが、毎月の利用料金が高額になったために、再び社内のデータセンターで運用することにした。
しかしeHarmonyはHadoopを社内に戻すに当たり、CPUに大きな負荷を与えるワークロードを処理するための電力・冷却要件(256台のデュアルコアサーバのファームを運用)に対処する必要があったという。x86ベースの「Intel Xeon」サーバでは、電力と冷却に掛かるコストが膨大な金額になる可能性があった。
このため、eHarmonyは米新興企業のSeaMicroのマイクロサーバを選択した。この製品は、512個のコアを1台の10Uサイズのアプライアンスに組み込んだもので、Hadoop環境全体で3.5キロワットの電力しか消費しない(関連記事:400ドル以下で静音・省電力 マイクロサーバのススメ)。
「当社は基本的にデュアルソケットのXeonプロセッサ搭載サーバを運用している。この場合、3キロワットで運用できるのは最大で80コアだ」とeHarmonyの技術運用担当副社長ラム・レディー氏は話す。「つまり、消費電力という点では5倍くらい効率的だということだ」
とはいえ、無名に近い企業の製品をビジネスの基幹部分に採用するというのは容易なことではなく、eHarmonyはAmazon Elastic MapReduceを一気に手放したわけではない。
「SeaMicroの信頼性と性能が確認できるまでは両方を運用していた」とレディー氏は語る。
AncestryとWikimedia:新たな地殻変動
一方、Webベースの家系図サイトの米Ancestryによると、ビッグデータ分析には通常のデータストレージとは異なるアプローチが必要だという。同社は約5Pバイト(5000Tバイト)のデータをNAS(Network Attached Storage)ファームの「EMC Isilon」に保存している。その多くは、歴史的文書や画像などの非構造型データで、これらのデータはディザスタリカバリ用の2次サイトにミラーリングされている。
しかしAncestryでストレージシステムを担当するシニアマネジャーのトラビス・スミス氏によると、同社が数カ月前に、サイト上でのユーザーの動向を分析するためにHadoopをベースとしたビッグデータプロジェクトを開始したとき、「安価ながらも本格的」なDirect Attached Storage(DAS)を備えた米Hewlett-Packard(HP)のサーバクラスタを別個に立ち上げた。ストレージの容量は100Tバイト弱だったという。
Wikipediaを運営する米Wikimedia Foundationも、計画中のビッグデータ分析プロジェクトでデータセンターの移行を検討している。同社では、1カ月当たり約10万人から9万人に減少したサイトの記事作成者および編集者の数を増やすことを目的とした新しいデータ分析プロジェクト用にNoSQLのテストを準備中だ。
「女性よりも男性の寄稿者と編集者の数の方が多いのだが、その理由を探り、女性編集者にアピールする方法を考える必要がある」とWikimediaの技術運用ディレクター、CT・ウー氏は話す(関連記事:ビッグデータ活用の成功を左右するのは「人」──米調査会社)。
Wikipediaのデータは文字が中心であり、画像などのマルチメディアデータを含めると、サイト全体は約18Tバイトのデータで構成され、約700台の物理サーバからアクセスされる。
膨大なトラフィックを引き付けるWikipediaは世界の5大Web資産の1つであり、幾つかの変数に基づいてそのトラフィックを分析するには、フロリダ州タンパにある既存のデータセンターに少なくともラック1架分のサーバを新たに追加する必要があるという。
問題は、このデータセンターに電力と冷却の設備を追加するスペースがないことだ。このため、Wikimediaはビッグデータの運用をバージニア州アシュバーンにある新しいデータセンターに移行しなくてはならない可能性がある。ウー氏によると、少人数のスタッフにとって、これは大仕事になりそうだという。
「データセンターの移行に失敗は許されない。下手をするとかえって仕事が増えてしまう。これは時間のかかる作業だ」(同氏)
ビッグデータとは何か
ビッグデータは単にデータが増えた状態を指すのでもなければ、単一の技術を意味するのでもない。Hadoopなどの分散型分析プラットフォームや、NoSQLあるいはCassandraなどの分散型データベースがビッグデータと関連付けられることが多いが、ビッグデータとは本来、大量のデータセットを素早く分解し、複雑な決定を(多くの場合、リアルタイムで)下すことを可能にするプロセスと技術の集合を意味する。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
新着ホワイトペーパー PR
-
事例
[株式会社キーエンス] PCが苦手でも自動化できる ポポラマーマなど4事例に学ぶ「ナビ搭載型RPA」活用 -
製品資料
[株式会社クレオ] IT部門を“価値創造組織”へ転換 IT管理プロセスの改革で戦略的リソースを確保 -
製品資料
[株式会社クレオ] Excel管理が限界に――ITサービス管理の脱・属人化と運用高度化を実現する方法 -
製品資料
[株式会社クレオ] 西武グループやイオングループも実践 事例に学ぶ「ITサービスデスク業務」改善 -
製品レビュー
[株式会社クレオ] 「使われないITシステム」から脱却 現場が求める業務改善を実現する方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「Gemini 4 Argon」は出遅れたのか? Googleが狙う“逆転のシナリオ”
-
2
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
3
ChatGPTは“検索しまくり”でGeminiは“淡泊”? データが明かすAIの裏側
-
4
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
5
「レガシーシステム・老朽化システムの運用課題と刷新」に関するアンケート
-
6
年収が増えても幸せになれない 給与増でエンジニアが直面する「幸福度の壁」
-
7
1回で分かる:仮想マシンを丸ごとバックアップする「VADP」の仕組み
-
8
生成AIが普及しても「技術書」を手放せないエンジニアの本音
-
9
「Windows」の不要なファイルを安全に消して容量を空ける方法
-
10
世界PC出荷数が20%急減 情シスを直撃するPC先行調達の反動と価格高騰
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険? 避けるべき理由と具体的な対策
-
3
システムの保守がモダン化を阻む? 「変えない判断」から脱却する方法とは
-
4
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
5
プログラミング不要で誰でも実現できる、ネットワーク運用管理の自動化とは
-
6
なぜRPA導入は頓挫する? シナリオ作成の壁を乗り越える解決策とは
-
7
東大教授と考える、AI時代の「データ主権」「信頼性」「ガバナンス」の在り方
-
8
Linux初心者でも知らないとまずい「RHEL」「SLES」の違いとは?
-
9
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
10
ランサムウェア攻撃“究極の対策”はこれだ
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー