ビッグデータ分析基盤の構築事例(後編)
Wikipediaのビッグデータ分析を支えるITインフラ
多くの企業がビッグデータ分析のためにデータセンターインフラの見直しを進めている。その中には、新しいデータ分析プロジェクトを進めるに当たり、既存のインフラを見直したWikimedia Foundationも含まれている。
前回の「ビッグデータ分析に必要な性能を満たすインフラの条件とは?」に続き、ビッグデータの分析基盤を構築した企業を紹介する。ビッグデータが大規模な検索エンジンや巨大なソーシャルネットワークというルーツから離れて新たな展開を見せるのに伴い、多くの企業でビッグデータを支えるデータセンターインフラを見直す必要に迫られている。
ビッグデータの浸透効果:eHarmony
オンラインデートサイトの米eHarmonyでは、会員同士の出会いを支援するのに「Apache Hadoop」(以下、Hadoop)を利用している。ベースとなるデータ量は64Tバイトと比較的少ないものの、これに対応するために斬新なサーバインフラを追加したという。
eHarmonyは2011年6月まで、米Amazonのクラウドサービスである「Elastic MapReduc」上でHadoopを運用していたが、毎月の利用料金が高額になったために、再び社内のデータセンターで運用することにした。
しかしeHarmonyはHadoopを社内に戻すに当たり、CPUに大きな負荷を与えるワークロードを処理するための電力・冷却要件(256台のデュアルコアサーバのファームを運用)に対処する必要があったという。x86ベースの「Intel Xeon」サーバでは、電力と冷却に掛かるコストが膨大な金額になる可能性があった。
このため、eHarmonyは米新興企業のSeaMicroのマイクロサーバを選択した。この製品は、512個のコアを1台の10Uサイズのアプライアンスに組み込んだもので、Hadoop環境全体で3.5キロワットの電力しか消費しない(関連記事:400ドル以下で静音・省電力 マイクロサーバのススメ)。
「当社は基本的にデュアルソケットのXeonプロセッサ搭載サーバを運用している。この場合、3キロワットで運用できるのは最大で80コアだ」とeHarmonyの技術運用担当副社長ラム・レディー氏は話す。「つまり、消費電力という点では5倍くらい効率的だということだ」
とはいえ、無名に近い企業の製品をビジネスの基幹部分に採用するというのは容易なことではなく、eHarmonyはAmazon Elastic MapReduceを一気に手放したわけではない。
「SeaMicroの信頼性と性能が確認できるまでは両方を運用していた」とレディー氏は語る。
AncestryとWikimedia:新たな地殻変動
一方、Webベースの家系図サイトの米Ancestryによると、ビッグデータ分析には通常のデータストレージとは異なるアプローチが必要だという。同社は約5Pバイト(5000Tバイト)のデータをNAS(Network Attached Storage)ファームの「EMC Isilon」に保存している。その多くは、歴史的文書や画像などの非構造型データで、これらのデータはディザスタリカバリ用の2次サイトにミラーリングされている。
しかしAncestryでストレージシステムを担当するシニアマネジャーのトラビス・スミス氏によると、同社が数カ月前に、サイト上でのユーザーの動向を分析するためにHadoopをベースとしたビッグデータプロジェクトを開始したとき、「安価ながらも本格的」なDirect Attached Storage(DAS)を備えた米Hewlett-Packard(HP)のサーバクラスタを別個に立ち上げた。ストレージの容量は100Tバイト弱だったという。
Wikipediaを運営する米Wikimedia Foundationも、計画中のビッグデータ分析プロジェクトでデータセンターの移行を検討している。同社では、1カ月当たり約10万人から9万人に減少したサイトの記事作成者および編集者の数を増やすことを目的とした新しいデータ分析プロジェクト用にNoSQLのテストを準備中だ。
「女性よりも男性の寄稿者と編集者の数の方が多いのだが、その理由を探り、女性編集者にアピールする方法を考える必要がある」とWikimediaの技術運用ディレクター、CT・ウー氏は話す(関連記事:ビッグデータ活用の成功を左右するのは「人」──米調査会社)。
Wikipediaのデータは文字が中心であり、画像などのマルチメディアデータを含めると、サイト全体は約18Tバイトのデータで構成され、約700台の物理サーバからアクセスされる。
膨大なトラフィックを引き付けるWikipediaは世界の5大Web資産の1つであり、幾つかの変数に基づいてそのトラフィックを分析するには、フロリダ州タンパにある既存のデータセンターに少なくともラック1架分のサーバを新たに追加する必要があるという。
問題は、このデータセンターに電力と冷却の設備を追加するスペースがないことだ。このため、Wikimediaはビッグデータの運用をバージニア州アシュバーンにある新しいデータセンターに移行しなくてはならない可能性がある。ウー氏によると、少人数のスタッフにとって、これは大仕事になりそうだという。
「データセンターの移行に失敗は許されない。下手をするとかえって仕事が増えてしまう。これは時間のかかる作業だ」(同氏)
ビッグデータとは何か
ビッグデータは単にデータが増えた状態を指すのでもなければ、単一の技術を意味するのでもない。Hadoopなどの分散型分析プラットフォームや、NoSQLあるいはCassandraなどの分散型データベースがビッグデータと関連付けられることが多いが、ビッグデータとは本来、大量のデータセットを素早く分解し、複雑な決定を(多くの場合、リアルタイムで)下すことを可能にするプロセスと技術の集合を意味する。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Excel至上主義」の終わらせ方 丸2日の手作業地獄から情シスと現場を救うには
-
2
「Microsoft 365のセキュリティ運用」に関するアンケート
-
3
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
4
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
5
221人調査で分かった「情シス最大のストレス」は?
-
6
「Salesforceのテスト自動化ツール」に関するアンケート
-
7
「データストレージの活用方法」に関するアンケート
-
8
「AI時代の統合基盤・エンタープライズAI管理」に関するアンケート
-
9
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
10
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー