ビッグデータ分析基盤の構築事例(後編)
Wikipediaのビッグデータ分析を支えるITインフラ
多くの企業がビッグデータ分析のためにデータセンターインフラの見直しを進めている。その中には、新しいデータ分析プロジェクトを進めるに当たり、既存のインフラを見直したWikimedia Foundationも含まれている。
前回の「ビッグデータ分析に必要な性能を満たすインフラの条件とは?」に続き、ビッグデータの分析基盤を構築した企業を紹介する。ビッグデータが大規模な検索エンジンや巨大なソーシャルネットワークというルーツから離れて新たな展開を見せるのに伴い、多くの企業でビッグデータを支えるデータセンターインフラを見直す必要に迫られている。
ビッグデータの浸透効果:eHarmony
オンラインデートサイトの米eHarmonyでは、会員同士の出会いを支援するのに「Apache Hadoop」(以下、Hadoop)を利用している。ベースとなるデータ量は64Tバイトと比較的少ないものの、これに対応するために斬新なサーバインフラを追加したという。
eHarmonyは2011年6月まで、米Amazonのクラウドサービスである「Elastic MapReduc」上でHadoopを運用していたが、毎月の利用料金が高額になったために、再び社内のデータセンターで運用することにした。
しかしeHarmonyはHadoopを社内に戻すに当たり、CPUに大きな負荷を与えるワークロードを処理するための電力・冷却要件(256台のデュアルコアサーバのファームを運用)に対処する必要があったという。x86ベースの「Intel Xeon」サーバでは、電力と冷却に掛かるコストが膨大な金額になる可能性があった。
このため、eHarmonyは米新興企業のSeaMicroのマイクロサーバを選択した。この製品は、512個のコアを1台の10Uサイズのアプライアンスに組み込んだもので、Hadoop環境全体で3.5キロワットの電力しか消費しない(関連記事:400ドル以下で静音・省電力 マイクロサーバのススメ)。
「当社は基本的にデュアルソケットのXeonプロセッサ搭載サーバを運用している。この場合、3キロワットで運用できるのは最大で80コアだ」とeHarmonyの技術運用担当副社長ラム・レディー氏は話す。「つまり、消費電力という点では5倍くらい効率的だということだ」
とはいえ、無名に近い企業の製品をビジネスの基幹部分に採用するというのは容易なことではなく、eHarmonyはAmazon Elastic MapReduceを一気に手放したわけではない。
「SeaMicroの信頼性と性能が確認できるまでは両方を運用していた」とレディー氏は語る。
AncestryとWikimedia:新たな地殻変動
一方、Webベースの家系図サイトの米Ancestryによると、ビッグデータ分析には通常のデータストレージとは異なるアプローチが必要だという。同社は約5Pバイト(5000Tバイト)のデータをNAS(Network Attached Storage)ファームの「EMC Isilon」に保存している。その多くは、歴史的文書や画像などの非構造型データで、これらのデータはディザスタリカバリ用の2次サイトにミラーリングされている。
しかしAncestryでストレージシステムを担当するシニアマネジャーのトラビス・スミス氏によると、同社が数カ月前に、サイト上でのユーザーの動向を分析するためにHadoopをベースとしたビッグデータプロジェクトを開始したとき、「安価ながらも本格的」なDirect Attached Storage(DAS)を備えた米Hewlett-Packard(HP)のサーバクラスタを別個に立ち上げた。ストレージの容量は100Tバイト弱だったという。
Wikipediaを運営する米Wikimedia Foundationも、計画中のビッグデータ分析プロジェクトでデータセンターの移行を検討している。同社では、1カ月当たり約10万人から9万人に減少したサイトの記事作成者および編集者の数を増やすことを目的とした新しいデータ分析プロジェクト用にNoSQLのテストを準備中だ。
「女性よりも男性の寄稿者と編集者の数の方が多いのだが、その理由を探り、女性編集者にアピールする方法を考える必要がある」とWikimediaの技術運用ディレクター、CT・ウー氏は話す(関連記事:ビッグデータ活用の成功を左右するのは「人」──米調査会社)。
Wikipediaのデータは文字が中心であり、画像などのマルチメディアデータを含めると、サイト全体は約18Tバイトのデータで構成され、約700台の物理サーバからアクセスされる。
膨大なトラフィックを引き付けるWikipediaは世界の5大Web資産の1つであり、幾つかの変数に基づいてそのトラフィックを分析するには、フロリダ州タンパにある既存のデータセンターに少なくともラック1架分のサーバを新たに追加する必要があるという。
問題は、このデータセンターに電力と冷却の設備を追加するスペースがないことだ。このため、Wikimediaはビッグデータの運用をバージニア州アシュバーンにある新しいデータセンターに移行しなくてはならない可能性がある。ウー氏によると、少人数のスタッフにとって、これは大仕事になりそうだという。
「データセンターの移行に失敗は許されない。下手をするとかえって仕事が増えてしまう。これは時間のかかる作業だ」(同氏)
ビッグデータとは何か
ビッグデータは単にデータが増えた状態を指すのでもなければ、単一の技術を意味するのでもない。Hadoopなどの分散型分析プラットフォームや、NoSQLあるいはCassandraなどの分散型データベースがビッグデータと関連付けられることが多いが、ビッグデータとは本来、大量のデータセットを素早く分解し、複雑な決定を(多くの場合、リアルタイムで)下すことを可能にするプロセスと技術の集合を意味する。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
新着ホワイトペーパー PR
-
製品資料
[株式会社フィックスターズ] 組み込み開発特有の課題も解消できる「AI活用」の秘訣とは? -
事例
[株式会社ビザスク] 「新規事業」事例集:大手企業はどのように想定顧客ヒアリングを行っているのか -
市場調査・トレンド
[株式会社ビザスク] 質の高い「仮説検証インタビュー」を実施するためのポイント -
事例
[株式会社ビザスク] 富士フイルムの新領域参入に学ぶ事業創出 「畑違い」でもビジネス化できる方法 -
事例
[株式会社ビザスク] 三菱電機 上席執行役員に学ぶ、未来を切り開く「新事業創出」の実践方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「全社配布Copilot」は使われないのか? 失敗に学ぶAI定着
-
2
なぜ「Gemini 4 Argon」は出遅れたのか? Googleが狙う“逆転のシナリオ”
-
3
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
4
鹿島建設のDXを阻む「10年前のAWS」 安全性と自由度を両立したモダナイズ
-
5
Microsoft 365の「テナント統合・分離」問題 手戻りのない道を選ぶ秘訣とは?
-
6
損保ジャパンはなぜ「COBOL」を捨てなかったのか? 脱メインフレームの真相
-
7
「法人向けPCおよび周辺機器の利用状況」に関するアンケート
-
8
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
9
【漫画付き】ひとり情シス協会が明かす、RAG導入でしくじる企業「2つの共通点」
-
10
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化? 2026年夏の3事例から見えた動向と対処方法
-
2
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
3
家庭用Wi-Fiルーターの業務利用は危険? 避けるべき理由と具体的な対策
-
4
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
5
LLMが兵器化? 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
6
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
7
生成AIを開発に導入しても効果が見えない? 実証実験で分かった成果と課題
-
8
システムの保守がモダン化を阻む? 「変えない判断」から脱却する方法とは
-
9
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー