ビッグデータ分析基盤の構築事例(後編)
Wikipediaのビッグデータ分析を支えるITインフラ
多くの企業がビッグデータ分析のためにデータセンターインフラの見直しを進めている。その中には、新しいデータ分析プロジェクトを進めるに当たり、既存のインフラを見直したWikimedia Foundationも含まれている。
前回の「ビッグデータ分析に必要な性能を満たすインフラの条件とは?」に続き、ビッグデータの分析基盤を構築した企業を紹介する。ビッグデータが大規模な検索エンジンや巨大なソーシャルネットワークというルーツから離れて新たな展開を見せるのに伴い、多くの企業でビッグデータを支えるデータセンターインフラを見直す必要に迫られている。
ビッグデータの浸透効果:eHarmony
オンラインデートサイトの米eHarmonyでは、会員同士の出会いを支援するのに「Apache Hadoop」(以下、Hadoop)を利用している。ベースとなるデータ量は64Tバイトと比較的少ないものの、これに対応するために斬新なサーバインフラを追加したという。
eHarmonyは2011年6月まで、米Amazonのクラウドサービスである「Elastic MapReduc」上でHadoopを運用していたが、毎月の利用料金が高額になったために、再び社内のデータセンターで運用することにした。
しかしeHarmonyはHadoopを社内に戻すに当たり、CPUに大きな負荷を与えるワークロードを処理するための電力・冷却要件(256台のデュアルコアサーバのファームを運用)に対処する必要があったという。x86ベースの「Intel Xeon」サーバでは、電力と冷却に掛かるコストが膨大な金額になる可能性があった。
このため、eHarmonyは米新興企業のSeaMicroのマイクロサーバを選択した。この製品は、512個のコアを1台の10Uサイズのアプライアンスに組み込んだもので、Hadoop環境全体で3.5キロワットの電力しか消費しない(関連記事:400ドル以下で静音・省電力 マイクロサーバのススメ)。
「当社は基本的にデュアルソケットのXeonプロセッサ搭載サーバを運用している。この場合、3キロワットで運用できるのは最大で80コアだ」とeHarmonyの技術運用担当副社長ラム・レディー氏は話す。「つまり、消費電力という点では5倍くらい効率的だということだ」
とはいえ、無名に近い企業の製品をビジネスの基幹部分に採用するというのは容易なことではなく、eHarmonyはAmazon Elastic MapReduceを一気に手放したわけではない。
「SeaMicroの信頼性と性能が確認できるまでは両方を運用していた」とレディー氏は語る。
AncestryとWikimedia:新たな地殻変動
一方、Webベースの家系図サイトの米Ancestryによると、ビッグデータ分析には通常のデータストレージとは異なるアプローチが必要だという。同社は約5Pバイト(5000Tバイト)のデータをNAS(Network Attached Storage)ファームの「EMC Isilon」に保存している。その多くは、歴史的文書や画像などの非構造型データで、これらのデータはディザスタリカバリ用の2次サイトにミラーリングされている。
しかしAncestryでストレージシステムを担当するシニアマネジャーのトラビス・スミス氏によると、同社が数カ月前に、サイト上でのユーザーの動向を分析するためにHadoopをベースとしたビッグデータプロジェクトを開始したとき、「安価ながらも本格的」なDirect Attached Storage(DAS)を備えた米Hewlett-Packard(HP)のサーバクラスタを別個に立ち上げた。ストレージの容量は100Tバイト弱だったという。
Wikipediaを運営する米Wikimedia Foundationも、計画中のビッグデータ分析プロジェクトでデータセンターの移行を検討している。同社では、1カ月当たり約10万人から9万人に減少したサイトの記事作成者および編集者の数を増やすことを目的とした新しいデータ分析プロジェクト用にNoSQLのテストを準備中だ。
「女性よりも男性の寄稿者と編集者の数の方が多いのだが、その理由を探り、女性編集者にアピールする方法を考える必要がある」とWikimediaの技術運用ディレクター、CT・ウー氏は話す(関連記事:ビッグデータ活用の成功を左右するのは「人」──米調査会社)。
Wikipediaのデータは文字が中心であり、画像などのマルチメディアデータを含めると、サイト全体は約18Tバイトのデータで構成され、約700台の物理サーバからアクセスされる。
膨大なトラフィックを引き付けるWikipediaは世界の5大Web資産の1つであり、幾つかの変数に基づいてそのトラフィックを分析するには、フロリダ州タンパにある既存のデータセンターに少なくともラック1架分のサーバを新たに追加する必要があるという。
問題は、このデータセンターに電力と冷却の設備を追加するスペースがないことだ。このため、Wikimediaはビッグデータの運用をバージニア州アシュバーンにある新しいデータセンターに移行しなくてはならない可能性がある。ウー氏によると、少人数のスタッフにとって、これは大仕事になりそうだという。
「データセンターの移行に失敗は許されない。下手をするとかえって仕事が増えてしまう。これは時間のかかる作業だ」(同氏)
ビッグデータとは何か
ビッグデータは単にデータが増えた状態を指すのでもなければ、単一の技術を意味するのでもない。Hadoopなどの分散型分析プラットフォームや、NoSQLあるいはCassandraなどの分散型データベースがビッグデータと関連付けられることが多いが、ビッグデータとは本来、大量のデータセットを素早く分解し、複雑な決定を(多くの場合、リアルタイムで)下すことを可能にするプロセスと技術の集合を意味する。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
新着ホワイトペーパー PR
-
プレミアムコンテンツ
[アイティメディア株式会社] AI活用を成功に導く「オブジェクトストレージ」 NAS/SANの限界を突破するには -
プレミアムコンテンツ
[アイティメディア株式会社] 「性能ならSSD」「大容量ならHDD」はもう古い? 変わるストレージの常識 -
プレミアムコンテンツ
[アイティメディア株式会社] 「オンプレミス回帰」がまさかの失敗に クラウドをやめずに安くする最適化手法 -
事例
[発注ナビ株式会社] AI活用を成功させる企業とそうでない企業の違いとは? -
製品レビュー
[発注ナビ株式会社] システム開発「はじめの一歩」 押さえておきたい基礎知識と失敗を防ぐ方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
2
なぜ「WSUS」を捨てない? 非推奨でも35%が使い続けるワケ
-
3
「Microsoft 365」が乗っ取られる MFAを破る“本物の画面”の恐怖
-
4
専任者ゼロでパスキー移行 みんなの銀行が認証の「自前主義」を捨てた理由
-
5
「社用車」に関するアンケート
-
6
テレビとノートPCをつないだのに映らない――Dellが解説する正しい接続方法
-
7
Java SEに「Java4Shell」、WebLogicも修正――今朝の情シスニュース
-
8
半数がブルーカラー転向を視野に? ベテランエンジニアを追い込む“54歳の壁”
-
9
「仮想化基盤の更改とコスト最適化」に関するアンケート
-
10
「OpenJDK」の重大な脆弱性をAIが1時間で発見 “防御の遅れ”をどう防ぐ?
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365 Copilotを安全&効果的に活用するために必要な「2つの準備」
-
4
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
5
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
6
すぐ分かる「AWS WAF」ガイド:特徴・運用課題・メリットを解説
-
7
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
8
「Copilot Cowork」でこう変わる AIエージェント時代の新たな働き方とは
-
9
AI活用で激化する外部・内部リスク、取引先へ波及する脅威から守る対策とは?
-
10
「AIエージェント」は業務でどう役立つのか? 現場で進む活用例“10選”
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー