「Hadoopはデータをマッピングしてクラスタ内のコンピュータノードに保存し、クラスタに転送されるデータの量を減らしている。これまでのITインフラは孤立していて非常に垂直的で、ビッグデータには不釣り合いなアーキテクチャを使っていた」

ビッグデータのためのサーバファーム

　Hadoopは「Hadoop Filing System（HDFS）」というファイルシステムを通じてデータをブロックと呼ばれる小さな断片に分割する。こうしたクラスタは、ネットワークに相当な負荷を与える。IBMによれば、SANやNASを使ったHadoopの導入では、特に大規模クラスタの場合、ネットワーク通信の過剰なオーバーヘッドのためにパフォーマンスに支障が出ることもある。従って、SANやNASベースのストレージは問題外だ。

　Ovumの首席アナリスト、トニー・ベア氏は、Hadoopのパフォーマンス強化とエンタープライズ対応強化に目を向けてきた。

　Hadoopはエンタープライズグレードのディスクドライブではなく、多数の低価格ディスクに依存しているという性質上、ディスクメーカーが公表している平均故障間隔といった要素が重要になる。

　2010年の時点で最大規模のHadoopを導入していたFacebookのデータベースは30Pバイトだった。現在ではストレージ用に1Tバイトのドライブ3万個の利用を検討している。話を簡単にするために、インストールは一度にまとめて行うと仮定する。一般的なドライブの平均故障間隔（MBFT）が30万時間だとすると、1年間の稼働時間はそれぞれ8766時間。30Pバイトのストレージシステムの1年間の稼働時間を合わせると2億6300万時間（8766×3万）となる。つまり、1年間に故障するドライブは877個、1日当たりでは2.4個になる計算だ。

　幸いなことに、HDFSには冗長機能が内蔵されているため、ディスクの故障が起きてもデータが失われることはない。ただ、故障したドライブを突き止めて交換しなければならない技術者には、たとえそれが定期的なメンテナンスの一環になるとしても、やや気の毒だ。

　しかし、冗長機能はあったとしても、ベア氏の最新報告書「Big Data Storage in Hadoop」によれば、成熟した商用のファイルおよびデータストレージのサブシステムが提供している多くのデータ保護機能やセキュリティ、アクセスおよびパフォーマンス最適化機能が、HDFSには欠如しているという。こうした機能の多くは、既存のHadoop分析処理パターンにとって不可欠なものではない。だが、「ビッグデータ分析は動く標的であり、Hadoopプラットフォームがエンタープライズ分析プラットフォームとして受け入れられるためには、例えばスナップショットのサポートなど、より成熟したファイルやストレージシステムが現在提供している機能を取り入れる必要があるかもしれない」とベア氏は述べている。

高速データ

　Hadoopはバッチベースであることから、実世界のビッグデータを処理することはできない。GEのソフトウェアセンター担当副社長、ビル・ルー氏はこの問題について、「重機のセンサーネットワークで生成されるデータの量は驚異的だ。Twitterのリアルタイムフィードの量が1日分で80Gバイトなのに対し、風力発電用タービンではブレード1枚のセンサーで1日当たり520Gバイトのデータを生成し、それが20台ある」と説明する。

　こうしたセンサーがリアルタイムで生成するビッグデータのおかげで、GEは風力発電所の各タービンのブレードについて効率性を管理できている。ブレードのパフォーマンスを左右するのは天候だけでなく、前にあるタービンが発生させる乱気流にも影響される。GEはビッグデータ処理の一部に対応するため自前のソフトウェアを開発する一方で、Hadoopも使っている。

　Gartnerのザング氏は、HDDがパフォーマンスのボトルネックになると予想し、「最もホットなトレンドはSSDを利用して、HDDを取り除くことだ」と説明する。

　同氏によると、HadoopはSSDとHDDを混在させる設定が可能で、「ディスクアレイの中の全データが常にアクセスされるわけではない。特定の瞬間において本当に大切なデータはそれほど大きなデータセットではない。このホットデータには高速アクセスする必要があるので、SSDに移行すればいい」。従来型のディスクティアリングと同様に、履歴的なデータは値段が安いHDDに割り当てられる。

　主要サプライヤーはまた、垂直統合型のアプライアンスやSAP HANAのようなインメモリデータベースを通じて、ビッグデータ分析のリアルタイムの局面にも対応している。Quocircaの創設者クライブ・ロングボトム氏は、「IBMのPureDataやOracleのExadata、Teradataといった新システムは、大量のデータにリアルタイムで対応するよう設計されたソリューションを提供している」と話す。

成長に追い付くための投資

　マンディール・ギッダ氏は、グローバル双方向デジタル広告会社Razorfishの英国の技術ディレクターを務める。同社は設立時、「Atlas」というサービスを運用するために、複雑なデータセンターインフラを構築した。同サービスではブラウザ上の1つのcookieとJavaScriptを使って、ユーザーが閲覧したサイトや買い物かごに入れた商品、ネットで購入する予定の商品を広告会社がチェックできる。

　しかし、コンシューマーがマルチチャネルの電子商取引に移行し、それに伴ってソーシャルデータが増大する中で、自社のインフラでは対応できなくなるという課題に直面したという。

　「われわれはAtlasで最大級のデータセンターを持ちながら、顧客の締切への対応に苦慮していた」とギッダ氏は打ち明ける。

　同社はアップグレードのために50万ポンドの投資を必要とした。ギッダ氏によると、3カ月後にはデータの増大に追い付くためだけに、さらに50万ポンドの追加投資が必要になりそうな状況だったという。

　「1つの企業ほどの規模のIT部門が必要だった」（ギッダ氏）

　Razorfishは2009年、Amazonへの移行を決断した。「われわれはAmazonのElastic MapReduceと、1日500GバイトのアップロードができるCascadingを利用している」とギッダ氏。これは1日当たり1兆のインプレッションとクリックおよびアクションに相当する。これだけの量のデータを同社の古いインフラで処理するのにかつては3日を要していたが、「今では4時間で済む」という。

　ただ、クラウドベースのビッグデータ処理は、どんな企業にも適しているわけではない。GEのルー氏は「現在の形のクラウドコンピューティングは、GEでのマシン・ツー・マシン（M2M）インタラクションに完全に適しているとはいえない。待ち時間が生じるために、マシン上で実行する処理が増えている」と話す。

　この技術はインメモリデータベースシステムがベースになっている。同データベースは極端に規模が大きいことから、GEはNoSQLとHadoopを使っているという。

　「時系列分析用には独自のデータベースも開発した」とルー氏。一方でGEは、クラウドへの処理負担軽減の方法を探るため、Windows AzureやAmazon Web Servicesとも連携しているという。