ビッグデータを分析するための方法が、「データセンターでこの10年間行われてきた仮想化やコンソリデーションの手法とは相入れない」と気付くことになるはずだ。

仮想化時代にありながら専用ハードウェアを求めるApache Hadoop

　一般に、ビッグデータアナリティクスでは、ストレージとコンピューティングパワーを多数のノードに展開するインフラが必要になる。複雑なクエリに対してほぼ瞬時に答えを返すためだ。

　ビッグデータアナリティクスで最もよく使われるプラットフォームは、オープンソースのApache Hadoopだ。このプラットフォームはHDFS（Hadoop Distributed File System）を使ってストレージを管理する。NoSQLやCassandraなどの分散データベースも、ビッグデータプロジェクトでよく採用されている。

　だが、これらは比較的新しい技術であり、そのために成熟度に問題がある。米Evaluator Groupのシニアパートナー、ジョン・ウェブスター氏は、「例えばHDFSは、アーカイブ、バックアップ、スナップショット、高可用性といったストレージ管理者にとって当たり前の機能をネイティブにサポートしていない」と指摘する。

　「経験豊富なHadoopユーザーは、ソーシャルメディア企業で働いていることが多い。彼らはHadoopの運用において、『ストレージは単純な機能しか提供しないダムディスクである』という考え方に立ってノードを作成し、そこで大量のI/Oを高速に処理している。過去20年間に開発されたストレージのインテリジェント機能など、全く存在していないかのように考えている」

　さらにウェブスター氏は、「彼らは規制コンプライアンスについても『忘れよう』というスタンスだ。例えば、ファイルをロックダウンする方法もないと考えている」と付け加える。

　また、Hadoopは通常、物理サーバのクラスタ上で運用され、そこではストレージネットワークとコンピュータネットワークが同一になっている。このため、企業のストレージやインフラの担当者は、Hadoop用の物理インフラを別個に管理しなければならないことが多い。

　自動車メーカー、マツダの米開発拠点、Mazda North Americaでは、サーバの90％が仮想化されており、インフラアーキテクトのバリー・ブレークリー氏は、この比率の向上に取り組んでいる。しかしその一方で、Mazdaのビジネス部門の少なくとも1つが、BI（ビジネスインテリジェンス）ソフトウェアプロバイダー、米QlikTechの「QlikView」か、独SAPの「BusinessObjects」、あるいはその両方を使ったビッグデータプロジェクトを検討中だ。こうしたプロジェクトの多くでは、物理サーバとそれらに直結したローカルストレージが必要になる。

　「私は仮想化を進めているが、このプロジェクトでは物理サーバを用意することになり、これは管理上の問題になる。異なる環境とデータのサイロがあると、ダッシュボードが多くなる。われわれ担当者の人数は非常に少ないため、異なる機器上の全てを管理するのは難しい」（バリー・ブレークリー氏）

HDFSの可用性の問題をどう解決するか

　こうした問題の解決を目指すプロジェクトが進められている。その代表格が、米VMwareの後押しを受ける「Project Serengeti」だ。これはHadoopと同じく、Apache Software Foundationのオープンソースプロジェクトだ。最新版の「Serengeti 0.8」が2013年4月にリリースされている。

　Project Serengetiの目的は、「ハードウェアやソフトウェアを追加購入することなく、空いているマシンサイクルを使って、標準化されたApache Hadoopクラスタを既存の仮想プラットフォーム上で迅速に展開することを可能にする」「自由にダウンロードできる製品を開発する」ことだと、VMwareのブログ投稿には記されている。

　この「仮想Hadoopクラスタ」は、連続稼働の実現を目的としたVMwareのネイティブな高可用性機能とフォールトトレランス機能を利用でき、HDFSネームノードなどの基幹コンポーネントを保護するものだという。HDFSネームノードは、HDFS内の全てのファイルを追跡するノードであり、単一障害点となっている。ネームノードの高可用性はHadoopではまだネイティブに提供されていないためだ。このことは、企業のインフラ管理者、特に耐障害性を重視するストレージ担当者にとって大きな頭痛の種となっている。

　これを受けて、米Symantecや米Red Hatは、HDFSに代わるスケールアウト型ファイルシステムとして、それぞれ「Clustered File System」「Gluster File System」を提唱している。より成熟度の高いこれらのファイルシステムは、スナップショットや高可用性のような機能を提供する。

　自社製品とHDFSのネイティブな統合により、HDFSの可用性の問題を解決したと主張しているストレージベンダーもある。米EMCの「EMC IsilonスケールアウトNAS」だ。EMCのIsilonはHDFSが統合されているため、HDFSの単一障害点を解消するだけでなく、DAS（Direct Attached Storage）上に構築された物理クラスタと比べて、ビルトインデータ保護、高いストレージ効率、優れたパフォーマンスをHadoopユーザーに提供すると強調している。

　前出のメディカルセンターBIDMCでは、Isilonストレージを使った臨床診療へのビッグデータアナリティクスの活用を模索している。別の目的でIsilonハードウェアを購入済みだったからだ。

　「私がIsilonのインフラを使いたいのは、こうした取り組みのためのお試しキットではなく、専用の製品であり、非常に有用だからだ」とBIDMCのパース氏は語る。「既にIsilon製品を運用していたら、独自のディスクを搭載し、故障率が高い汎用的な製品を欲しがる理由があるだろうか」

　少なくとも、Isilonストレージの利用はBIDMCの計画に沿っている。しかし現在、BIDMCは臨床診療で、米MicrosoftのSQL ServerとHadoopを統合した「HDInsight」も試用中だ。このソフトウェアは別の物理クラスタ上で動作している。このため、ビッグデータをBIDMCのITプラクティスに統合する上では、ストレージの集中化が課題となっているが、「課題はそれだけではない」とパース氏は説明する。Microsoftは、まだActive DirectoryとHDInsightを完全に統合しておらず、 BIDMCはこの統合を待ってから、ビッグデータの取り組みを発展させる計画だからだ。

　「われわれはビッグデータの使い方と、われわれにとってのビッグデータの意味を理解し始めたばかりだ。次はインフラの観点から、ビッグデータをどのような形でサポートするのが最適かを見極めようとしている」（パース氏）