Hadoopによる分散データ処理を支えるHDFS

　Hadoopは、分散ファイルシステム「HDFS（Hadoop Distributed File System）」と、コンピュータクラスタ上で大規模データセットを分散処理するためのソフトウェアフレームワーク「MapReduce」などで構成されている。

　HDFSはHDFSクラスタから成り、各クラスタはそれぞれ1つ以上のデータノードを含んでいる。並列処理が行われるように、入力データはセグメントに分割され、データノードに分散される。さらに、各セグメントは複数のデータノードに複製される。ノードに障害が発生しても、処理を継続できるようにするためだ。

　耐障害性を高めるため、コピーは、複数のラック上にあるデータノードに配置される。デフォルトでは複製は3回行われ、セグメントの2つのコピーは同じラック上のノードに配置され、もう1つのコピーは別のラック上のノードに配置される。

　HDFSは、一部のタイプの障害に対して耐性があるが、完全にフォールトトレラントなわけではない。HDFSでは、1つのネームノードを1台のサーバに配置する必要がある。このサーバがダウンすると、ファイルシステム全体が停止してしまう。セカンダリネームノードがこのプライマリネームノードを定期的にバックアップするが、バックアップデータは、プライマリネームノードの再起動に利用できるものの、オペレーションの維持には利用できない。

　Hadoop環境では一般的にHDFSが使われるが、サポートされている分散ファイルシステムは他にもある。米MapR Technologiesは最近、Hadoop互換のファイルシステムを発表した。このファイルシステムには新しい機能が導入されており、その1つとして、HDFSに存在する単一障害ポイントを解消する分散ネームノードがある。

　Amazon S3のファイルシステムも使えるが、このファイルシステムは、データセグメントの位置情報を保持しない。このため、サーバやラックの障害に対するHadoopの耐性を低下させる。しかし、オープンソースのCloudStoreや、MapRのファイルシステムなど、位置情報を保持するファイルシステムはHDFS以外にもある。

分散データ処理を管理するMapReduceエンジン

　MapReduceは、1つのジョブトラッカーと複数のタスクトラッカーで構成される。クライアントアプリケーションはジョブトラッカーにジョブを提出し、ジョブトラッカーは各ジョブをタスクトラッカーノードに割り当てる。位置を認識するHDFSなどのファイルシステムが使われている場合、ジョブトラッカーは各データセグメントの位置を考慮に入れる。具体的には、要求されたデータが配置されているのと同じノードに処理を割り当てようとする。

　各タスクトラッカーは、設定された数のタスクの同時処理をサポートする。データと同じノード上のタスクトラッカーに追加タスクを割り当てられなくなると、ジョブトラッカーは、データと同じラック上のノードに処理を割り当てようとする。この方式は、データセンターのバックボーンネットワークのトラフィックを最小化し、ラック内で提供される広いネットワーク帯域を利用するのに役立つ。

　タスクトラッカーは、1つのタスク障害でタスクトラッカー全体がクラッシュしないように、独立したJava仮想マシン（JVM）を作成する。タスクに障害が発生すると、タスクトラッカーはジョブトラッカーに通知し、ジョブトラッカーはそのタスクを他の場所に割り当てる。タスクトラッカーに障害が発生すると、それに割り当てられていたタスクは全て再割り当てされる。ジョブトラッカーは処理の進行状況を定期的にチェックしており、ジョブトラッカーに障害が発生すると、新しいジョブトラッカーが起動し、最後のチェックポイントから処理を開始する。

　各MapReduceタスクの出力は、以降の処理のために他のタスクの出力と結合される。複数のタスクの出力が結合されるため、大量のデータがより少数のプロセッサに送られる。次のフェーズの処理が行われるノードにデータが集中すると、ネットワークスイッチに負荷が掛かる。スイッチは、パケットをブロックまたはドロップすることなく、こうした転送をサポートできなければならない。

Hadoopの導入、運用を支援するベンダー

　HadoopソフトウェアはApacheサイトからダウンロードできるが、さまざまなベンダーがHadoopの導入とサポートを容易にする製品やサービスを提供している。以下ではそれらの例を紹介する。

米Hortonworks

　Yahoo!からのスピンオフ企業。主要なHadoopコンポーネントを設計、実装した元Yahoo!社員の多くを擁している。Hortonworksの「Hortonworks Data Platform」は、オープンソースのHadoopソフトウェアコンポーネントがパッケージ化されたテスト済みのセット。HortonworksはHadoopユーザー向けのサポートとトレーニングも提供している。

米Cloudera

　「CDH」と「Cloudera Enterprise」を提供している。CDHは、オープンソースのHadoopコンポーネントが統合されたテスト済みパッケージで、無料でダウンロードできる。Cloudera Enterpriseはサブスクリプションベースの製品で、オープンソースのHadoopコンポーネントに加えて管理アプリケーション「Cloudera Manager」と、Clouderaスタッフによるサポートが含まれる。Clouderaは、自社製品が顧客の社内データセンターとパブリッククラウド（Amazon EC2、Rackspace、SoftLayer、VMware vCloudなど）のどちらで使われる場合でもサポートを提供している。また、Hadoopに関するトレーニングとプロフェッショナルサービスも手掛けている。

米EMC

　MapRと提携し、「Greenplum HD Community Edition」「Greenplum HD Enterprise Edition」「Greenplum HD Module」を提供している。Community Editionは、オープンソースのApache Hadoopコンポーネントのテスト済みのセット。Enterprise Editionは、Apache Hadoopスタックのインタフェース互換の実装。Enterprise Editionでは、HDFSに代えてMapRのファイルシステムが採用されている。このファイルシステムでは、高可用性機能が強化されている他、計算集約型アプリケーションを高性能プロセッサ搭載サーバに配置できるように、データ配置を管理する機能が導入されている。また、EMCは、Enterprise EditionはApache Hadoopよりもはるかにパフォーマンスが高いとしている。Greenplum HD Moduleは、データコプロセッシングHadoopアプライアンスモジュール。

米IBMと米Dell

　統合されたHadoopパッケージを提供している。IBMは「InfoSphere BigInsights Basic Edition」と「InfoSphere BigInsights Enterprise Edition」を提供しており、DellはClouderaとの提携に基づき、Cloudera Enterpriseを提供している。

　Hadoopのサポートを強化しているソフトウェアベンダーもある。米MicrosoftはHortonworksと提携し、Windows環境へのHadoopの移植を進めている。米Oracle、米Sybase、米Informaticaは、いずれもHadoopのサポート計画を発表している。

　Hadoopへの関心は今後も高まると予想される。統合されたテスト済みのディストリビューションや、ベンダーの製品、サポート、トレーニングが提供されるようになってきたため、企業にとってHadoopの導入と運用はより容易になっている。こうした要因に加え、大量データの分析ニーズの高まりや、パブリックおよびプライベートクラウドが利用可能になってきたことからみて、Hadoopは広く普及する可能性が高い。