Hadoopベンダーの多くはデプロイ方法を複数サポートしている。ところが、MicrosoftとAmazon Web Services（Amazon）のHadoopディストリビューションは、クラウド環境にしかデプロイされない。Microsoftは「Hortonworks Data Platform」（HDP）をベースとするマネージサービス「HDInsight」をサポートするために「Microsoft Azure」（Azure）を活用している。HDPはPivotalが再販するHadoopディストリビューションと同じだ。Amazonは、「Amazon EC2（Elastic Compute Cloud）」と「Amazon S3（Simple Storage Service）」を「Amazon EMR（Elastic MapReduce）」の基盤とする。EMRにはHadoopディストリビューションと多様なツールやテクノロジーがバンドルされている他、MapRのHadoopディストリビューションを使用するオプションも用意されている。

　クラウドデプロイモデルでは、Hadoopクラスタを迅速かつ簡単にプロビジョニングできる。MicrosoftとAmazonはいずれも、コンピューティングとストレージ容量のニーズの変化に対応するため、ユーザーが環境の規模を適宜変更できるようにしている。この柔軟性の高さは、コンピューティングやストレージのニーズが、日々変わり続ける企業にとってはうってつけだ。

　Hadoopの他の主要ベンダー、Cloudera、Hortonworks、IBM、MapRにもクラウドデプロイモデルがあるが、それだけに限られてはいない。オンプレミスにも、LinuxやWindowsなどのさまざまなサーバのプライベートクラウドにもデプロイ可能だ。さらに、ClouderaとHortonworks、MapRは、VMwareなどの仮想環境で実行できるサンドボックス版も用意している。

2．Hadoop主要ディストリビューションのエンタープライズクラスの機能

　Hadoopの独立系ベンダー3社には、開発アプローチに幾つか大きな違いがある。Clouderaは通常、自社開発のアドオンテクノロジーを使ってHadoopコアを補強する。クエリエンジンの「Impala SQL-on-Hadoop」、管理ツールの「Cloudera Manager」、リアルタイム分析アプリケーションに使用するデータストア「Kudu」などがその例だ。Kuduは「Hadoop Distributed File System」（HDFS）に代わるデータストアになる。同社は、こうしたテクノロジーの初期開発が終了すると、基本的にはオープンソース化を行うようになっている。これに対してHortonworksは「Apache Hadoopコミュニティーでソフトウェアを100％強化し、独自の拡張機能は設けない」ことを売りにしている。同社の推進力となるのはプロビジョニングと管理のソフトウェア「Ambari」などのアドオンテクノロジーで、これらは開発当初からオープンソースプロジェクトとして開始する。また、同社は、IBMなどの企業と連携し、Hadoopプラットフォーム共通のコア技術仕様を作成することを目的とする団体「Open Data Platform Initiative」（ODPi）を立ち上げている。これにより、相互運用性を高め、ベンダー固有機能を最小限に抑えることができるというのがODPiメンバーの考え方だ。

　第3の道を進んでいるのがMapRだ。同社はHDFSに代わる独自のファイルシステム「MapR-FS」の構築や、独自のNoSQLデータベース「MapR-DB」などの基盤テクノロジーの開発を進めている。こうした独自開発は、エンタープライズクラスのパフォーマンスニーズを持つ、大規模クラスタ展開をサポートすることが目的だ。また同社は、リアルタイムのストリーム処理アプリケーションに徐々に照準を合わせている。2015年12月、同社は製品名を「MapR M7」「MapR M5」「MapR M3」から「MapR Converged Data Platform」に変更した。MapR Converged Data Platformでは、バッチジョブとリアルタイムジョブの両方に対処するため、HadoopとMapRファイルシステム／データベースを、Apache Spark処理エンジンと「MapR Streams」に結合している。MapR Streamsとは新しいイベントストリーミングテクノロジーだ。

　機能を見てみよう。Cloudera「CDH」ディストリビューションのエンタープライズエディションは運用管理／レポート／ビジネス継続性サポート用のツールを提供し、「構成履歴とロールバック」「ローリングアップデート」「サービスの再起動」「自動災害復旧」などの機能がある。MapRのエンタープライズエディションは、Hadoopクラスタ内のデータに関して管理性、回復性、信頼性を確保するツールを提供すると同時に、マルチテナント機能や、高可用性機能も追加する。Hortonworksは「HDPサポートサブスクリプション」によってプロアクティブな監視と保守を実現する。

　一方、IBMは「IBM BigInsights for Apache Hadoop」というディストリビューションで分析指向の戦略を取っている。これは、ビジネスインテリジェンスと高度な分析ツールの販売に傾注するという同社のアプローチに沿うものだ。IBMは、エンタープライズクラスの機能を備えたさまざまな付加価値モジュールをBigInsightsの一部として提供している。「Analyst」モジュールや「Data Scientist」モジュールなどがその例だ。Analystモジュールは「Big SQL」機能を提供してHadoopなどのデータソースにSQLによるフェデレーションアクセスを可能にする。Analystモジュールに含まれる「BigSheets」は、ユーザーがスプレッドシートのように直感的に操作できるインタフェースを使って、Hadoopに保存されている大きなデータセットを探索、変換、視覚化できるようにしている。IBM BigInsights for Apache Hadoopの別バージョンの1つ「BigInsights Data Scientist Module」には、R言語版やテキスト分析のほか、オープンソースコミュニティーに貢献している「SystemML」という機械学習ライブラリが含まれる。

　Amazon EMRの特徴は、そのクラウドプラットフォームにあるが、Hadoopサービスの一環として、クラスタの監視／管理ツールや、アプリケーションとクラスタの相互運用を実現するツールも提供する。

　Amazon EMRは、進捗を追跡してクラスタの正常性を測定するためのメトリックを収集する。クラスタの正常性メトリックはコマンドラインインタフェース、ソフトウェア開発者キット、APIからアクセスでき、EMR管理コンソールに表示できる。また監視サービス「Amazon CloudWatch」を、パフォーマンス監視コンポーネント「Apache Ganglia」の実装と併用すれば、クラスタをチェックし、これらのメトリックによってトリガーされるイベントにアラームを設定することも可能だ。