AWSのElastic MapReduce

　米Amazon Web Services（AWS）は他社に先駆け、2009年4月にElastic MapReduce（EMR）を投入した。EMRはHadoopクラスタのプロビジョニング、ジョブの実行／終了、Amazon EC2（Elastic Compute Cloud）とAmazon S3（Simple Storage Service）間のデータ転送といった機能を備える。またEMRは、Hadoopをベースとするデータウェアハウジングサービス用ツールのApache Hiveも提供する。

　EMRはスレーブの障害に対するフォールトトレランス機能を備えている。AWSでは、コストを抑えつつ可用性を維持するにはスポットインスタンス上でTask Instance Groupだけを実行することが望ましいとしている。しかし同社は2011年8月までスポットインスタンスをサポートしなかった。

　AWSは、「Small」から「Cluster Compute Eight Extra Large」までのEC2インスタンスの料金に加え、EMRの使用に対して1時間当たり0.015～0.50ドルの追加料金を設定している。同社によると、ジョブフローが開始すると、Amazon Elastic MapReduceはAmazon EC2インスタンスのプロビジョニング、セキュリティの設定、Hadoopの構成とセットアップ、ログの収集、機器状態の監視やその他のハードウェア関連の複雑な機能（実行中のジョブから障害のあるインスタンスを自動的に除去するなど）の処理を実行するという。AWSは最近、EMRインスタンス用に無償の指標ツール「CloudWatch」（図1）を発表した。

図1：CloudWatchのジョブワークフロー指標の例（画像提供：AWS）

GoogleのAppEngine-MapReduce

　Google開発者のマイク・アイザッツキー氏によると、Googleの開発チームは全て、同社が2004年に発表したMapReduceを使っているという。同社はGoogle App Engine上でのHadoop 0.20プログラムの実行をサポートする「MapReduce APIの初期実験的リリース」として「AppEngine-MapReduce」APIをリリースした。その後、同APIの開発チームは2011年3月に、中間結果をBLOb（バイナリラージオブジェクト）として保存するためのファイル型システムを提供するために低レベルのファイルAPI v1.4.3をリリースするとともに、オープンソースの「User-Space Shuffler」機能を改良した（図2）。

図2：「Google I/O 2012」のセッションで紹介されたGoogle AppEngine-MapReduceのShuffleプロセス

　GoogleのAppEngine-MapReduce APIは、Google Pipeline APIを通じてMap、ShuffleおよびReduceの動作を連係する。同社は「Google I/O 2012」カンファレンス用のビデオプレゼンテーションでAppEngine-MapReduceの現状を説明している。しかしGoogleは2012年春の時点で、「初期実験的リリース」という呼び方を変えていない。AppEngine-MapReduceは、ビッグデータサイエンティストや分析専門家ではなく、JavaおよびPythonの開発者をターゲットとしている。Shufflerは約100Mバイトのデータセットに制限されているが、これはビッグデータと呼べる容量ではない。大容量のデータセットの場合は、GoogleのBigShufflerへのアクセスをリクエストすることもできる。

HerokuのTreasure Data Hadoop

　Herokuの「Treasure Data Hadoop」アドオンでは、DevOps（開発者と運用者のコミュニケーションとコラボレーションを改善する手法）のチームがHadoopとHiveを利用してホスティング型アプリケーションのログとイベントを分析することを可能にする。これは、同技術の主要機能の1つだ。Herokuのその他のビッグデータ用アドオンとしては、米CloudantによるApache CouchBaseのインプリメンテーション、MongoDB（米MongoLabが開発）、MongoHQ、Redis To Go、Neo4j（Java用グラフデータベースのパブリックβ）、RESTful Metricsなどがある。AppHarbor（「Heroku for .NET」とも呼ばれる）は、Cloudant、MongoLab、MongoHQ、Redis To Goといった同様のアドオンに加え、RavenHQ（NoSQLデータベースアドオン）を提供する。HerokuとAppHarborはいずれも、汎用的なHadoopインプリメンテーションをホスティングしない。

　後編ではIBM、MicrosoftのパブリッククラウドのHadoop対応状況をまとめる。