Hadoop、MapReduceの統合計画

　Oracleは2011年10月に開催された「Oracle Open World」で、ビッグデータアプライアンスを発表した（関連記事：オラクルが示すビッグデータ活用の課題とは？）。同社の発表によると、このアプライアンスは「Apache Hadoopのオープンソースディストリビューション、Oracle NoSQL Database、Oracle Data Integrator Application Adapter for Hadoop、Oracle Loader for Hadoop、そしてMapRのオープンソースディストリビューションで構成される新開発のシステム」だという。

　同アプライアンスは、主としてOracleリレーショナルデータベース（クラウドベースのバージョンもある）の抽出・加工・転送（ETL）処理用にHadoopを利用するようだ。OracleのNoSQL Databaseは、組み込み型データベースのBerkeley DBをベースとする。同社は2006年に、米SleepyCat Software買収に伴ってBerkeley DBを獲得した。

　また、Oracle Open Worldでデビューした「Oracle Public Cloud」は、JSP、JSF、Servlet、EJB、JPA、JAX-RS、JAX-WSなどの標準をベースとするアプリケーションの開発をサポートする。そのため、既存のHadoopインプリメンテーションをHadoop Connectorに連係することができる。Oracleが自社のパブリッククラウド製品用にHadoop、MapReduceをパッケージ化する動きは見られないが、AWS、IBM、Microsoft、Googleとの競争を考えれば、Hadoop、MapReduceが全てのエンタープライズ用パブリッククラウドの必須要件になる可能性もある。

　Microsoftは2011年10月の「PASS」カンファレンスにおいて、年末までにWindows Azure用のHadoopベースのサービスをリリースすると約束した。同社のテッド・クマート副社長によると、2012年にはWindows Server用のコミュニティー技術プレビュー（CTP）をリリースする予定だという。さらにクマート氏は、Windows AzureをHadoopに連係させるためにHortonworksと戦略提携を結んだと発表した。

　クマート氏の説明によると、SQL Server 2008 R2とHadoopの間でデータ転送を行うための新技術「SQL Server-Hadoop Connector」は、コンセプトとしてはOracleのHadoop Connectorに近いようだ。MicrosoftのSQL Serverチームのメンバーであるデニー・リー氏は、HiveODBCドライバを使って、Windowsデータベース用のHadoop内でログデータに対するHiveQLクエリのデモを行った。クマート氏によると、この技術は2011年11月にCTPとしてリリースする予定だとしている。Microsoftは通常、Windows AzureのCTPは無償で提供しているが、Windows Azureのコンピューティング時間料金とストレージの月額料金が適用される。

MicrosoftとIBMで進められているプロジェクト

　MicrosoftのHigh Performance Computing（HPC）は2011年6月、Windows HPC Server 2008クラスタ用の「HPC Pack」のβ2およびHPC R2 SP2用の「LINQ」をリリースした。これらは数年前からMicrosoft Researchで「Dryad」および「Dryad LINQ」として開発が進められてきたものだ。その最も一般的な構成は「バーストシナリオ」と呼ばれるハイブリッド型クラウドモデルだ。このモデルでは、最上位ノードが社内に置かれ、ロードに応じて多数のコンピューティングノードがWindows Azure仮想マシンとして動作する。ファイルセットはWindows Azureドライブに保存される。

　Microsoft Researchで取り組んでいるもう1つのプロジェクト「Daytona」は、Windows Azure用のMapReduceランタイムで、ユーザーフレンドリーなExcel DataScopeインタフェースを備えるが、これはまだ初期のCTP段階だ。Hadoopの広範な普及と実績に影響されたMicrosoftのサーバ／クラウドプラットフォームチームは、このプロジェクトで「本物」を提供しようと考えたのかもしれない（関連記事：Microsoftのビッグデータ投資の成果がいよいよ形に）。

　Hadoopクラウドのバスに最後に乗り込んだIBMは、IBM SmartCloud Enterprise用のHadoopベースの分析ソフトウェア「IBM InfoSphere BigInsights」を投入した。同クラウド上で動作するBigInsightsには、BasicエディションとEnterpriseエディションがあり、パブリック、プライベートおよびハイブリッドのクラウド配備オプションが用意されている。

　Basicエディションはエントリーレベルの無償オプションで、ブラウザベースの分析ツールであるBigSheetsコンポーネントを使ったビッグデータの分析（what-ifシナリオなど）の方法を学ぶことができる。ユーザーはEnterpriseエディションにシームレスに移行し、データ分析を始めることができる。使用量が少ない場合の価格は、1クラスタに付き1時間当たり0.6ドルから。両エディションとも、新世代のビジネス分析アプリケーションを開発できるデベロッパーサンドボックスの他、各種ツールおよびテスト＆開発環境が含まれる。私の知る限りでは、試してから製品を購入できる無償のインプリメンテーションを提供しているのはIBMだけのように思える。

Hadoopとソーシャルネットワーク

　Hadoopを利用している有名なソーシャルコンピューティング企業は他にもある。米Yahoo!では、検索サービス用に1万コアのLinuxクラスタ上でHadoopを運用している。米Facebookは7月、同社のHadoopクラスタが30Pバイトの容量に達したと発表した。米LinkedInでは、Tバイト規模のHadoopデータサイクリングアプリケーションを運用している。米Twitterもツイートの保存と処理にHadoopを使っている。また米eBayでは、532ノードからなる5PバイトのHadoopクラスタを運用しているという。

　結論的に言えば、今日のエンタープライズ市場では、AmazonがHadoop、MapReduceの運用実績（2年半）を有する唯一のクラウドプロバイダーだ。IBMのBigInsightsはまだ幼年期の段階にすぎず、MicrosoftのHadoop CTPにしてもRTM（製造工程向けリリース）バージョンの正式な日程がまだ決まっていない。

　私の予想では、2012年半ばには、ビッグデータ分析をめぐってAmazonとIBMが競合することになるだろう。Googleはビッグデータの分野にMapReduceを投入したが、同社のApp EngineとMapReduceの組み合わせの成功の可能性については、私は楽観視していない。