いち早くクラウドベースのHadoopアプリケーションをリリースしたAmazon。それに続き、Google、Oracle、Microsoft、IBMがビッグデータ分析のためのHadoop対応を進めている。各社のアプローチを見ていこう。
米Google、米Oracle、米Microsoft、米IBMなど数社のパブリッククラウドプロバイダーは米Amazon Web Services(AWS)を見習い、多面的なオープンソースプロジェクトであるHadoop、MapReduceを利用した「ビッグデータ」分析のトレンドに乗ろうとしている。
クラウドベースのHadoop、MapReduceアプリケーションが登場したのは2009年だ。AWSがElastic Compute Cloud(EC2)とSimple Storage Service(S3)用のWebサービス「Elastic MapReduce」をリリースしたのが最初だ。それに続いてGoogleは2010年半ばに、App EngineのMapReduceツールキットの最初のコンポーネントとなるMapper APIの実験バージョンをリリースした。2011年5月以降は、開発者がGoogle App Engine上でMapReduceジョブを本格的に実行できるようになった。ただしこの場合、プログラムが全てのリソースを消費してWebアクセスの妨げることがないように、レート制限が必要とされる。
Googleは2011年3月に、中間結果用のFiles APIストレージシステムを追加し、さらに7月には小規模データベース(100Mバイト以下)用にPythonのシャッフル機能を追加した。同社では、さらに大容量に対応するとともに、JavaバージョンとMapper APIを近くリリースする予定だとしている。
2011年後半に入り、Hadoop、MapReduceへの関心および同技術を統合する動きがさらに盛り上がってきたようだ。
Copyright © ITmedia, Inc. All Rights Reserved.
「TikTok禁止」は結局、誰得? どうするトランプ氏――2025年のSNS大予測(TikTok編)
米国での存続を巡る議論が続く一方で、アプリ内ショッピングやAI機能の拡大など、TikTok...
ネットの口コミを参考に8割超が商品を購入 最も参考にした口コミの掲載先は?
ホットリンクは、口コミ投稿の経験や購買への影響を調査した結果を発表した。
「生成AIの普及でSEOはオワコン」説は本当か?
生成AIの普及によりSEOが「オワコン」化するという言説を頻繁に耳にするようになりました...