Hadoopとの使い分けは？ビッグデータを高速分散処理するSparkをAWSで動かすと何がすごいのか (1/2)

「Amazon Web Services」（AWS）のHadoopサービスとして特に魅力的なのが「Apache Spark」である。「Amazon Elastic MapReduce」と連係して高速処理や多用途性を実現する。

[Kurt Marko，TechTarget]

Amazon EMRで動かすApache Spark（出典：Amazon Web Services）《クリックで拡大》

　「Amazon Web Services」（AWS）のユーザーが利用できるアプリケーションサービスのラインアップは続々と増えている。特に多いのがデータ分析に関連するサービスだ。多くの企業がデータの海におぼれ、処理に困っている。そんな中AWSは、複雑なシステムをシンプルかつコスト効率よく構築できるようにするビッグデータツールとして重要な地位を確立した。例えば、AWSでは「Apache Spark」（Spark）が実行可能だ。

　AWSは多種多様なニーズに合わせて多くのデータベースを用意している。例えば「Amazon DynamoDB」でNoSQLデータベース、「Amazon RDS」と「Amazon Aurora」でリレーショナルデータベース（RDB）、「Amazon ElastiCache」でインメモリキャッシュ機能を提供したり、「Amazon Redshift」などのデータウェアハウスサービスを提供したりしている。またHadoopは、新種のデータ分析問題に対処する。これらの問題で使用されている極めて大きなデータセットを多くのシステム間で分散し、Hadoopクラスタを形成する。それでも、複数のソフトウェアコンポーネントが必要なスタックによって多数のシステムを導入するのはコストがかさむ上に複雑である。そのため、ほとんどの企業にとってHadoopの使用は現実的ではない。

併せて読みたいお勧めの記事

Hadoop事例

• 【事例】じゃらん、ゼクシィにも活用、リクルートはなぜ「Hadoop」を使う？

クラウドサービスのHadoopを比較

• パブリッククラウドのHadoop対応状況を比較する──Amazon、Google、Herokuの場合
• パブリッククラウドのHadoop対応状況を比較する──IBM、Microsoftの場合

Hadoopディストリビューション選定

• 企業向け機能とサポートが充実の「商用Hadoopディストリビューション」6選

IT部門のためのアナリティクス入門

• データ分析がビジネス課題の解決に生かせていない本当の理由
• やっと分かった　ビッグデータアナリティクスでHadoopを使う理由
• データ分析で成功するためのデータマネジメントとIT部門の新たな役割