「Amazon Elastic MapReduce」（EMR）は、分散データを処理するHadoopフレームワークだ。AWSのコアインフラ上に構築され、データの収集と取得に「Amazon Simple Storage Service」（S3）を、処理に「Amazon Elastic Compute Cloud」（EC2）クラスタを使用する。EMRはシステム構成、導入、撤去、ジョブ管理、ログ記録など、Hadoopソフトウェアをセットアップする際のこまごまとした厄介な作業に対処する。

　特に12台以上のサーバを伴うワークロードでは、Hadoopツールの導入と構成は複雑で、時間や費用がかかる。ビッグデータの開発者はこれらのHadoopツールへのアクセスにEMRを使用する。

　EMRは「Hadoop Distributed File System」（HDFS）、MapReduce処理エンジン、API、YARNリソースマネジャーを提供するが、以下のHadoopサービスのプラットフォームでもある。

• HBase - HDFSを使用した分散データストア
• Hive - SQLクエリ言語を使用するデータウェアハウス
• Pig - SQLのようなコマンドをMapReduceジョブに変換するHadoopプログラミングフレームワーク
• Presto - HDFSおよびS3と互換性のあるSQLクエリエンジン
• Spark - EMRの構成可能なオプション

　EMRのスピードと多用途性、複数言語で簡単にプログラミングできることを踏まえると、最も魅力的なHadoopサービスはSparkだろう。「Spark SQL」は、待機時間の少ない対話型のSQLクエリを分散したHadoop／HDFSデータセットの構造化データに対して実行する。またEMRのSparkには、Hadoopクラスタ内のデータのスケーラブルな分散機械学習アルゴリズムに対応するMLlibライブラリが含まれている。そして「Spark Streaming」は、同一の構文と言語（具体的にはJava、ScalaおよびPython）を使用するストリーム処理用のAPIを提供する。このAPIは、回復力の高いHadoopクラスタ上アプリケーションのストリーム処理に最適化されている。さらにSparkのAPI「GraphX」は、ETL（抽出、変換、読み込み）を統合するグラフ処理、予備解析、反復的なグラフ演算をHadoopクラスタ内で実行する。

　AWSユーザーがEMRクラスタにシステムモニタリングツール「Ganglia」をインストールすると、AWSのSparkでより高度なクラスタの監視ができるようになる。EMRが管理するHadoopクラスタでAWSのSparkを実行すると、マスターノードがYARNリソースコントローラー、SparkやSpark SQLなどのオプションのモジュールを実行する。それから、データを読み取ってS3バケットに結果を書き込み、処理容量を増やすために1つ以上のスレーブノードを生み出す。

ビッグデータを処理するための拡張性

　HadoopとEMRの初期リリースは、巨大で事実上無制限のデータセットを処理するように設計されていた。だが、圧倒的なスケーラビリティのマイナス面はその遅さだ。HadoopはHDFSを使用して、ディスクからあらゆるものを読み取って書き込み、一度に1つのタスクを実行する。各MapReduceジョブはバッチ処理だ。そのため、複数の連続した処理ステップやETLのような変換を伴う複雑なデータ変換を実行しなければならない場合は、別個のジョブが必要になる。つまり処理を完了するまでに時間がかかるということだ。また、個々のジョブが失敗して、データ処理ステップ全体を再実行しなければならない可能性があるため、フォールトトレラントなワークフローが必要になる。

　対照的にSparkは、基本的なMapReduceアルゴリズムではなく、有向非巡回グラフ（DAG）として定義されているため、スピード、双方向性、より複雑なデータ変換を考慮して設計されている。DAGは構造体で、各アクションがノードまたは頂点になっている。各アクションが別のアクションを引き起こすことは可能だが自身にループバックすることはない。DAGが連続的なバッチジョブよりも柔軟性が高いのは、この特性のおかげだ。複数のタスクを並列に実行し、結果に基づいて1つのタスクが、1つ以上の後続のアクションをトリガーできる。

　Sparkは、データセットがHadoopクラスタのノードのシステムメモリに完全に収まるくらい小さければ、完全にインメモリで実行することが多い。SparkのRAMベースの設計は、ディスクベースのMapReduceの約100倍も高速だ。インメモリキャッシュは、中間の結果をディスクに書き込む必要が全くないため、複雑なDAGを高速化する。

　Sparkの多用途性は、ビッグデータ開発者からSparkが人気を博した主な理由の1つだ。Sparkは、規範的なプログラミング言語ではなくアプリケーションプラットフォームと見なすのが最適といえる。開発者は、なじみのある高度な言語で、80個以上の高度な演算子を使用してSparkアプリケーションを記述できる。さらにSparkは、SQLとDataFrame API、ストリーム処理、機械学習、グラフ分析、並列演算を含む複数のライブラリをサポートしている。