Apache Hadoopクラスタ

　HadoopはLinuxコンピュータ上に実装されるマスター／スレーブ型アーキテクチャだ。膨大なデータを処理するには、Hadoop環境に以下のコンポーネントを含める必要がある。

マスターノード

　スレーブノードを管理する。データファイルの処理、管理、アクセスに関連したタスクも管理する。さらにマスターノードは、ジョブリクエストをHadoop環境に送信する外部アプリケーションのための一次アクセスポイントとしての役割も果たす。マスターノードはマスターサーバと呼ばれることもある。

ネームノード

　ネームノードデーモンを実行する。ネームノードデーモンはHadoop Distributed File System（HDFS）名前空間を管理し、データファイルへのアクセスを制御する。ネームノードはファイルのオープン、クローズ、リネームをサポートする他、データブロックをスレーブノードにどのようにマッピングするかを決定する。小規模な環境であれば、マスターノードと同じサーバ上にネームノードを実装することも可能だ。

スレーブノード

　各スレーブノードはデータノードデーモンを実行する。データノードデーモンはデータファイルの保存を管理し、データファイルに対するリード／ライトリクエストを処理する。スレーブノードは比較的低価格で入手が容易なコモディティハードウェアで構成されるので、数千台のコンピュータ上で並列処理を実行することが可能だ。

　各種のコンポーネントがHadoop環境内でどのように連係動作するかを図1に示す。マスターノードはジョブトラッカーデーモンを実行し、各スレーブノードはタスクトラッカーデーモンを実行する。ジョブトラッカーはクライアントアプリケーションからのリクエストを処理し、これらのタスクをタスクトラッカーの各インスタンスに割り当てる。タスクトラッカーはジョブトラッカーから指示を受け取ると、データノードと連係して割り当てられたタスクを実行し、処理の各段階でデータの移動を管理する。

図1：Hadoopクラスタ内にSQL Server用のHadoopコネクタを実装しなければならない

MapReduceフレームワーク

　図1に示すように、マスターノードはMapReduce処理を実行するのに必要なフレームワークをサポートする。MapReduce技術はHadoop環境のコア部分に位置する。むしろ、HadoopはMapReduceフレームワークであると見なすこともできる。このフレームワークでは、ジョブトラッカーやタスクトラッカーなどのコンポーネントが重要な役割を果たす。

　MapReduceは巨大なデータセットを、管理しやすい小さなチャンク（塊）に分割し、何千台ものコンピュータに分散できるようにする。大規模な並列処理、何P（ペタ）バイトものデータの検索、複雑なクライアントリクエストの管理、掘り下げたデータ分析の実行などに必要なメカニズムも提供する。さらにMapReduce構造は、処理を正確かつ素早く完了するのに必要なロードバランシングとフォールトトレランスも備える。

　MapReduceフレームワークは、各ファイルを一連のブロックに保存するHDFSフレームワークと連係して動作する。各ブロックはフォールトトレランスを実現するためにクラスタ内で複製される。1つのファイルを構成するブロックは、最後のブロックを除けば全て同じサイズだ。各スレーブ上のデータノードデーモンは、HDFSと連係してブロックの作成、消去、複製を行う。しかしHDFSファイルは、一度に1つのアプリケーションが1回しか書き込めない。

　以上を踏まえ、後編ではSQL Server用のHadoopコネクタの実装手順について解説する。