NetApp「NetApp Open Solution for Hadoop」

　NetAppの「NetApp Open Solution for Hadoop」についてまず注目すべきは、本稿で取り上げたHDFS代替手段の中で唯一、1つのデータを分割して複数のサーバに分散する「シェアードナッシング」アーキテクチャの「何も共有しない」というルールを守っている点だ。

　Open Solution for Hadoopは、NetAppのストレージシステム「Eシリーズ」をDASとしてHadoopノードに接続し、Hadoopクラスタの各DataNodeに提供する。Eシリーズは4つの論理ボリュームを構成し、それぞれ1つずつのDataNode、計4つのDataNodeと接続可能だ。各DataNodeは、それぞれ固有かつ非共有の論理ボリューム1個を保持し、そのボリュームのみを認識する。

　NetAppのOS「Data Ontap」を実行するストレージシステム「FAS」は、分散ファイルシステム「NFS」（Network File System）ベースのNameNode用ストレージとして機能する。FASでHadoopシステムのメタデータを管理することで、Hadoopクラスタの全体的な機能と冗長性を確保する。

　Open Solution for Hadoopは、他のHadoop用の共有ストレージシステムと同じように、データ保護プロセスをHadoopクラスタ内から外部の共有ストレージシステムへ移す。障害からの復旧に必要な複製データの作成についても同様だ。HDFSはクラスタ内に3つの複製を作成することが慣例になっているが、そのときサーバとネットワークの帯域幅を消費する。Open Solution for Hadoopは、その代わりにHadoop管理者がDASのEシリーズにHDFSデータを複製できるようにする。こうすることで、3つの複製を用意するのにDataNodeで実行するアプリケーションを利用するではなく、ストレージシステムで実行するハードウェアRAIDを利用できるようになる。

　Eシリーズは、論理ボリュームを稼働状態のまま再構築できるため、クラスタを中断したり管理者が介入したりすることなく、ディスク障害に対処できる。またEシリーズを使用することでクラスタの全体的なパフォーマンスも向上する。DataNodeで「JBOD」構成（複数のディスクを論理的にまとめて1つのディスクに見せる構成）を使用している場合も含まれる。これは、HDFSでの複製の数を減らし、そのようなワークロード（処理）を共有ストレージシステムにオフロードできるようにした結果だ。また、ハードウェアRAIDをストレージシステムのキャッシュと併用することで、パフォーマンスの限界も引き上げることができる。

SanDisk「InfiniFlash」

　SanDiskは、「InfiniFlash」をスケールアウト型のSSDストレージシステムだと説明する。パフォーマンスとサービス品質を維持しながら、ストレージ容量を大規模に拡張できるよう設計されている。InfiniFlashは、SanDiskの新しい大容量フラッシュストレージのフォームファクター（形状、仕様）をベースにしている。またOSの「InfiniFlash OS」は、ブロックストレージ、ファイルストレージ、オブジェクトストレージの機能を備え、スナップショット、レプリケーション、シンプロビジョニングの機能も提供する。

　バージョン2.0以降のInfiniFlashは、Hadoopと組み合わせて利用可能で、HDFS用の階層化ストレージ環境を実現できる。具体的には使用頻度の高いデータはInfiniFlashで保持し、使用頻度の低いデータはスケールアウト可能なHDD層で保持する。SanDiskによれば、この方法でInfiniFlashを導入することで、Hadoopで用いられる並列処理の仕組み「Hadoop MapReduce」とストリーミング分析アプリケーションの両方がフラッシュストレージにより高速になる。そして従来のHDFSストレージモデルへの影響も最小限になるという。

　またInfiniFlashは、オープンソースの「Ceph」ベースのオブジェクトストレージとしても導入可能だ。この場合、Cephによってデータ階層化機能を実現する。

　InfiniFlashでは、HDFSで必要な3つのデータの複製を全てInfiniFlashで保持し、分割したデータに冗長データを付加するデータ保護技術「イレージャーコーディング」を適用することで、オーバーヘッドを低く抑えながら冗長性とデータの整合性を実現している。

　Hadoopクラスタの外部に構築する共有ストレージシステムは、Hadoopベースの用途でデータセンタークラスの運用ストレージ環境を確立するために、その効率化を促す補助的な方法として使用できる。

　Hadoopにとって最高級のストレージアーキテクチャは、各クラスタノードに小規模な分散型JBOD構成のストレージシステムを組み込むことだと信じているユーザー企業は少なくない。こうしたアーキテクチャを支持する主張として最も一般的なのは、「リソースの局所性を保つ必要がある」というものだ。つまり、サーバリソースとストレージリソースをできる限り組み合わせることで、パフォーマンスが大幅に最適化されるという主張である。本稿で紹介したHDFSストレージプールの代替手段は、パフォーマンスの向上を実現すると同時に、認識されている非効率さ、管理の複雑さ、データ損失が起こりうる弱点にも対処できる。