Hadoopとストレージシステムの良い関係【前編】

Hadoopトラブルの“真犯人”、「HDFS」を使わずに済む代替手段とは

「Apache Hadoop」の要ともいえる分散ファイルシステム「HDFS」。その課題を回避するために、共有ストレージシステムを使用するユーザー企業が増えている。その理由を紹介する。

公開 2016年08月29日 15時00分

著者

John Webster

[TechTarget]

印刷する

Apache Hadoopの公式Wepページ《クリックで拡大》

　大量データを複数のマシンに分散して処理できるオープンソースのプラットフォーム「Apache Hadoop」のユーザー企業は通常、複数の汎用（はんよう）サーバで並列処理するクラスタを独自に構築する。各サーバの内蔵ストレージを使用し、6～12台のディスクを「JBOD構成」（複数のディスクを論理的にまとめて1つのディスクに見せる構成）にするのが一般的だ。

　Hadoopクラスタは、1つのデータを分割して複数のサーバに分散する「シェアードナッシング」アーキテクチャとして知られている。それは各サーバが独立して処理をすることによって、クラスタ内の全処理が並列に動くことに起因する。データのやりとりは、共通のネットワークを経由する。だがそれを除けば、コンピューティングやメモリ、ストレージといったリソースをクラスタ内で共有することはない。

併せて読みたいお勧め記事

Hadoopのメリット／デメリット

Hadoopディストリビューション比較

　ストレージエリアネットワーク（SAN）やネットワーク接続ストレージ（NAS）といったストレージシステムは拡張性を備えるが、大規模構成にするとコストが高くなり過ぎることが往々にしてある。また高いパフォーマンスを実現するために必要な「参照の局所性」（特定のリソースにアクセスが集中すること。該当リソースを高速化するだけで全体のアクセス速度が高まる）に欠け、さらにシェアードナッシングの「何も共有しない」というルールにも反する。そのため、各クラスタノードに組み込んだ直接接続ストレージ（DAS）をHadoop用のストレージシステムとして使用することが多い。

　Hadoopの分野では、いまだに激しく議論されていることがある。それは、データを複数のサーバに分散配置するファイルシステム「Hadoop Distributed File System」（HDFS）で作られるHadoopクラスタ内のストレージプールを使うか、クラスタ外部に構築した大規模環境向けストレージシステムを使うか、ということだ。最近では後者を採用するユーザー企業が増えている。データセンタークラスのストレージシステムは、オンラインの長期保管ストレージ（アクティブアーカイブ）として補助的に追加されている。本稿では、HDFSで作られるストレージプールの代替手段として採用されている共有ストレージシステムに注目する。

　HDFSストレージプールの代替手段とHadoopの利用に関係する特定の機能にスポットを当てる前に、HDFSストレージプールの代替を検討する理由について幾つか確認しておく。

データ保護機能と災害復旧機能の不足

　HDFSは通常、データ取得時に3つの複製データを作成することで、ディスク障害やデータ損失、ネットワークの切断などの障害から復旧できるようにしている。複製データの作成により、クラスタはディスク障害に耐えられるようになり、障害を起こさずに機器を交換できるようになる。だがデータの取得処理は遅くなり、情報へのアクセス速度に悪影響が及ぶ。その上、データの破損といった全てのデータ消失シナリオに対処できるわけでもない。

　クラスタ外部に構築する共有ストレージシステムを使用すれば、固有の管理機能を適用することで、パフォーマンスを維持しながら長期的にデータを保持できる。共有ストレージシステムの管理機能には、データ保護や災害復旧用レプリケーション、ストレージ階層化などがある。

ストレージリソースとコンピューティングリソースが分離不可能

　HDFSストレージプールは、サーバとストレージを結び付けることで、処理とデータの距離を最短にし、桁違いなパフォーマンスを実現する。ただしストレージプールの容量を増設するには、コンピューティングリソースとネットワークリソースを追加しなければならない。それも、実際に必要であるかどうかには関係なくだ。

　共有ストレージシステムをクラスタ外部に構築すれば、管理者はサーバリソースとストレージリソースを個別に拡張できるようになる

データの入出力プロセスで生じる運用の問題

　HDFSストレージプールでは、アクティブなデータストアからデータをコピーする際に多くの時間を必要としたり、ネットワークリソースに負荷が掛かったりする場合がある。批判的に見ると、このプロセスによりデータの不整合が生じる可能性がある。その結果、「本当に単一のデータソースに対してクエリを実行できているのか」という疑いをアプリケーションのユーザーが抱くようになる。

　スケールアウトNASなど、Hadoopをサポートする大容量の共有ストレージシステムを使えば、アプリケーションを含め関連するシステムのデータを一元的に集約でき、データの不整合を生じる可能性を抑えることができる。

　またストレージシステムベンダーは、次のような理由から分析は共有ストレージシステムで実行する必要があると主張する。

ストレージ容量の確保に必要なインフラが減ることで、総所有コスト（TCO）が半分以下になる。またデータ取得時に完全な複製データを3つ作成する必要がなくなることで、ストレージ効率が上がる
各ノードでHDFSをインストール、再インストール、更新する必要がなくなることで管理効率が向上する
Hadoopクラスタから共有ストレージシステムへストレージ機能と管理機能をオフロードできる。これにより、データ保護や階層化ストレージ、スナップショット、セキュリティ対策など複数のメリットが得られる

　後編では、HDFSストレージプールの代替手段として使える4つのストレージシステムを紹介する。

印刷する