Hadoopとストレージシステムの良い関係【後編】

Hadoopの悩みとさよならできる、脱「HDFS」をかなえるストレージシステム4選（1/2 ページ）

「Apache Hadoop」の要ともいえる分散ファイルシステム「HDFS」には課題も少なくない。HDFSを使わなくても済むようになる、4つのストレージシステムを紹介する。

公開 2016年08月30日 15時00分

著者

John Webster

[TechTarget]

印刷する

日本Hadoopユーザー会のWebサイト《クリックで拡大》

　前編「Hadoopトラブルの“真犯人”、『HDFS』を使わずに済む代替手段とは」では、オープンソースの分散処理プラットフォーム「Apache Hadoop」の要である、分散ファイルシステム「HDFS」の課題について説明。共有ストレージシステムを使うことでHDFSの使用を回避できることを紹介した。後編は、HDFSが作るストレージプールの代替手段として使える4つのストレージシステムを紹介する。

併せて読みたいお勧め記事

Hadoopとストレージシステムの良い関係

Hadoopトラブルの“真犯人”、「HDFS」を使わずに済む代替手段とは

Hadoopのメリット／デメリット

Hadoopディストリビューション比較

EMC Isilon

　1つ目はEMCの「EMC Isilon」シリーズだ。クラスタ化されたノードは、業界標準のIntel製サーバベースで、直接接続ストレージ（DAS）とカスタムアプリケーションを使用してスケールアウト型のネットワーク接続ストレージ（NAS）を実現している。その基盤となるファイルシステムである「OneFS」は、ファイルシステム全体のイメージを全てのノードで維持するために、クラスタ内の通信と同期に2つの「InfiniBand」（サーバ／ストレージ間高速通信規格）を使用する。これによって一貫性のある方法で管理情報のやりとりを実現する。EMCによると、600社を超える大手企業がHadoop用途でIsilonを導入しているという。

　Isilonがもたらす価値の鍵を握るのはOneFSだ。OneFSは、UNIXベースの運用環境であると同時にファイルシステムでもある。NAS用に最適化された1つのレイヤーにボリューム管理機能とRAID保護機能をまとめている。またファイル単位で冗長性を管理することで、ディスクのデータ配置を制御している。

　Isilonは、HDFSのインタフェースを通じて複数のHadoopディストリビューションをサポートしている。例えば、Clouderaの「CDH」やHortonworksの「Hortonworks Data Platform」、Pivotalの「Pivotal HD」などだ。HDFSはIsilonクラスタの任意のノードに接続できる。HDFSからすると、Isilonノードは、HDFSにおけるNameNode（メタデータを格納するノード）またはDataNode（実データを格納するノード）としての役割を持つことになる。これは、Isilonを使って他のアプリケーションを稼働する場合も同じだ。そのためアプリケーションで作成したデータをHadoopで使用することがあるとしても、他の場所からコピーしたり取得したりする必要はない。データはIsilonクラスタに既に保存されているからだ。それから管理者は、Isilonの内蔵ストレージとデータ管理機能をHadoopに適用することもできる。

IBM Spectrum Scale

　IBMの「IBM Spectrum Scale」は、Hadoopで利用できるスケールアウト型ストレージシステムだ。Spectrum Scaleは、ファイルストレージとオブジェクトストレージの両方の機能を持つ。

　データ保護とセキュリティについては、ファイルシステムまたはファイルセット単位でのスナップショット機能と外部ストレージシステムへのバックアップ機能を提供する。外部ストレージシステムの候補として、バックアップ機器やテープなどがある。ストレージのセキュリティ機能としては、保存データの暗号化（オプション）や安全なデータ消去を搭載。認証には「LDAP」（Lightweight Directory Access Protocl）やMicrosoftの「Active Directory」といったディレクトリサービスが利用できる。トランザクションの整合性を確保しながら、同期または非同期によるデータの複製をすることも可能だ。

　Spectrum Scaleは、自動ストレージ階層化を備える。パフォーマンスを求める場合はフラッシュストレージを使用し、安価な容量を求める場合は数TBのHDDを用いて、ポリシーに基づいてストレージ階層間でデータを自動的に移動する。また、補助の長期保管用ストレージ層としてテープが利用できる。

　ポリシーベースのデータ圧縮をファイル単位で適用することも可能だ。これにより、ストレージの効率が約2倍になり、Hadoopクラスタでの処理負荷を軽減する。またメインフレームユーザーは、Spectrum ScaleをIBMのメインフレーム「IBM zSystems」と連係できる。Hadoopからすると、zSystemsはリモートのデータ安全地帯になることが多い。

次ページへ残り2つのストレージシステムを紹介