Hadoopとストレージシステムの良い関係【後編】
Hadoopの悩みとさよならできる、脱「HDFS」をかなえるストレージシステム4選（1/2 ページ）
「Apache Hadoop」の要ともいえる分散ファイルシステム「HDFS」には課題も少なくない。HDFSを使わなくても済むようになる、4つのストレージシステムを紹介する。
日本Hadoopユーザー会のWebサイト《クリックで拡大》
前編「Hadoopトラブルの“真犯人”、『HDFS』を使わずに済む代替手段とは」では、オープンソースの分散処理プラットフォーム「Apache Hadoop」の要である、分散ファイルシステム「HDFS」の課題について説明。共有ストレージシステムを使うことでHDFSの使用を回避できることを紹介した。後編は、HDFSが作るストレージプールの代替手段として使える4つのストレージシステムを紹介する。
併せて読みたいお勧め記事
Hadoopとストレージシステムの良い関係
Hadoopのメリット／デメリット
Hadoopディストリビューション比較
EMC Isilon
1つ目はEMCの「EMC Isilon」シリーズだ。クラスタ化されたノードは、業界標準のIntel製サーバベースで、直接接続ストレージ（DAS）とカスタムアプリケーションを使用してスケールアウト型のネットワーク接続ストレージ（NAS）を実現している。その基盤となるファイルシステムである「OneFS」は、ファイルシステム全体のイメージを全てのノードで維持するために、クラスタ内の通信と同期に2つの「InfiniBand」（サーバ／ストレージ間高速通信規格）を使用する。これによって一貫性のある方法で管理情報のやりとりを実現する。EMCによると、600社を超える大手企業がHadoop用途でIsilonを導入しているという。
Isilonがもたらす価値の鍵を握るのはOneFSだ。OneFSは、UNIXベースの運用環境であると同時にファイルシステムでもある。NAS用に最適化された1つのレイヤーにボリューム管理機能とRAID保護機能をまとめている。またファイル単位で冗長性を管理することで、ディスクのデータ配置を制御している。
Isilonは、HDFSのインタフェースを通じて複数のHadoopディストリビューションをサポートしている。例えば、Clouderaの「CDH」やHortonworksの「Hortonworks Data Platform」、Pivotalの「Pivotal HD」などだ。HDFSはIsilonクラスタの任意のノードに接続できる。HDFSからすると、Isilonノードは、HDFSにおけるNameNode（メタデータを格納するノード）またはDataNode（実データを格納するノード）としての役割を持つことになる。これは、Isilonを使って他のアプリケーションを稼働する場合も同じだ。そのためアプリケーションで作成したデータをHadoopで使用することがあるとしても、他の場所からコピーしたり取得したりする必要はない。データはIsilonクラスタに既に保存されているからだ。それから管理者は、Isilonの内蔵ストレージとデータ管理機能をHadoopに適用することもできる。
IBM Spectrum Scale
IBMの「IBM Spectrum Scale」は、Hadoopで利用できるスケールアウト型ストレージシステムだ。Spectrum Scaleは、ファイルストレージとオブジェクトストレージの両方の機能を持つ。
データ保護とセキュリティについては、ファイルシステムまたはファイルセット単位でのスナップショット機能と外部ストレージシステムへのバックアップ機能を提供する。外部ストレージシステムの候補として、バックアップ機器やテープなどがある。ストレージのセキュリティ機能としては、保存データの暗号化（オプション）や安全なデータ消去を搭載。認証には「LDAP」（Lightweight Directory Access Protocl）やMicrosoftの「Active Directory」といったディレクトリサービスが利用できる。トランザクションの整合性を確保しながら、同期または非同期によるデータの複製をすることも可能だ。
Spectrum Scaleは、自動ストレージ階層化を備える。パフォーマンスを求める場合はフラッシュストレージを使用し、安価な容量を求める場合は数TBのHDDを用いて、ポリシーに基づいてストレージ階層間でデータを自動的に移動する。また、補助の長期保管用ストレージ層としてテープが利用できる。
ポリシーベースのデータ圧縮をファイル単位で適用することも可能だ。これにより、ストレージの効率が約2倍になり、Hadoopクラスタでの処理負荷を軽減する。またメインフレームユーザーは、Spectrum ScaleをIBMのメインフレーム「IBM zSystems」と連係できる。Hadoopからすると、zSystemsはリモートのデータ安全地帯になることが多い。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[サイボウズ株式会社] AIに何を聞いても「汎用的な答え」しか返ってこないのはなぜか？ -
製品資料
[サイボウズ株式会社] なぜAIは組織で定着しないのか？ 全社活用を阻む「3つの壁」の突破法 -
製品資料
[株式会社スタディスト] 「不適合品率」改善はどこから始める？ すぐにできて効果が大きいポイントとは -
製品資料
[株式会社スタディスト] 食品ロスを利益に変える「現場標準化」のすすめ -
技術文書・技術解説
[株式会社スタディスト] チョコ停・ドカ停を防ぐ「事前対策」の進め方
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
いまIBM iエンジニアが直面する「5つの技術的課題」とその解決策
-
2
SAPの負荷増に苦しむZeissが「リアルタイム分析」「安定運用」を両立させた道
-
3
なぜMicrosoftは「Rust」を標準言語に？ AIで進むC/C++書き換えの課題
-
4
なぜ「Claude Code」拡張は消しても危ないのか？ Cursorで不正版配信
-
5
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
6
【基本情報技術者試験】データ消失リスクを防ぐ3つの「バックアップ手法」を比較
-
7
8割がアナログに逆戻りする“やっぱりな理由” DXを阻む2つの落とし穴
-
8
なぜ「全社配布Copilot」は使われないのか？ 失敗に学ぶAI定着
-
9
PHPはそもそも必要か？ 脆弱性で問われる自社サイト安全性と保守負担のバランス
-
10
脱VMwareの真実：データセンター大手がNutanixを選んだ「コスト以上の理由」
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
侵入から横展開まで27秒の脅威にどう立ち向かう？ 防御のカギがEDRの理由
-
3
有識者が語る、中堅中小企業に求められる最新のサイバーセキュリティ対策とは
-
4
AI駆動攻撃にどう対抗する？ 超速の攻撃からエンドポイントを保護する方法
-
5
10G回線の真価をフルに享受するには？ 導入前にチェックしたいポイント
-
6
なぜAIは組織で定着しないのか？ 全社展開を阻む「3つの壁」と突破のヒント
-
7
パスワードレスへの移行で失敗しないためには？ 導入・運用上の注意点を解説
-
8
自社のセキュリティ対策は大丈夫？ 自己診断リストで対策の優先順位が分かる
-
9
ランサムウェア攻撃“究極の対策”はこれだ
-
10
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー