Hadoopとストレージシステムの良い関係【後編】
Hadoopの悩みとさよならできる、脱「HDFS」をかなえるストレージシステム4選（1/2 ページ）
「Apache Hadoop」の要ともいえる分散ファイルシステム「HDFS」には課題も少なくない。HDFSを使わなくても済むようになる、4つのストレージシステムを紹介する。
日本Hadoopユーザー会のWebサイト《クリックで拡大》
前編「Hadoopトラブルの“真犯人”、『HDFS』を使わずに済む代替手段とは」では、オープンソースの分散処理プラットフォーム「Apache Hadoop」の要である、分散ファイルシステム「HDFS」の課題について説明。共有ストレージシステムを使うことでHDFSの使用を回避できることを紹介した。後編は、HDFSが作るストレージプールの代替手段として使える4つのストレージシステムを紹介する。
併せて読みたいお勧め記事
Hadoopとストレージシステムの良い関係
Hadoopのメリット／デメリット
Hadoopディストリビューション比較
EMC Isilon
1つ目はEMCの「EMC Isilon」シリーズだ。クラスタ化されたノードは、業界標準のIntel製サーバベースで、直接接続ストレージ（DAS）とカスタムアプリケーションを使用してスケールアウト型のネットワーク接続ストレージ（NAS）を実現している。その基盤となるファイルシステムである「OneFS」は、ファイルシステム全体のイメージを全てのノードで維持するために、クラスタ内の通信と同期に2つの「InfiniBand」（サーバ／ストレージ間高速通信規格）を使用する。これによって一貫性のある方法で管理情報のやりとりを実現する。EMCによると、600社を超える大手企業がHadoop用途でIsilonを導入しているという。
Isilonがもたらす価値の鍵を握るのはOneFSだ。OneFSは、UNIXベースの運用環境であると同時にファイルシステムでもある。NAS用に最適化された1つのレイヤーにボリューム管理機能とRAID保護機能をまとめている。またファイル単位で冗長性を管理することで、ディスクのデータ配置を制御している。
Isilonは、HDFSのインタフェースを通じて複数のHadoopディストリビューションをサポートしている。例えば、Clouderaの「CDH」やHortonworksの「Hortonworks Data Platform」、Pivotalの「Pivotal HD」などだ。HDFSはIsilonクラスタの任意のノードに接続できる。HDFSからすると、Isilonノードは、HDFSにおけるNameNode（メタデータを格納するノード）またはDataNode（実データを格納するノード）としての役割を持つことになる。これは、Isilonを使って他のアプリケーションを稼働する場合も同じだ。そのためアプリケーションで作成したデータをHadoopで使用することがあるとしても、他の場所からコピーしたり取得したりする必要はない。データはIsilonクラスタに既に保存されているからだ。それから管理者は、Isilonの内蔵ストレージとデータ管理機能をHadoopに適用することもできる。
IBM Spectrum Scale
IBMの「IBM Spectrum Scale」は、Hadoopで利用できるスケールアウト型ストレージシステムだ。Spectrum Scaleは、ファイルストレージとオブジェクトストレージの両方の機能を持つ。
データ保護とセキュリティについては、ファイルシステムまたはファイルセット単位でのスナップショット機能と外部ストレージシステムへのバックアップ機能を提供する。外部ストレージシステムの候補として、バックアップ機器やテープなどがある。ストレージのセキュリティ機能としては、保存データの暗号化（オプション）や安全なデータ消去を搭載。認証には「LDAP」（Lightweight Directory Access Protocl）やMicrosoftの「Active Directory」といったディレクトリサービスが利用できる。トランザクションの整合性を確保しながら、同期または非同期によるデータの複製をすることも可能だ。
Spectrum Scaleは、自動ストレージ階層化を備える。パフォーマンスを求める場合はフラッシュストレージを使用し、安価な容量を求める場合は数TBのHDDを用いて、ポリシーに基づいてストレージ階層間でデータを自動的に移動する。また、補助の長期保管用ストレージ層としてテープが利用できる。
ポリシーベースのデータ圧縮をファイル単位で適用することも可能だ。これにより、ストレージの効率が約2倍になり、Hadoopクラスタでの処理負荷を軽減する。またメインフレームユーザーは、Spectrum ScaleをIBMのメインフレーム「IBM zSystems」と連係できる。Hadoopからすると、zSystemsはリモートのデータ安全地帯になることが多い。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[o9ソリューションズ・ジャパン株式会社] 「改正物流効率化法対策」徹底解説 総物流費を抑制するサプライチェーン戦略 -
製品資料
[o9ソリューションズ・ジャパン株式会社] 「サプライチェーン最適化」実践ガイド：効果的な意思決定を実現する秘訣とは？ -
製品資料
[株式会社リンプレス] 非デジタル／IT人材を「自走するDX推進者」に変えるための育成ロードマップ -
市場調査・トレンド
[ワンアイルコンサルティング株式会社] AI時代の組織設計：「判断と責任」を人に残すための2つの原則とは？ -
技術文書・技術解説
[ワンアイルコンサルティング株式会社] システムの保守がモダン化を阻む？ 「変えない判断」から脱却する方法とは
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「完璧な設計」なのに3000万円溶けた AWSの失敗事例から学ぶ3つの教訓
-
2
1200万円のSaaS導入を回避 スギ薬局「運用費10万円」のAIエージェント構築術
-
3
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
4
LLMの「過学習」、正しく説明している文章はどれ？
-
5
「AIバブル」は崩壊するのか？ 熱狂の後に来る“尻拭い”と4つの防衛策
-
6
パナソニックが国内製造26拠点のERPを「SAP S/4HANA」に統一 アドオン7割削減
-
7
脱VMwareの前提が崩れる BroadcomのVDDK公開停止で確認すべき点
-
8
高額な「AI PC」を一般従業員も使えたら？ 費用のハードルを一気に下げる方法
-
9
守るべきは「開発者のフロー状態」 AIによる生産性改善の6施策
-
10
「RAGの利用」に関するアンケート
ホワイトペーパーランキング PR
-
1
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは？
-
2
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
3
生成AIで文書活用を進めるには？ 効率化と安全性をどう両立する
-
4
Windows PCとMacの選択制で生産性向上 LINEヤフーが実践する運用管理方法とは
-
5
DX／AI投資の壁を突破、現代の最高財務責任者が直面する課題と克服のヒント
-
6
「Google Workspace」活用事例34選、先進の生成AIによる組織変革の全貌
-
7
「人員を増やす」という選択肢はない 情シスが負の連鎖から抜け出すには？
-
8
Linuxのスキルを証明する“激推し”の認定資格はこれだ
-
9
「問題が深刻化しやすいプロジェクト管理」から脱却する方法とは？
-
10
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー