Hadoopとストレージシステムの良い関係【後編】
Hadoopの悩みとさよならできる、脱「HDFS」をかなえるストレージシステム4選（1/2 ページ）
「Apache Hadoop」の要ともいえる分散ファイルシステム「HDFS」には課題も少なくない。HDFSを使わなくても済むようになる、4つのストレージシステムを紹介する。
日本Hadoopユーザー会のWebサイト《クリックで拡大》
前編「Hadoopトラブルの“真犯人”、『HDFS』を使わずに済む代替手段とは」では、オープンソースの分散処理プラットフォーム「Apache Hadoop」の要である、分散ファイルシステム「HDFS」の課題について説明。共有ストレージシステムを使うことでHDFSの使用を回避できることを紹介した。後編は、HDFSが作るストレージプールの代替手段として使える4つのストレージシステムを紹介する。
併せて読みたいお勧め記事
Hadoopとストレージシステムの良い関係
Hadoopのメリット／デメリット
Hadoopディストリビューション比較
EMC Isilon
1つ目はEMCの「EMC Isilon」シリーズだ。クラスタ化されたノードは、業界標準のIntel製サーバベースで、直接接続ストレージ（DAS）とカスタムアプリケーションを使用してスケールアウト型のネットワーク接続ストレージ（NAS）を実現している。その基盤となるファイルシステムである「OneFS」は、ファイルシステム全体のイメージを全てのノードで維持するために、クラスタ内の通信と同期に2つの「InfiniBand」（サーバ／ストレージ間高速通信規格）を使用する。これによって一貫性のある方法で管理情報のやりとりを実現する。EMCによると、600社を超える大手企業がHadoop用途でIsilonを導入しているという。
Isilonがもたらす価値の鍵を握るのはOneFSだ。OneFSは、UNIXベースの運用環境であると同時にファイルシステムでもある。NAS用に最適化された1つのレイヤーにボリューム管理機能とRAID保護機能をまとめている。またファイル単位で冗長性を管理することで、ディスクのデータ配置を制御している。
Isilonは、HDFSのインタフェースを通じて複数のHadoopディストリビューションをサポートしている。例えば、Clouderaの「CDH」やHortonworksの「Hortonworks Data Platform」、Pivotalの「Pivotal HD」などだ。HDFSはIsilonクラスタの任意のノードに接続できる。HDFSからすると、Isilonノードは、HDFSにおけるNameNode（メタデータを格納するノード）またはDataNode（実データを格納するノード）としての役割を持つことになる。これは、Isilonを使って他のアプリケーションを稼働する場合も同じだ。そのためアプリケーションで作成したデータをHadoopで使用することがあるとしても、他の場所からコピーしたり取得したりする必要はない。データはIsilonクラスタに既に保存されているからだ。それから管理者は、Isilonの内蔵ストレージとデータ管理機能をHadoopに適用することもできる。
IBM Spectrum Scale
IBMの「IBM Spectrum Scale」は、Hadoopで利用できるスケールアウト型ストレージシステムだ。Spectrum Scaleは、ファイルストレージとオブジェクトストレージの両方の機能を持つ。
データ保護とセキュリティについては、ファイルシステムまたはファイルセット単位でのスナップショット機能と外部ストレージシステムへのバックアップ機能を提供する。外部ストレージシステムの候補として、バックアップ機器やテープなどがある。ストレージのセキュリティ機能としては、保存データの暗号化（オプション）や安全なデータ消去を搭載。認証には「LDAP」（Lightweight Directory Access Protocl）やMicrosoftの「Active Directory」といったディレクトリサービスが利用できる。トランザクションの整合性を確保しながら、同期または非同期によるデータの複製をすることも可能だ。
Spectrum Scaleは、自動ストレージ階層化を備える。パフォーマンスを求める場合はフラッシュストレージを使用し、安価な容量を求める場合は数TBのHDDを用いて、ポリシーに基づいてストレージ階層間でデータを自動的に移動する。また、補助の長期保管用ストレージ層としてテープが利用できる。
ポリシーベースのデータ圧縮をファイル単位で適用することも可能だ。これにより、ストレージの効率が約2倍になり、Hadoopクラスタでの処理負荷を軽減する。またメインフレームユーザーは、Spectrum ScaleをIBMのメインフレーム「IBM zSystems」と連係できる。Hadoopからすると、zSystemsはリモートのデータ安全地帯になることが多い。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社MatrixFlow] 「物流リソース最適化」ガイド：人員・配車・傭車を出庫依頼の確定前に決めきる -
製品資料
[株式会社キーエンス] なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは -
製品資料
[株式会社セールスフォース・ジャパン] 「CRMは設計と無関係」は本当か？ PLMとの融合で実現する高速開発 -
事例
[日本ヒューレット・パッカード合同会社] AIエージェントの時代にどう備える？ 「新たな働き手」を支える3要素とは -
製品資料
[日本ヒューレット・パッカード合同会社] “横並びの自動化”から脱却、AI活用で生産性と競争力を高める秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
2
ChatGPTは“検索しまくり”でGeminiは“淡泊”？ データが明かすAIの裏側
-
3
なぜ「全社配布Copilot」は使われないのか？ 失敗に学ぶAI定着
-
4
損保ジャパンはなぜ「COBOL」を捨てなかったのか？ 脱メインフレームの真相
-
5
肥大化した「SFA」の沼 4カ月でBigQuery×AppSheetの新システムを構築した方法
-
6
なぜ「Gemini 4 Argon」は出遅れたのか？ Googleが狙う“逆転のシナリオ”
-
7
次世代RPA「ハイパーオートメーション」が急成長か Gartnerが予測
-
8
「Wi-Fi 7」経由でWindowsが乗っ取られる？ 最高権限奪取の恐怖
-
9
昭和大学病院がeICUを導入、ICUの患者情報を遠隔地で一括管理
-
10
「何から始めればいい？」 情報漏えい対策で悲鳴を上げる中小企業のリアル
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化？ 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険？ 避けるべき理由と具体的な対策
-
3
プログラミング不要で誰でも実現できる、ネットワーク運用管理の自動化とは
-
4
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
5
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
6
LLMが兵器化？ 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
7
なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは
-
8
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
-
9
“あのファイル転送”で暗躍するノーウェアランサム
-
10
「オンプレミス回帰」せざるを得ない“合理的な理由”
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー