Hadoopとストレージシステムの良い関係【前編】
Hadoopトラブルの“真犯人”、「HDFS」を使わずに済む代替手段とは
「Apache Hadoop」の要ともいえる分散ファイルシステム「HDFS」。その課題を回避するために、共有ストレージシステムを使用するユーザー企業が増えている。その理由を紹介する。
Apache Hadoopの公式Wepページ《クリックで拡大》
大量データを複数のマシンに分散して処理できるオープンソースのプラットフォーム「Apache Hadoop」のユーザー企業は通常、複数の汎用（はんよう）サーバで並列処理するクラスタを独自に構築する。各サーバの内蔵ストレージを使用し、6～12台のディスクを「JBOD構成」（複数のディスクを論理的にまとめて1つのディスクに見せる構成）にするのが一般的だ。
Hadoopクラスタは、1つのデータを分割して複数のサーバに分散する「シェアードナッシング」アーキテクチャとして知られている。それは各サーバが独立して処理をすることによって、クラスタ内の全処理が並列に動くことに起因する。データのやりとりは、共通のネットワークを経由する。だがそれを除けば、コンピューティングやメモリ、ストレージといったリソースをクラスタ内で共有することはない。
併せて読みたいお勧め記事
Hadoopのメリット／デメリット
Hadoopディストリビューション比較
ストレージエリアネットワーク（SAN）やネットワーク接続ストレージ（NAS）といったストレージシステムは拡張性を備えるが、大規模構成にするとコストが高くなり過ぎることが往々にしてある。また高いパフォーマンスを実現するために必要な「参照の局所性」（特定のリソースにアクセスが集中すること。該当リソースを高速化するだけで全体のアクセス速度が高まる）に欠け、さらにシェアードナッシングの「何も共有しない」というルールにも反する。そのため、各クラスタノードに組み込んだ直接接続ストレージ（DAS）をHadoop用のストレージシステムとして使用することが多い。
Hadoopの分野では、いまだに激しく議論されていることがある。それは、データを複数のサーバに分散配置するファイルシステム「Hadoop Distributed File System」（HDFS）で作られるHadoopクラスタ内のストレージプールを使うか、クラスタ外部に構築した大規模環境向けストレージシステムを使うか、ということだ。最近では後者を採用するユーザー企業が増えている。データセンタークラスのストレージシステムは、オンラインの長期保管ストレージ（アクティブアーカイブ）として補助的に追加されている。本稿では、HDFSで作られるストレージプールの代替手段として採用されている共有ストレージシステムに注目する。
HDFSストレージプールの代替手段とHadoopの利用に関係する特定の機能にスポットを当てる前に、HDFSストレージプールの代替を検討する理由について幾つか確認しておく。
データ保護機能と災害復旧機能の不足
HDFSは通常、データ取得時に3つの複製データを作成することで、ディスク障害やデータ損失、ネットワークの切断などの障害から復旧できるようにしている。複製データの作成により、クラスタはディスク障害に耐えられるようになり、障害を起こさずに機器を交換できるようになる。だがデータの取得処理は遅くなり、情報へのアクセス速度に悪影響が及ぶ。その上、データの破損といった全てのデータ消失シナリオに対処できるわけでもない。
クラスタ外部に構築する共有ストレージシステムを使用すれば、固有の管理機能を適用することで、パフォーマンスを維持しながら長期的にデータを保持できる。共有ストレージシステムの管理機能には、データ保護や災害復旧用レプリケーション、ストレージ階層化などがある。
ストレージリソースとコンピューティングリソースが分離不可能
HDFSストレージプールは、サーバとストレージを結び付けることで、処理とデータの距離を最短にし、桁違いなパフォーマンスを実現する。ただしストレージプールの容量を増設するには、コンピューティングリソースとネットワークリソースを追加しなければならない。それも、実際に必要であるかどうかには関係なくだ。
共有ストレージシステムをクラスタ外部に構築すれば、管理者はサーバリソースとストレージリソースを個別に拡張できるようになる
データの入出力プロセスで生じる運用の問題
HDFSストレージプールでは、アクティブなデータストアからデータをコピーする際に多くの時間を必要としたり、ネットワークリソースに負荷が掛かったりする場合がある。批判的に見ると、このプロセスによりデータの不整合が生じる可能性がある。その結果、「本当に単一のデータソースに対してクエリを実行できているのか」という疑いをアプリケーションのユーザーが抱くようになる。
スケールアウトNASなど、Hadoopをサポートする大容量の共有ストレージシステムを使えば、アプリケーションを含め関連するシステムのデータを一元的に集約でき、データの不整合を生じる可能性を抑えることができる。
またストレージシステムベンダーは、次のような理由から分析は共有ストレージシステムで実行する必要があると主張する。
- ストレージ容量の確保に必要なインフラが減ることで、総所有コスト（TCO）が半分以下になる。またデータ取得時に完全な複製データを3つ作成する必要がなくなることで、ストレージ効率が上がる
- 各ノードでHDFSをインストール、再インストール、更新する必要がなくなることで管理効率が向上する
- Hadoopクラスタから共有ストレージシステムへストレージ機能と管理機能をオフロードできる。これにより、データ保護や階層化ストレージ、スナップショット、セキュリティ対策など複数のメリットが得られる
後編では、HDFSストレージプールの代替手段として使える4つのストレージシステムを紹介する。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社キーエンス] なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは -
製品資料
[株式会社セールスフォース・ジャパン] 「CRMは設計と無関係」は本当か？ PLMとの融合で実現する高速開発 -
事例
[日本ヒューレット・パッカード合同会社] AIエージェントの時代にどう備える？ 「新たな働き手」を支える3要素とは -
製品資料
[日本ヒューレット・パッカード合同会社] “横並びの自動化”から脱却、AI活用で生産性と競争力を高める秘訣 -
製品資料
[サイボウズ株式会社] AIが「わざわざ使うツール」になっていない？ 業務で自然に使う導線にする秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
なぜ「全社配布Copilot」は使われないのか？ 失敗に学ぶAI定着
-
2
法務と開発者で「言葉が通じない」問題 トヨタやソニーが語るOSS管理の真実
-
3
【漫画付き】ひとり情シス協会が明かす、RAG導入でしくじる企業「2つの共通点」
-
4
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
5
損保ジャパンはなぜ「COBOL」を捨てなかったのか？ 脱メインフレームの真相
-
6
ChatGPTは“検索しまくり”でGeminiは“淡泊”？ データが明かすAIの裏側
-
7
情報漏えいはなぜ繰り返されるのか 今すぐ見直すべき「境界」
-
8
BMWも導入 78兆円市場に化ける「フィジカルAI」の衝撃
-
9
「Wi-Fi 7」経由でWindowsが乗っ取られる？ 最高権限奪取の恐怖
-
10
「AI活用を前提とした業務PCへの移行」に関するアンケート
ホワイトペーパーランキング PR
-
1
不審メールの経路や見せ方に変化？ 2026年夏の3事例から見えた動向と対処方法
-
2
家庭用Wi-Fiルーターの業務利用は危険？ 避けるべき理由と具体的な対策
-
3
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
4
財務部門がAIを最大限に活用する方法 無駄のない戦略的リーダーシップへの道
-
5
LLMが兵器化？ 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント
-
6
「オンプレミス回帰」せざるを得ない“合理的な理由”
-
7
なぜRPA導入は頓挫する？ シナリオ作成の壁を乗り越える解決策とは
-
8
生成AIを開発に導入しても効果が見えない？ 実証実験で分かった成果と課題
-
9
経産省DX指針から読み解く、受発注業務デジタル化ロードマップ
-
10
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー