Hadoopとストレージシステムの良い関係【前編】
Hadoopトラブルの“真犯人”、「HDFS」を使わずに済む代替手段とは
「Apache Hadoop」の要ともいえる分散ファイルシステム「HDFS」。その課題を回避するために、共有ストレージシステムを使用するユーザー企業が増えている。その理由を紹介する。
Apache Hadoopの公式Wepページ《クリックで拡大》
大量データを複数のマシンに分散して処理できるオープンソースのプラットフォーム「Apache Hadoop」のユーザー企業は通常、複数の汎用（はんよう）サーバで並列処理するクラスタを独自に構築する。各サーバの内蔵ストレージを使用し、6～12台のディスクを「JBOD構成」（複数のディスクを論理的にまとめて1つのディスクに見せる構成）にするのが一般的だ。
Hadoopクラスタは、1つのデータを分割して複数のサーバに分散する「シェアードナッシング」アーキテクチャとして知られている。それは各サーバが独立して処理をすることによって、クラスタ内の全処理が並列に動くことに起因する。データのやりとりは、共通のネットワークを経由する。だがそれを除けば、コンピューティングやメモリ、ストレージといったリソースをクラスタ内で共有することはない。
併せて読みたいお勧め記事
Hadoopのメリット／デメリット
Hadoopディストリビューション比較
ストレージエリアネットワーク（SAN）やネットワーク接続ストレージ（NAS）といったストレージシステムは拡張性を備えるが、大規模構成にするとコストが高くなり過ぎることが往々にしてある。また高いパフォーマンスを実現するために必要な「参照の局所性」（特定のリソースにアクセスが集中すること。該当リソースを高速化するだけで全体のアクセス速度が高まる）に欠け、さらにシェアードナッシングの「何も共有しない」というルールにも反する。そのため、各クラスタノードに組み込んだ直接接続ストレージ（DAS）をHadoop用のストレージシステムとして使用することが多い。
Hadoopの分野では、いまだに激しく議論されていることがある。それは、データを複数のサーバに分散配置するファイルシステム「Hadoop Distributed File System」（HDFS）で作られるHadoopクラスタ内のストレージプールを使うか、クラスタ外部に構築した大規模環境向けストレージシステムを使うか、ということだ。最近では後者を採用するユーザー企業が増えている。データセンタークラスのストレージシステムは、オンラインの長期保管ストレージ（アクティブアーカイブ）として補助的に追加されている。本稿では、HDFSで作られるストレージプールの代替手段として採用されている共有ストレージシステムに注目する。
HDFSストレージプールの代替手段とHadoopの利用に関係する特定の機能にスポットを当てる前に、HDFSストレージプールの代替を検討する理由について幾つか確認しておく。
データ保護機能と災害復旧機能の不足
HDFSは通常、データ取得時に3つの複製データを作成することで、ディスク障害やデータ損失、ネットワークの切断などの障害から復旧できるようにしている。複製データの作成により、クラスタはディスク障害に耐えられるようになり、障害を起こさずに機器を交換できるようになる。だがデータの取得処理は遅くなり、情報へのアクセス速度に悪影響が及ぶ。その上、データの破損といった全てのデータ消失シナリオに対処できるわけでもない。
クラスタ外部に構築する共有ストレージシステムを使用すれば、固有の管理機能を適用することで、パフォーマンスを維持しながら長期的にデータを保持できる。共有ストレージシステムの管理機能には、データ保護や災害復旧用レプリケーション、ストレージ階層化などがある。
ストレージリソースとコンピューティングリソースが分離不可能
HDFSストレージプールは、サーバとストレージを結び付けることで、処理とデータの距離を最短にし、桁違いなパフォーマンスを実現する。ただしストレージプールの容量を増設するには、コンピューティングリソースとネットワークリソースを追加しなければならない。それも、実際に必要であるかどうかには関係なくだ。
共有ストレージシステムをクラスタ外部に構築すれば、管理者はサーバリソースとストレージリソースを個別に拡張できるようになる
データの入出力プロセスで生じる運用の問題
HDFSストレージプールでは、アクティブなデータストアからデータをコピーする際に多くの時間を必要としたり、ネットワークリソースに負荷が掛かったりする場合がある。批判的に見ると、このプロセスによりデータの不整合が生じる可能性がある。その結果、「本当に単一のデータソースに対してクエリを実行できているのか」という疑いをアプリケーションのユーザーが抱くようになる。
スケールアウトNASなど、Hadoopをサポートする大容量の共有ストレージシステムを使えば、アプリケーションを含め関連するシステムのデータを一元的に集約でき、データの不整合を生じる可能性を抑えることができる。
またストレージシステムベンダーは、次のような理由から分析は共有ストレージシステムで実行する必要があると主張する。
- ストレージ容量の確保に必要なインフラが減ることで、総所有コスト（TCO）が半分以下になる。またデータ取得時に完全な複製データを3つ作成する必要がなくなることで、ストレージ効率が上がる
- 各ノードでHDFSをインストール、再インストール、更新する必要がなくなることで管理効率が向上する
- Hadoopクラスタから共有ストレージシステムへストレージ機能と管理機能をオフロードできる。これにより、データ保護や階層化ストレージ、スナップショット、セキュリティ対策など複数のメリットが得られる
後編では、HDFSストレージプールの代替手段として使える4つのストレージシステムを紹介する。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[サイボウズ株式会社] 受注約1.5倍と年間2万3000時間超の業務時間を削減、日機装に学ぶDX実践術 -
製品レビュー
[サイボウズ株式会社] 人材不足にどう挑む？ ものづくり太郎が語る、製造現場でのAI活用成功の鍵 -
市場調査・トレンド
[グーグル・クラウド・ジャパン合同会社] 金融機関はAIエージェント導入でどう変わる？ 7つの変化から19の事例まで解説 -
市場調査・トレンド
[グーグル・クラウド・ジャパン合同会社] 製造業のエージェント型AI活用に向けて押さえておきたい5つのトレンドとは？ -
市場調査・トレンド
[グーグル・クラウド・ジャパン合同会社] 1231人への調査で見えた、企業が今直面するインフラの課題と今後採るべき戦略
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
RAGで「データをAIに送る」運用が限界を迎えている理由
-
2
Googleの業務向けAIエージェント「Gemini Agent」が登場 しかし課題は山積み
-
3
8割がアナログに逆戻りする“やっぱりな理由” DXを阻む2つの落とし穴
-
4
「Copilot」がIT予算を食いつぶす？ 高額請求を招く課金体系と節約術
-
5
【基本情報技術者試験】データ消失リスクを防ぐ3つの「バックアップ手法」を比較
-
6
Claude利用8割のGMO、AI人材の評価軸が「トークン管理」に変わった
-
7
SAPの負荷増に苦しむZeissが「リアルタイム分析」「安定運用」を両立させた道
-
8
なぜ「Claude Code」拡張は消しても危ないのか？ Cursorで不正版配信
-
9
いまIBM iエンジニアが直面する「5つの技術的課題」とその解決策
-
10
「AI時代の統合基盤・エンタープライズAI管理」に関するアンケート
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
侵入から横展開まで27秒の脅威にどう立ち向かう？ 防御のカギがEDRの理由
-
3
有識者が語る、中堅中小企業に求められる最新のサイバーセキュリティ対策とは
-
4
AI駆動攻撃にどう対抗する？ 超速の攻撃からエンドポイントを保護する方法
-
5
10G回線の真価をフルに享受するには？ 導入前にチェックしたいポイント
-
6
なぜAIは組織で定着しないのか？ 全社展開を阻む「3つの壁」と突破のヒント
-
7
パスワードレスへの移行で失敗しないためには？ 導入・運用上の注意点を解説
-
8
自社のセキュリティ対策は大丈夫？ 自己診断リストで対策の優先順位が分かる
-
9
ランサムウェア攻撃“究極の対策”はこれだ
-
10
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー