Hadoopとストレージシステムの良い関係【前編】
Hadoopトラブルの“真犯人”、「HDFS」を使わずに済む代替手段とは
「Apache Hadoop」の要ともいえる分散ファイルシステム「HDFS」。その課題を回避するために、共有ストレージシステムを使用するユーザー企業が増えている。その理由を紹介する。
Apache Hadoopの公式Wepページ《クリックで拡大》
大量データを複数のマシンに分散して処理できるオープンソースのプラットフォーム「Apache Hadoop」のユーザー企業は通常、複数の汎用（はんよう）サーバで並列処理するクラスタを独自に構築する。各サーバの内蔵ストレージを使用し、6～12台のディスクを「JBOD構成」（複数のディスクを論理的にまとめて1つのディスクに見せる構成）にするのが一般的だ。
Hadoopクラスタは、1つのデータを分割して複数のサーバに分散する「シェアードナッシング」アーキテクチャとして知られている。それは各サーバが独立して処理をすることによって、クラスタ内の全処理が並列に動くことに起因する。データのやりとりは、共通のネットワークを経由する。だがそれを除けば、コンピューティングやメモリ、ストレージといったリソースをクラスタ内で共有することはない。
併せて読みたいお勧め記事
Hadoopのメリット／デメリット
Hadoopディストリビューション比較
ストレージエリアネットワーク（SAN）やネットワーク接続ストレージ（NAS）といったストレージシステムは拡張性を備えるが、大規模構成にするとコストが高くなり過ぎることが往々にしてある。また高いパフォーマンスを実現するために必要な「参照の局所性」（特定のリソースにアクセスが集中すること。該当リソースを高速化するだけで全体のアクセス速度が高まる）に欠け、さらにシェアードナッシングの「何も共有しない」というルールにも反する。そのため、各クラスタノードに組み込んだ直接接続ストレージ（DAS）をHadoop用のストレージシステムとして使用することが多い。
Hadoopの分野では、いまだに激しく議論されていることがある。それは、データを複数のサーバに分散配置するファイルシステム「Hadoop Distributed File System」（HDFS）で作られるHadoopクラスタ内のストレージプールを使うか、クラスタ外部に構築した大規模環境向けストレージシステムを使うか、ということだ。最近では後者を採用するユーザー企業が増えている。データセンタークラスのストレージシステムは、オンラインの長期保管ストレージ（アクティブアーカイブ）として補助的に追加されている。本稿では、HDFSで作られるストレージプールの代替手段として採用されている共有ストレージシステムに注目する。
HDFSストレージプールの代替手段とHadoopの利用に関係する特定の機能にスポットを当てる前に、HDFSストレージプールの代替を検討する理由について幾つか確認しておく。
データ保護機能と災害復旧機能の不足
HDFSは通常、データ取得時に3つの複製データを作成することで、ディスク障害やデータ損失、ネットワークの切断などの障害から復旧できるようにしている。複製データの作成により、クラスタはディスク障害に耐えられるようになり、障害を起こさずに機器を交換できるようになる。だがデータの取得処理は遅くなり、情報へのアクセス速度に悪影響が及ぶ。その上、データの破損といった全てのデータ消失シナリオに対処できるわけでもない。
クラスタ外部に構築する共有ストレージシステムを使用すれば、固有の管理機能を適用することで、パフォーマンスを維持しながら長期的にデータを保持できる。共有ストレージシステムの管理機能には、データ保護や災害復旧用レプリケーション、ストレージ階層化などがある。
ストレージリソースとコンピューティングリソースが分離不可能
HDFSストレージプールは、サーバとストレージを結び付けることで、処理とデータの距離を最短にし、桁違いなパフォーマンスを実現する。ただしストレージプールの容量を増設するには、コンピューティングリソースとネットワークリソースを追加しなければならない。それも、実際に必要であるかどうかには関係なくだ。
共有ストレージシステムをクラスタ外部に構築すれば、管理者はサーバリソースとストレージリソースを個別に拡張できるようになる
データの入出力プロセスで生じる運用の問題
HDFSストレージプールでは、アクティブなデータストアからデータをコピーする際に多くの時間を必要としたり、ネットワークリソースに負荷が掛かったりする場合がある。批判的に見ると、このプロセスによりデータの不整合が生じる可能性がある。その結果、「本当に単一のデータソースに対してクエリを実行できているのか」という疑いをアプリケーションのユーザーが抱くようになる。
スケールアウトNASなど、Hadoopをサポートする大容量の共有ストレージシステムを使えば、アプリケーションを含め関連するシステムのデータを一元的に集約でき、データの不整合を生じる可能性を抑えることができる。
またストレージシステムベンダーは、次のような理由から分析は共有ストレージシステムで実行する必要があると主張する。
- ストレージ容量の確保に必要なインフラが減ることで、総所有コスト（TCO）が半分以下になる。またデータ取得時に完全な複製データを3つ作成する必要がなくなることで、ストレージ効率が上がる
- 各ノードでHDFSをインストール、再インストール、更新する必要がなくなることで管理効率が向上する
- Hadoopクラスタから共有ストレージシステムへストレージ機能と管理機能をオフロードできる。これにより、データ保護や階層化ストレージ、スナップショット、セキュリティ対策など複数のメリットが得られる
後編では、HDFSストレージプールの代替手段として使える4つのストレージシステムを紹介する。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社インターネットイニシアティブ] 人材不足と属人化が深刻に 「攻められない情シス」を変革する一手とは？ -
製品資料
[株式会社イトーキ] 会議室が「空いてるのに使えない」問題の解決策とは？ -
事例
[株式会社イトーキ] 製造現場を取り巻く経営課題 「持続的な現場力」を強化する方法とは？ -
製品資料
[株式会社イトーキ] 社員の力を引き出す、「ABW（Activity Based Working）」を実現する秘訣とは？ -
製品資料
[株式会社BREXA Technology] 「インシデント初動対応」が遅れる3つの構造的要因とは？
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
2
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
3
なぜノートPCの更新が「4年→6年」に？ AIインフラ急拡大の余波
-
4
企業が「Microsoft Azure」を選ばざるを得ない理由
-
5
「RAGは終わった」は本当か――ロングコンテキストが変えたこと、変えられないこと
-
6
「オフィス移転・刷新に伴うネットワーク環境の実態」に関するアンケート
-
7
「セキュリティ運用と侵入後の初動防御」に関するアンケート
-
8
“RAG is dead”は本当？ AIエージェントが切り拓く「次世代RAG」と検索の未来
-
9
WiMAXとは何か――技術とアプリケーション
-
10
「Windows」の不要なファイルを安全に消して容量を空ける方法
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
AIが苦手な「汚いデータ」になっていない？ AI投資を無駄にしないための注意点
-
3
急増する高度なフィッシング詐欺 先回りしてブロックするには何が必要？
-
4
法人向け光回線のプランはどう選ぶ？ 機能面／保守体制／コストを一覧で比較
-
5
三井ホームに学ぶ「無線LAN環境」構築 快適なオフィスと高度なIT運用の両立法
-
6
SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法
-
7
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
8
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
-
9
10G回線の真価をフルに享受するには？ 導入前にチェックしたいポイント
-
10
サイバー脅威「トップ50」完全解説ガイド、新たな攻撃手法に対抗するには
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー