2016年08月29日 15時00分 公開
特集/連載

Hadoopトラブルの“真犯人”、「HDFS」を使わずに済む代替手段とはHadoopとストレージシステムの良い関係【前編】

「Apache Hadoop」の要ともいえる分散ファイルシステム「HDFS」。その課題を回避するために、共有ストレージシステムを使用するユーザー企業が増えている。その理由を紹介する。

[John Webster,TechTarget]
Apache Hadoopの公式Wepページ《クリックで拡大》

 大量データを複数のマシンに分散して処理できるオープンソースのプラットフォーム「Apache Hadoop」のユーザー企業は通常、複数の汎用(はんよう)サーバで並列処理するクラスタを独自に構築する。各サーバの内蔵ストレージを使用し、6〜12台のディスクを「JBOD構成」(複数のディスクを論理的にまとめて1つのディスクに見せる構成)にするのが一般的だ。

 Hadoopクラスタは、1つのデータを分割して複数のサーバに分散する「シェアードナッシング」アーキテクチャとして知られている。それは各サーバが独立して処理をすることによって、クラスタ内の全処理が並列に動くことに起因する。データのやりとりは、共通のネットワークを経由する。だがそれを除けば、コンピューティングやメモリ、ストレージといったリソースをクラスタ内で共有することはない。

ITmedia マーケティング新着記事

news127.jpg

GAFAの序列変動やSpotify、Zoomなどの動向に注目 「Best Global Brands 2020」
世界のブランド価値評価ランキング。Appleは8年連続1位で前年2位のGoogleは4位に後退しま...

news113.jpg

日本のスマホ決済アプリのインストール数は75%成長 バンキングアプリ利用も急増――Adjust調査
2020年上半期は特に日本において、新型コロナの影響でファイナンスアプリの利用が活発化...

news048.jpg

ニューノーマル初の年末商戦 成功の鍵は「送料無料」と「低価格」、そして……――Criteo予測
コロナ禍の収束が見通せないながらも、人々の消費は少しずつ動き出しています。ホリデー...