ブームは去っても重要なインフラに変わりはない

Hadoop 3.0が“控え目”にデビュー、クラウドとGPU対応を強化

今はポストHadoopの時代なのか。支持者に言わせれば、ビッグデータフレームワークの最新版「Apache Hadoop 3.0」は機械学習アプリケーションとクラウドシステムで成功を収めており、まだその時代は終わっていない。

公開 2018年01月19日 05時00分

著者

Jack Vaughan

[TechTarget]

印刷する Googleで優先するソースとして追加

　華々しい新技術の中でもまだ居場所はあるかもしれないが、「Apache Hadoop」はかつてのような目新しい存在でも、華々しい存在でもなくなった。そのことは、やや控え目な「Apache Hadoop 3.0」のデビューに反映されている。

　それを表す事例として2017年、かつて“Hadoopカンファレンス”として知られていた複数のイベントから、Hadoopの名が消えた。また、IBMがHadoopのディストリビューションプロバイダーから抜け、機械学習アプリケーションや「Apache Spark」および「TensorFlow」のようなツールが、ビッグデータの取り組みの多くで注目を浴びるようになった。

　従って、2017年12月半ばのHadoop 3.0リリースに伴う宣伝が控え目だったことに、それほどの驚きはない。だが今回のリリースには特筆すべき進化がある。登場から11年になるこの分散型データフレームワークのアップデートでは、ストレージ条件が低くなり、最新のグラフィックス処理ユニット（GPU）リソース上でのクラスタプールが可能になり、新しいフェデレーションスキームが加わって、要となるリソースマネジャーのYARNとジョブスケジューラが1つのクラスタで実行できるHadoopノードの数が大幅に増大した。

　この後者の機能は、多くが目指していると思われるHadoopクラウドアプリケーションに利用できる。

併せて読みたいお薦め記事

ポストHadoop時代へ

Hadoop事例

【事例】じゃらん、ゼクシィにも活用、リクルートはなぜ「Hadoop」を使う？

Hadoopディストリビューション比較

徹底比較：Hadoopの主要ディストリビューションを4つの要素で見る

数万ノードへの拡張

　「YARNのためのフェデレーションは、はるかに大型のクラスタへの拡張を意味する」。Microsoftの主席サイエンティストで、Hadoopの貢献者であり、Hadoop Project Management Committee（PMC）のメンバーでもあるカルロ・オルド・キュリノ氏はそう語る。フェデレーションによって実質的に、ルーティング層がHadoop Distributed File System（HDFS）クラスタの前に置かれるようになったと同氏は解説する。

　キュリノ氏は、PMCメンバーとしての立場で話をしているのであって、Microsoftの立場から話をしているのではないと強調する。ただ、拡張性の向上は、Microsoftの「Microsoft Azure」のようなクラウドで役に立つと付け加えた。「最大級のHadoopクラスタ（の大半）は、これまでは数千ノードの前半の規模だったが、ユーザーは数万ノードへの拡張を望んでいる」と同氏は言う。

　もしHadoopアプリケーションに、YARNを実行している何百万台ものマシンが含まれるようになれば、フェデレーションもそこに到達する必要が生じると同氏は指摘する。将来に目を向けると、Hadoopの今後のアップデートではYARNにスポットが当てられると同氏は予想する。

　実際に、2013年にリリースされたHadoop 2.0では、YARNが最大の焦点だった。これは特に、もともとのMapReduce処理エンジンへの依存状態からHadoopを切り離したことによる。従って、これがHadoop 3.0で中心的な役割を担っていることに意外性はない。

　キュリノ氏の予想では、YARNは分散型アーキテクチャの中で重要な新トレンドを推し進める。「YARNはサーバレス運動の原点だった」と同氏は言う。サーバレスのコンピューティングスキームは、Dockerコンテナを背景に浮上して存在感を増している。

　同氏によると、正式提供が開始され、プロダクション対応となったHadoop 3.0に盛り込まれた重要なアップデートの一部は、これまでのポイントアップデートの中で醸成されてきた。

Hadoop 3.0の内容

　Hadoop 3.0の新しい側面の中ではGPU対応が重要だと指摘するのは、ビッグデータ技術ベンダーのHortonworksでHadoopのYARNとMapReduceの開発を率いるビノッド・バビラパリ氏。

　その理由として、GPUは、フィールドプログラマブルゲートアレイ（こちらもHadoop 3.0 APIアップデートでサポートされた）と並び、一部の機械学習やディープラーニングのワークロードに必須のハードウェアになりつつある。

　Hadoop 3.0に盛り込まれたようなAPIのアップデートがなければ、そうしたワークロードが現代のデータプールにアクセスするために、特別な構成が必要になる。

　「Hadoop 3.0でわれわれは、大規模化、ストレージの効率化およびディープラーニングと人工知能（AI）ワークロードの向上へと動き、クラウドとの相互運用性を向上させている」とバビラパリ氏は説明する。後者に関しては、Hadoop 3.0ではストレージ容量を節約する一般的なHadoopレプリケーションの代替として、イレージャーコーディングを通じてサポート向上を図った。

Hadoopは後退するか

　キュリノ、バビラパリの両氏とも、HDFSとMapReduceが緊密に組み合わさったHadoopの当初からのモデルは徐々に消滅するかもしれないとの見方で一致する。だが、それは必ずしも、一部の専門家が言うような「ポストHadoop」時代を宣言する理由にはならないと話す。

　キュリノ氏は言う。「『Hadoopは死んだ』というセンセーショナルな言い方について1つ気付いたのは、特徴付けに誤りがあるということだ。確かにMapReduceの人気は薄れた。これは（Hadoop）コミュニティーではずっと前から明らかだった。だからわれわれはYARNに取り組み始めた」

　一方のバビラパリ氏はHadoopについて、一層パワーを増し、新しい用途を可能にしていると見る。

　「この継続的な再発明は、Hadoopがこれからもずっと意味を持ち続けることを物語る」と同氏は話し、たとえビッグデータシステムのバックグラウンドで実行される存在になったとしても、「ますますデータ駆動性を強めつつある世界を動かす重要インフラの一部であり続けるだろう」と予想している。

印刷する

この記事の著者

Jack Vaughan

Hadoop 3.0が“控え目”にデビュー、クラウドとGPU対応を強化

併せて読みたいお薦め記事

ポストHadoop時代へ

Hadoop事例

Hadoopディストリビューション比較

数万ノードへの拡張

Hadoop 3.0の内容

Hadoopは後退するか

この記事の著者

関連記事

新着ホワイトペーパー PR

瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓

Hadoop 3.0が“控え目”にデビュー、クラウドとGPU対応を強化

併せて読みたいお薦め記事

ポストHadoop時代へ

Hadoop事例

Hadoopディストリビューション比較

数万ノードへの拡張

Hadoop 3.0の内容

Hadoopは後退するか

この記事の著者

関連記事

「Hadoopの時代は終わる」 ビッグデータ解析で主役が入れ替わる“ストレージ的”理由

Hadoopの父、カッティング氏に聞く今後のビッグデータ活用法

新着ホワイトペーパー PR

瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓

「Hadoopの時代は終わる」　ビッグデータ解析で主役が入れ替わる“ストレージ的”理由