Cloudera、Hortonworks、IBM、MapRの商用製品が対象
徹底比較:Hadoopの主要ディストリビューションを4つの要素で見る(1/2 ページ)
Hadoopの主要ディストリビューションを「デプロイモデル」「エンタープライズクラスの機能」「セキュリティとデータ保護機能」「サポートサービス」という4つの角度から比較する。
Hadoopエコシステムを構成するのは、オープンソースソフトウェア(OSS)コンポーネントだ。だが、ベンダーからサブスクリプションを購入して、商用Hadoopプラットフォームを使用するメリットも極めて大きい。例えば、技術サポートやトレーニングを受けられる。OSSコミュニティーからは入手できない企業向けの機能にもアクセスすることができる。Hadoopの商用ディストリビューションのエンタープライズエディションが提供するコアコンポーネントは、いずれもHadoopエコシステムスタックと変わらない。従って、主な差別化要因はOSS以外の機能になる。
このところ市場の変化によって、Hadoopベンダーの数は減っている。例えば、2016年5月、Pivotal SoftwareはHadoopの自社ディストリビューション販売から撤退し、Hortonworksのディストリビューションの再販を開始すると発表した。それでもHadoopディストリビューションを選ぶとなれば、独立系のHadoop専門ベンダー、クラウドプロバイダー、大手ITベンダーなど、さまざまなグループを検討しなければならない。
本稿では、どのHadoopベンダーが自社に適しているかを判断できるよう、主な特徴に基づいてHadoopの主要ディストリビューションを分類した。具体的に分類の基準にしたのは「デプロイモデル」「エンタープライズクラスの機能」「セキュリティとデータ保護機能」「サポートサービス」の4つだ。
Hadoopビッグデータ管理エコシステムは、スケーラブルなデータストレージとハイパフォーマンスの分散コンピューティングをサポートするよう実装されているが、実際のパフォーマンスは、ソフトウェアの実装など幾つかの要因に左右される。だが、パフォーマンスの問題は、導入予定のアプリケーション自体に起因することが多い。そのため、Hadoopディストリビューションがどのようにユーザー企業のビジネスニーズに対応するかについても確認する。
1.Hadoopデプロイモデル
Hadoopベンダーの多くはデプロイ方法を複数サポートしている。ところが、MicrosoftとAmazon Web Services(Amazon)のHadoopディストリビューションは、クラウド環境にしかデプロイされない。Microsoftは「Hortonworks Data Platform」(HDP)をベースとするマネージサービス「HDInsight」をサポートするために「Microsoft Azure」(Azure)を活用している。HDPはPivotalが再販するHadoopディストリビューションと同じだ。Amazonは、「Amazon EC2(Elastic Compute Cloud)」と「Amazon S3(Simple Storage Service)」を「Amazon EMR(Elastic MapReduce)」の基盤とする。EMRにはHadoopディストリビューションと多様なツールやテクノロジーがバンドルされている他、MapRのHadoopディストリビューションを使用するオプションも用意されている。
クラウドデプロイモデルでは、Hadoopクラスタを迅速かつ簡単にプロビジョニングできる。MicrosoftとAmazonはいずれも、コンピューティングとストレージ容量のニーズの変化に対応するため、ユーザーが環境の規模を適宜変更できるようにしている。この柔軟性の高さは、コンピューティングやストレージのニーズが、日々変わり続ける企業にとってはうってつけだ。
Hadoopの他の主要ベンダー、Cloudera、Hortonworks、IBM、MapRにもクラウドデプロイモデルがあるが、それだけに限られてはいない。オンプレミスにも、LinuxやWindowsなどのさまざまなサーバのプライベートクラウドにもデプロイ可能だ。さらに、ClouderaとHortonworks、MapRは、VMwareなどの仮想環境で実行できるサンドボックス版も用意している。
おわびと訂正(2016年6月13日21時30分)
以下の通り訂正しおわびいたします。
【訂正前】
ClouderaとMapRはVMwareなどの仮想環境で実行できるサンドボックス版も用意している。
【訂正後】
ClouderaとHortonworks、MapRは、VMwareなどの仮想環境で実行できるサンドボックス版も用意している。
ポイント
ビッグデータ環境を社内で管理するのと、ホスト型サービスを使用するのとでは、どちらが適切なのかを考えることだ。環境を社内で管理するのであれば、環境がオンプレミスの物理プラットフォームであろうと、クラウドベースのサービスを使用して環境をホストしていようと、ソフトウェア環境の監視と保守、そしてシステムの継続的監視が必要になる。オンプレミスのオプションが好まれるのは、経験豊富な社員がいて、システム規模を正確に把握している場合、またはセキュリティを確保するために信頼性の高いファイアウォールの背後でシステムを管理する必要がある場合だ。
もう1つのホスト型サービスでは、運用環境の構成、起動、管理、監視を支援するホスト型サービスプラットフォームをベンダーが提供する。こちらは、必要とするシステム規模が分からない場合や、需要の増加に伴ってシステム規模の拡大が予想される場合に好まれる。クラウドサービスやホスト型サービスを利用するメリットは、ストレージリソースにも処理リソースにも、必要な柔軟性が提供されることだ。
2.Hadoop主要ディストリビューションのエンタープライズクラスの機能
Hadoopの独立系ベンダー3社には、開発アプローチに幾つか大きな違いがある。Clouderaは通常、自社開発のアドオンテクノロジーを使ってHadoopコアを補強する。クエリエンジンの「Impala SQL-on-Hadoop」、管理ツールの「Cloudera Manager」、リアルタイム分析アプリケーションに使用するデータストア「Kudu」などがその例だ。Kuduは「Hadoop Distributed File System」(HDFS)に代わるデータストアになる。同社は、こうしたテクノロジーの初期開発が終了すると、基本的にはオープンソース化を行うようになっている。これに対してHortonworksは「Apache Hadoopコミュニティーでソフトウェアを100%強化し、独自の拡張機能は設けない」ことを売りにしている。同社の推進力となるのはプロビジョニングと管理のソフトウェア「Ambari」などのアドオンテクノロジーで、これらは開発当初からオープンソースプロジェクトとして開始する。また、同社は、IBMなどの企業と連携し、Hadoopプラットフォーム共通のコア技術仕様を作成することを目的とする団体「Open Data Platform Initiative」(ODPi)を立ち上げている。これにより、相互運用性を高め、ベンダー固有機能を最小限に抑えることができるというのがODPiメンバーの考え方だ。
第3の道を進んでいるのがMapRだ。同社はHDFSに代わる独自のファイルシステム「MapR-FS」の構築や、独自のNoSQLデータベース「MapR-DB」などの基盤テクノロジーの開発を進めている。こうした独自開発は、エンタープライズクラスのパフォーマンスニーズを持つ、大規模クラスタ展開をサポートすることが目的だ。また同社は、リアルタイムのストリーム処理アプリケーションに徐々に照準を合わせている。2015年12月、同社は製品名を「MapR M7」「MapR M5」「MapR M3」から「MapR Converged Data Platform」に変更した。MapR Converged Data Platformでは、バッチジョブとリアルタイムジョブの両方に対処するため、HadoopとMapRファイルシステム/データベースを、Apache Spark処理エンジンと「MapR Streams」に結合している。MapR Streamsとは新しいイベントストリーミングテクノロジーだ。
機能を見てみよう。Cloudera「CDH」ディストリビューションのエンタープライズエディションは運用管理/レポート/ビジネス継続性サポート用のツールを提供し、「構成履歴とロールバック」「ローリングアップデート」「サービスの再起動」「自動災害復旧」などの機能がある。MapRのエンタープライズエディションは、Hadoopクラスタ内のデータに関して管理性、回復性、信頼性を確保するツールを提供すると同時に、マルチテナント機能や、高可用性機能も追加する。Hortonworksは「HDPサポートサブスクリプション」によってプロアクティブな監視と保守を実現する。
一方、IBMは「IBM BigInsights for Apache Hadoop」というディストリビューションで分析指向の戦略を取っている。これは、ビジネスインテリジェンスと高度な分析ツールの販売に傾注するという同社のアプローチに沿うものだ。IBMは、エンタープライズクラスの機能を備えたさまざまな付加価値モジュールをBigInsightsの一部として提供している。「Analyst」モジュールや「Data Scientist」モジュールなどがその例だ。Analystモジュールは「Big SQL」機能を提供してHadoopなどのデータソースにSQLによるフェデレーションアクセスを可能にする。Analystモジュールに含まれる「BigSheets」は、ユーザーがスプレッドシートのように直感的に操作できるインタフェースを使って、Hadoopに保存されている大きなデータセットを探索、変換、視覚化できるようにしている。IBM BigInsights for Apache Hadoopの別バージョンの1つ「BigInsights Data Scientist Module」には、R言語版やテキスト分析のほか、オープンソースコミュニティーに貢献している「SystemML」という機械学習ライブラリが含まれる。
Amazon EMRの特徴は、そのクラウドプラットフォームにあるが、Hadoopサービスの一環として、クラスタの監視/管理ツールや、アプリケーションとクラスタの相互運用を実現するツールも提供する。
Amazon EMRは、進捗を追跡してクラスタの正常性を測定するためのメトリックを収集する。クラスタの正常性メトリックはコマンドラインインタフェース、ソフトウェア開発者キット、APIからアクセスでき、EMR管理コンソールに表示できる。また監視サービス「Amazon CloudWatch」を、パフォーマンス監視コンポーネント「Apache Ganglia」の実装と併用すれば、クラスタをチェックし、これらのメトリックによってトリガーされるイベントにアラームを設定することも可能だ。
ポイント
付加価値コンポーネントをエンタープライズサブスクリプションの一部として提供するベンダーを選ぶということは、その製品を長期間使用することを意味する。これらのコンポーネントが標準スタックのディストリビューションと緊密に統合されているならばなおさらだ。そのベンダーに縛られてしまうことに不安がある場合は、OPDiに参加しているベンダーを検討するのがお勧めだ。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
プレミアムコンテンツ
[アイティメディア株式会社] AI活用を成功に導く「オブジェクトストレージ」 NAS/SANの限界を突破するには -
プレミアムコンテンツ
[アイティメディア株式会社] 「性能ならSSD」「大容量ならHDD」はもう古い? 変わるストレージの常識 -
プレミアムコンテンツ
[アイティメディア株式会社] 「オンプレミス回帰」がまさかの失敗に クラウドをやめずに安くする最適化手法 -
事例
[発注ナビ株式会社] AI活用を成功させる企業とそうでない企業の違いとは? -
製品レビュー
[発注ナビ株式会社] システム開発「はじめの一歩」 押さえておきたい基礎知識と失敗を防ぐ方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「VMware vCenter」でゼロデイ悪用、PHPも修正――今朝の情シスニュース
-
2
「Copilot利用率99%」デンソー驚異の定着術 3万人を動かした“社長賞”の舞台裏
-
3
テレビとノートPCをつないだのに映らない――Dellが解説する正しい接続方法
-
4
SAP移行で1900億円の赤字 「ベンダー任せ」が招くERP崩壊と回避策
-
5
「AMD製CPU搭載のPC導入検討」に関するアンケート
-
6
「nginx」のHTTP/2脆弱性(CVSS 9.2)、パッチ適用までの緊急チェックリスト
-
7
積水化学工業が「SAP S/4HANA Cloud」の“全グループ導入”に踏み切った訳
-
8
エンジニア必修の「ネットワーク基礎知識」はこれだ
-
9
Claudeを使い続けて大丈夫か? IPOで見えるAnthropicの財務と新機能
-
10
プロジェクトを成功させる5つのリスク管理工程
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365 Copilotを安全&効果的に活用するために必要な「2つの準備」
-
4
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
5
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
6
すぐ分かる「AWS WAF」ガイド:特徴・運用課題・メリットを解説
-
7
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
8
「Copilot Cowork」でこう変わる AIエージェント時代の新たな働き方とは
-
9
AI活用で激化する外部・内部リスク、取引先へ波及する脅威から守る対策とは?
-
10
Microsoft 365 Copilotで実際何ができる? 回答の精度を高めるRAGとは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー