Hortonworksの幹部は、顧客に同社の「Hortonworks Data Platform」（HDP）が100％オープンソースであることを理解してもらいたいと考えている。同社のビジネスモデルは、万全なサポートを受けた企業向けのHadoopプラットフォームをベースにしている。このプラットフォームは大きく成長する可能性を秘めた法人顧客も利用できる。Hortonworksは、2016年はじめの時点で800社の顧客基盤を持ち、年間利益は1億2200万ドルに上ると発表している。

　同社は、Hadoopスタックの上位層で革命を起こす傾向がある。データのルーティング、変換、システムの調整ロジックを実現するために、Hortonworksは2015年に「Hortonworks Data Flow」（HDF）を導入している。これは、「Apache NiFi」「Apache Kafka」「Apache Storm」をベースにしている。HDFとHDPは個別に提供されることもあれば、統合した状態で提供されることもある。「モノのインターネット（IoT）」アプリケーションのデータを中央で集積して処理する基盤としてHadoopを使用する場合は、統合された状態のHDFとHDPが非常に役立つ。

　ただし、HDFS、データライフサイクル管理用の「Apache Falcon」、データガバナンスとコンプライアンス用の「Apache Atlas」などのApache Foundationのプロジェクトに100％順守しているのが見られるのはストレージ層だ。

　Clouderaは、専用のアドオンがあるオープンHadoopディストリビューションを提供している。

　Clouderaは、850社の企業顧客が「Cloudera Data Hub」（CDH）という同社の商用Hadoopディストリビューションのソフトウェアサブスクリプションを契約していると発表している。Hortonworksと同様、ClouderaもApacheオープンソースコードを中心に置く企業向けのHadoopディストリビューションと位置付けている。ただし、Clouderaは共同開発用にオープンソースコミュニティーに提供されている専用アドオンのプロジェクトだけでなく、補完要素への進出や開発により積極的である。

　ストレージに関連する例には以下の2つがある。

　「Kudu」は、Hadoopエコシステムの新しいストレージエンジンとして位置付けられている。本来、HDFSは大規模なMapReduceプロセスをサポートするために設計されたものである。そのため、大量のシーケンシャルなアクセスが行われる環境で最善のパフォーマンスを発揮する。「HBase」は、SQLデータベースのオンライントランザクション処理（OLTP）を追加する目的で作成されているため、小規模なランダムアクセス環境で優れた機能を発揮する。なお、Kuduは基本的にHDFSのスケールをHBaseのOLTPの面と結び付ける。

　Clouderaの「Cloudera Navigator」は、Hadoop向けのデータ管理製品である。データの発見、継続的な最適化、監査、整理、メタデータの管理、ポリシー施行の機能を備えている。これを使用すると、情報のライフサイクル管理や法規制の順守要件に対処できる。

　Clouderaは、HDFSストレージをコンピューティング層から切り離すHadoopのユースケースを進んで取り入れている。CDHの今後のリリースでは、Intelの「3D XPoint」テクノロジーを高パフォーマンスの永続ストレージとして利用する予定だ。ノードベースの永続メモリは、頻繁にアクセスするデータにはローカルアフィニティを提供する。一方、アクセス頻度の低いデータにはHDFSストレージを使用する。また、Clouderaは、次のCDHのメジャーリリースで、イレージャーコーディングをサポートする予定だ。

　さらに、ClouderaはEMCとも密接な関係がある。EMCの「Isilon」は、Hadoopの外部ストレージプラットフォームとしてサポートされており、今後のリリースでは機能の追加が予定されている。ClouderaはEMCと協力して、HadoopをEMCのDSSDフラッシュ製品に移植できるようにも取り組んでいる。

MapR：HDFSを使用しない選択肢

　MapRは、同社の商用Hadoopディストリビューションである「Converged Data Platform」を継続的に開発するに当たって、先進的なアプローチを採用している。これは企業がHadoopを導入する際の障害をMapRが、その都度解決してきたことを意味する。この解決のプロセスは、NameNodeの脆弱（ぜいじゃく）性など、Apache HDFSで過去に明らかになった深刻な問題を回避する基本的なHadoopファイルシステムを実装することから始まっている。これは、スナップショット、データ管理機能、DR（災害復旧）用のデータ複製の堅牢な実装にまで及んでいる。

　ストレージの観点では、この先進的な動きはMapRが最近提供した「Zeta Architecture」で見られる。Zetaでは、標準的なMapReduce、HBase、Sparkを含む、全てのMapRアプリケーションが、スケーラブルで分散型の共通ファイルシステムに読み書きを行う。これはHBaseのデータが必要なMapReduceプロセスで、HBaseのデータをインポートする必要がないからだ。HBaseのデータは、既にZetaのストレージ層に存在している。Zeta Architectureは、リアルタイム分析でHBaseやMapRの「MapR-DB」などのデータベースの使用をサポートしている。他にも、Hewlett Packard Enterprise（HPE）の「HP Vertica」、MySQL、Sybaseの「Sybase IQ」といったデータベースがサポートされている。また、ストレージのプロトコル標準としては、NFSや「Amazon S3」などがサポートされている。

　MapRは、ClouderaやHortonworksのHadoopディストリビューションとは異なり、同社専用のストレージ環境を、外部ストレージプラットフォームの支援を必要としないものとして位置付けることを好んでいる。

Hadoopのストレージ関連ツールと付属のアプリケーション

　ここ数年、HDFSの問題に対処する必要性を受け、多くのスタートアップが誕生している。データ管理とセキュリティを専門とするDataguise、データ複製とDRを専門するWANdiscoは、そのようなスタートアップの数例だ。

　Dataguiseは、機微なデータ資産が存在する場所や全リポジトリどこに移動しているかにかかわらず、それらを検出、監査、保護、監視するデータセキュリティと管理のプラットフォームを提供する。また、前述の3つのHadoopディストリビューションは全てサポートされている。

　WANdiscoの「Fusion Platform」は、安定した可用性とデータの整合性が保証されたパフォーマンスをサポートする主要な機能を提供している。これは、Hadoopディストリビューション、Hadoop対応のストレージシステム、クラウド環境の任意の組み合わせが対象になり、その距離も関係ない。複数のクラスタや、地理的に異なる場所にあるものも対象になる。