独自技術による高速データロード

　Greemplum DatabaseのMPPアーキテクチャは、ユーザーからのクエリ受け付けと結果セットの返却を担当する「マスターサーバ」と、実際のデータ処理を行う「セグメントサーバ」、そしてこれらの間をつなぐ「ネットワークインターコネクト」で構成される。セグメントサーバは通常複数台で構成され、それぞれが独立した専用のデータ領域を持つ。セグメントサーバ間でデータは一切共有しない「シェアードナッシング」方式を取るため、ノード間でのデータアクセス競合が発生せず、安定して高いスループットを発揮できる（関連記事：ビッグデータ対応のために進化するDWHアプライアンス）。

　また、ソースシステムからデータをロードする処理には、独自の技術が採用されている。

　「通常のDWH製品では、データのロードはマスターサーバを経由して行われるため、マスターサーバの性能がボトルネックになりやすい。しかしGreemplum Databaseはマスターサーバを経由せず、セグメントサーバに直接データをロードする。ロード処理は複数のセグメントサーバ間で分散して行われるため、ノード数を増やせば増やすほどロード性能はリニアに向上する。この高速ローディングの仕組みは、他社製品にはない大きな特徴だ」（中村氏）

　このデータロードの仕組みは、Hadoopとの連携においても威力を発揮するという。HadoopのHDFSデータノードからGreenplum Databaseのセグメントサーバへ直接データを高速にロードできるとともに、逆方向のロード、つまりセグメントサーバからHDFSデータノードへのデータのアンロードも可能になっている。

　「Hadoopとの間の双方向データ転送ができるため、ある特定のデータを処理する際に、HadoopとGreenplum Databaseのどちらで処理する方が効率が良いのか、データを互いに移動させながらトライ＆エラーを繰り返すことで見極められる」（中村氏）

シェアードナッシングアーキテクチャの実装により高速なバッチ処理、データ分析を実現するGreenplum Database《クリックで拡大》

　またGreenplum Databaseでは、Hadoopのファイルを外部テーブルとして定義できる。この機能を活用すれば、通常のSQL文を使ってHadoopのデータをGreenplum Databaseに取り込んだり、あるいはGreenplum Databaseを通じてそのまま結果セットとして取り出すことも可能だ。使い慣れたSQLでHadoopのデータを操作できることは、多くの開発者やデータベース技術者にとって大きなメリットになるだろう。

柔軟かつきめ細かい単位でのシステム拡張が可能

Greenplum DCA

　先に述べた通り、Greenplum Databaseはコモディティハードウェアだけでシステムを構成できる。これは、システムの拡張性の面で非常に大きなアドバンテージとなる。というのは、専用ハードウェアを採用するアプライアンス製品の場合、システムのキャパシティーを拡張する際、一般的には専用ハードウェアをある程度まとまった台数で増強する必要がある。しかしGreenplum Databaseの場合、セグメントサーバを1台単位でシステムに追加していけるので、非常にきめ細かい単位でシステムの処理性能とデータ容量を拡張できる。

　また往々にして、専用ハードウェアで構成されるDWHシステムは、下位互換性が問題となる。つまり、ノードを追加してシステムを拡張しようとしても、ベンダーがその時点で提供している最新の製品が現在運用している旧バージョンの製品と互換性を持つとは限らない。そのため、既存システムの最新製品への丸ごとリプレースを余儀なくされることも多い。その点Greenplum Databaseは、追加するセグメントサーバのハードウェアの種類は問わないため、既存資産への投資を無駄にすることなく効率的にシステムを拡張していくことができる。これはアプライアンスでも同様で、Greenplum DCAは4分の1ラック単位で順次システムを拡張できるようになっている。

　このように、システムの柔軟な拡張性があらかじめ担保されていることは、DWH導入のハードルを大幅に下げる効果があると中村氏は言う。

　「既存の資産を生かしながら少しずつシステムを拡張できるので、導入時にキャパシティープランニングを厳密に行う必要がない。従って、将来のシステム規模の成長が読めない場合でも、気軽にスモールスタートできる」

　また、Greenplum Databaseは多くの場合、サーバ内蔵のHDDを利用するが、外部ストレージアレイを利用することも可能だ。この場合には、ストレージ装置が備える高度なデータ管理機能を使って、高速バックアップや遠隔レプリケーションによる災害対策システムを組むことができる。これもGreenplum Databaseの高い拡張性がもたらすメリットの1つといえる。

エンタープライズ向けHadoopソリューション「EMC Greenplum MR」

　Greenplum Databaseは、どちらかというとオーソドックスなDWHのソリューションを提供する製品だが、近年のデータ活用ソリューションではこれまでにない新たな要件が持ち上がってきている。いわゆる「ビッグデータ」だ。これまでにないほど大容量のデータ、しかもリレーショナルデータベース（RDB）のテーブルに格納された構造化データではなく非構造化データ、例えばWebやセンサー、ソーシャルネットワークなどで生成されるログの生データを分析することで、これまで得られなかった新たな知見を得ようという試みだ。

Greenplum MR

　こうした分析用途に適したソリューションとして、近年注目を集めているのがHadoopだ。EMCではこのHadoopの技術を取り入れた新たなソリューション「EMC Greenplum MR」を2012年1月に発表した。これは、米MapR Technologiesが提供するHadoopディストリビューションを採用したもので、Hadoopをビジネスユースする上でウイークポイントとなっていた可用性や管理性などの点が大きく改善されている。また、もともとはJavaで実装されていたHadoopをインタフェース部分以外C++で新たに実装し直したことで、オリジナルのApache Hadoopと比べ2～5倍の性能向上を果たしているという。

　また同社では、Greenplum DatabaseやGreenplum MRによるデータ管理基盤と、ユーザーがBIツールなどを使ってデータ分析を行うレイヤーの間を取り持つミドルウェア製品「EMC Greenplum Chorus」という製品を2012年秋ごろに提供予定だ。この新製品について、中村氏は次のように説明する。

　「DWHやHadoopなどさまざまなデータ基盤に散在するデータベースを抽象化し、ユーザーがそれらを自由に組み合わせて柔軟に分析を行えるようにする機能を提供する。これまでに例のない、新しいジャンルの製品になるだろう」

製品、サービス、人材育成がUAPコンセプト

　EMCでは、これらのGreenplumブランド製品群を組み合わせて実現する次世代のデータ分析ソリューションを、「Unified Analytics Platform」（UAP）と呼んでいる。UAPではデータベースに格納された構造化データからビッグデータに代表される非構造化データまで、全て同一プラットフォーム上で容易に活用できる世界が実現するという。

　さらに同社では、UAPのコンセプトを推進するに当たり、製品やサービスのみならず人材の育成にも取り組んでいくという。

　「いくら優れたシステムを構築しても、それを活用できる人材がいなければ宝の持ち腐れになってしまう。EMCではビジネスニーズを具体的なデータ分析の手法に落とし込むスキルを持った『Data Scientist』という新たな種類の人材の育成を提唱している。既に米国ではData Scientistのコンセプトは普及しつつある。われわれが目指すUAPは、システムだけではなくこうした人的スキルまでも包含したコンセプトだ」（中村氏）