従来のリレーショナルデータウェアハウスやBIでは、明確に定義されたプラクティスと成熟した製品を利用して、高度に構造化され秩序立った方法で、入手可能なデータの一部を抽出、収集する。その目的は、ビジネスユーザーがデータをさまざまな角度から分析し、「何が起こっているのか」「どのような原因で起こっているのか」といった点に関する一般的な切り口の問題に答えるリポートを作成できるようにすることにある。この問題は、例えば、「期間Aにおける地域Bの売り上げは幾らか」といったものだ。

　ビッグデータへのアナリティクスの適用は、こうした従来の確立されたやり方からの脱却につながる。これによって、企業が情報のパターンを発見し、これまでは考えなかったような問題を設定し、ひいては競争力の向上に向けた新たな戦略を策定できる可能性が開ける。

　「過去20～25年間、企業は入手可能な情報のうち最大5％くらいだけを活用することに力を注いできた」と、米Forrester Researchの主席アナリスト、ブライアン・ホプキンズ氏は語った。「われわれが扱い方を知らなかった情報は全て見過ごされてきた。企業は競争力を強化するために、手付かずだった残りの95％のデータに取り組もうとしている。その膨大なデータは、市場で優位に立つための武器になり得るものだ」

従来のRDBMSの限界

　従来のリレーショナルデータベース管理システム（RDBMS）には、抽出、収集され、構造化されたトランザクションデータが主に格納されるのに対し、ビッグデータストアには、さまざまなソースからの膨大なデータストリームが含まれる。例えば、FacebookやTwitterのようなソーシャルメディアで常時行われているチャットのデータ、日々のWebのアクティビティログ、GPSによる位置データ、バーコードリーダーによる機械生成データ、RFIDスキャンおよびセンサーのデータといった具合だ。

　米Gartnerは、全世界の情報量が年間59％のペースで増大していると推計している。それらのデータの量と多様さは管理上のハードルとなっているが、同様に、スピードにかかわる大きな課題もある。「どうすれば、そうしたデータを迅速に処理してビジネスメリットを実現できるか」という課題だ。

　こうした一筋縄ではいかないデータ管理は、従来のデータウェアハウスシステムやBIシステムには、コスト面でもパフォーマンス面でも荷が重い。これらのシステムは、いわゆるビッグデータアプリケーションの膨大なデータ量やスピードに関する要件に対応するのに適していない。

　「アナリティクス分野では、こうした粒度の細かいデータを使って、精度の高い、あるいは新しいタイプの分析を行うことを目指したパラダイムシフトが起こっている」と、米Ventana Researchの副社長兼リサーチディレクター、デビッド・メニンガー氏は語った。同社はデータ管理戦略を専門とするコンサルティング会社だ。

ビッグデータアナリティクスで求められる大規模分散データ処理

　このパラダイムシフトの鍵を握っているのは、ビッグデータアナリティクスにおけるデータの量、多様さや、分析処理のスピードという課題に対処できるように設計された一連の新しい技術だ。中でも、超並列処理（MMP）データベース技術が、この新たな展開の要となっている。この技術は、極めて大規模なデータセットを扱う際に、データベースワークロードを多数のコモディティサーバに自動的に分散し、それらを並列に実行することで、大幅なパフォーマンス向上を実現する。

　このコアアーキテクチャに基づいて構築されている技術の1つとして、列指向（カラムベース）データベースがある。列指向データベースは、データを行ではなく列に格納する。これは、ストレージ容量を抑えながら、ユーザーによるデータの照会と照会結果の取得を大幅に高速化するのに役立つ。大規模なアナリティクスやBIのワークロード用に設計されたインデータベースアナリティクスも、高速なクエリ応答と、膨大な詳細データへのアクセスを、効率的かつ経済的に実現することを目的に、企業が評価を行っている技術だ。

　データウェアハウスアプライアンスにも同じことがいえる。これは、サーバやストレージ、データベース技術が統合され、パッケージ化されたセットであり、大規模データ管理アプリケーションのニーズに合わせてチューニングされている。

　これらは、RDBMSの弱点を補完するために使われることが多いが、ビッグデータアナリティクス分野で大きな注目を集めている比較的新しい技術が、オープンソースソフトウェアのHadoopだ。Hadoopは、ビッグデータ管理の新しいプラットフォームとして広く期待されているものの1つで、特に膨大な非構造化データ（テキストやソーシャルメディアフィード、動画など）の管理に威力を発揮するとみられている。Hadoopは、分散ファイルシステム「HDFS」（Hadoop Distributed File System）と、コンピュータクラスタ上で大規模データセットを分散処理するためのソフトウェアフレームワーク「Hadoop MapReduce」などで構成されている。関連プロジェクトとして、Cassandra（スケーラブルなマルチマスターデータベース）やHive（データウェアハウス）といった新しい技術の開発が行われている（関連記事：NoSQLデータベースがビッグデータ対象のDWH基盤に適しているわけ）。

Hadoopに高まる期待

　Ventana Researchの新しいベンチマークリポート「Hadoop and Information Management」で報告されている調査結果によると、163人の調査回答者の過半数（54％）が、ビッグデータへの取り組みの一環として、Hadoopを利用または評価している。データをより詳細に分析し、従来は膨大なデータに対しては不可能だったアナリティクスを実現する狙いからだ。しかし、このように導入機運が高まっているものの、Hadoopは実際には、まだ比較的未成熟だ。Hadoopに固有の複雑さをユーザーから隠すように設計されたアナリティクスツールパッケージは、今のところごく少数しか出回っていない。

　新しい技術がデータウェアハウスの専門家に課題を投げ掛けているが、企業がビッグデータアナリティクスに取り組む上で本当に注意しなければならないのは、膨大なデータの蓄積、管理に腐心するだけでなく、肝心の分析、活用に力を注ぎ、幅広いビジネスチャンスを逃さないようにすることだ。

　「膨大なデータをどう扱うかは以前から問題になっていた。しかし、真の課題は、それらのデータから意味を引き出すことだ」と、Gartnerの副社長で著名アナリストのイボンヌ・ジェノビーズ氏は語った。「データを情報に変え、情報を行動に変えることができるかどうかで、ITやデータウェアハウスの担当役員の真価が問われる」