今、ビッグデータが注目を集める理由

　ガートナーではビッグデータの定義を「高度な洞察や意思決定を行うために、コスト効果が高く革新的な情報処理プロセスを必要とする大量・高速・多様な情報資産」としている。

堀内秀明氏

　「ビッグデータは『高度な洞察や意思決定を行うために』使われるもの。ただ単に多い、発生するスピードが速い、種類が多様だというだけではビッグデータではない。そして私が最も大事だと思うのは、『コスト効果が高く革新的な情報処理プロセスを必要とする』という部分。そういったテクノロジーが出てきた今だからこそ、ベンダー、ユーザー企業各社が『ビッグデータって何だろう』『何ができるのだろう』と考えている」（堀内氏）

　堀内氏は、これまでの企業システムのデータ管理における変遷をあらためて振り返ることで、ビッグデータが注目を集めるようになった理由を示す。

オープン系システム、見える化、RDBMSのパフォーマンス問題へ

　かつて大抵のシステムは、メインフレームの中にアプリケーションを作り込んでいくことが主流だった。その後、ダウンサイジングのブームがあり、UNIXとRDBMSで作ったオープン系システムで、「より安く、より早く」システムを作れるようになった。こうした流れは、企業内の情報システムの多様化・高度化を招くことになる。そしてビジネスインテリジェンス（BI）やデータウェアハウス（DWH）を使った「見える化」のブームが起こり、これまでの画一的な業務だけでなく、さまざまな情報を駆使して経営に貢献しようという取り組みも行われてきた。

　「こうした過程を経て、企業システムは新たな課題に直面した。それはRDBMSのパフォーマンス問題だ」（堀内氏）。リポートを出したい、分析をしたいのに処理が返ってこない。パフォーマンスが出ない。タイムアウトする。バッチ処理に時間がかかり過ぎてしまう。チューニングしようと思ってインデックスを付けていくと、1Tバイトのデータで10Tバイトのインデックスを作らなければならない……。これらの問題を解決するために、カラムストア方式のDBMS、DWHアプライアンス、インメモリDBMSなどの新しいテクノロジーを採用した製品が市場に投入され、現在多くの企業で使われるようになった（関連記事：高まるDWHへの投資意欲、「砂金探し」のビッグデータ活用を成功させるには）。

データ管理におけるテクノロジー活用の変遷。出典：ガートナー《クリックで拡大》

Googleの使っているテクノロジーは何だ？

　一方で、企業システムの変遷にはもう1つ欠かせないテクノロジーがあると堀内氏は指摘する。それはインターネットの普及だ。オープン系システムを中心としたシステム構築の流れと同時に、インターネットという世界が一般化したことは企業システムに大きな変化をもたらした。当初はデータを配信する一方通行のアプリケーションあるいはWebサイトが中心だったが、やがてユーザー側からも情報を発信する双方向性が出てきた。

　「Web 2.0というトレンドや情報爆発という言葉も耳に新しい。さまざまな情報が生まれていく中で、ただ単にWebサイトがある、あるいは情報を提供するだけでは、欲しい情報を入手できない状況になった」（堀内氏）。そこで必要不可欠になったのが検索エンジンだ。その中で最も成功したのがGoogleだ。Googleの躍進の中でクラウドコンピューティングが注目されるようになったのは記憶に新しく、今でもクラウドを自社にどういう形で適応していくかは企業の重要な課題となっている。

　そして、Googleの躍進を目の当たりにしたベンダーやユーザー企業は、情報活用や情報処理の視点で「Googleが使っているテクノロジーは何だ？」と考え始めたと堀内氏は言う。「『Googleが自社開発したMapReduceと同じものを、うまく自社にも取り込むことができないか』ということを、まずはインターネットでビジネスをしている企業が考え始めた。例えばYahoo!、Facebookが、Googleの論文を基に開発されオープンソースで公開されているHadoopを実装していこうと考えた」（堀内氏）

　BI／DWHによる見える化、パフォーマンス問題解決の流れ。その一方で、インターネット業界で活用されている速くて安いテクノロジーに多くの企業が気付く。当然ベンダーも、「これを企業の中で使えないか」と考えた。「この2つの流れが今のビッグデータブームへとつながったのではないだろうか」と堀内氏は言う。

今、企業はどのようなデータを活用したいのか

　そうして訪れた現在のビッグデータの潮流の中で、企業はどのようなデータを活用したいと考えているのだろうか。以下はガートナーが、「ビッグデータ」として活用中／活用検討中のデータを調査した結果だ。

「ビッグデータ」として活用中／活用検討中のデータ（ビッグデータを「全く知らない」企業を除く）（複数回答可）。出典：ガートナー（ITデマンド・リサーチ）／調査：2011年11月《クリックで拡大》

　この結果からは、多くの企業が「基幹系業務データ」を「ビッグデータ」として活用中、あるいは活用検討中であることが分かる。また、TechTargetジャパンが2011年11月に調査した、企業がビジネスで活用したいデータの種類の結果を見ると、「基幹システムのログデータ」が最も多く（関連記事：企業のデータ活用動向、まずは基幹システムと顧客情報から）、ガートナーの調査と似通った結果が得られた。

　一方で堀内氏は、もう1つ興味深い調査結果を示した。それは、ユーザー企業がビッグデータの分析によって期待する効果だ。

「ビッグデータ」の分析により期待するメリット（ビッグデータを「全く知らない」企業を除く）。出典：ガートナー（ITデマンド・リサーチ）／調査：2011年11月《クリックで拡大》

　期待する効果は、「顧客関係の強化による収益性向上」が最も多い。「ここで考えたいのが、活用／活用検討中のデータと、期待している効果にギャップがあることだ」と、堀内氏は2つの調査結果を考察する。確かに基幹系業務データをうまく分析することが、顧客関係の強化による収益性向上に直結するとはなかなか考えにくい（関連記事：「売り上げ拡大のための戦略ツール」としてのBIに求められる条件）。

　「もちろんこれには理由がある。活用中／活用検討中のデータは、『使い方のめどが立っているデータ』だ。一方、2つ目の調査結果は『（どのデータをどのように使うかの）めどはさて置いた期待』だ。ビッグデータのムーブメントの中で、多くの企業は特に顧客関係の強化によって収益を上げることを期待している」（堀内氏）

　こうした調査結果を見ると、ビッグデータの話題の中で、CRMやソーシャルメディアなど、顧客や見込み客との接点、そこから得られるデータと自社保有の基幹データや顧客データとを合わせた活用が語られる機会が多い理由もうなずけるだろう（関連記事：アパレルブランド米GUESSのモバイルBIとFacebook分析先行事例）。

　以上、前編ではビッグデータとその活用を実現するテクノロジーが注目を集めるようになった理由と、現在企業が活用を考えているデータをまとめた。後編では、実際にどのようにこれらのデータを活用すれば、「高度な洞察や意思決定を行う」ことができるのか、同氏の講演で紹介された事例を交えながらまとめる。