マシンデータ向けの検索・分析エンジンを開発・提供している米Splunkは、マシンが日々生成するビッグデータの多方面への活用を提案している。2012年10月に検索・分析エンジンの最新版「Splunk Enterprise 5」を発表。2013年6月には、多数のユーザーニーズに応え、Hadoop内のデータを外部の分析エンジンに移すことなく検索・分析できる「Hunk： Splunk Analytics for Hadoop」のβ版を発表した。発表に合わせて来日したSplunk APJ（Asia Pacific and Japan）エリアバイスプレジデントのロバート・ロー（Robert Lau）氏に、同社が打ち出している“汎用性の高いビッグデータ活用”がもたらす可能性とメリットを聞いた。

社内外に散在するビッグデータを、1枚の鏡に

　「業務システムやWeb、モバイルデバイスなど、現在はあらゆるシステム、デバイスから日々、大量データが生成されている。こうしたビッグデータの有効活用は全てのIT部門やCIOに共通する課題だと思う。特に今、複雑に絡み合った多様なマシンが生成するデータをどのように見て、どう役立てれば最も効率的・効果的なのか、具体的な方策を見いだせないことが課題となっている企業が多い。弊社では2004年、ビッグデータという言葉がなかった当時から大量データの有効活用方法を考えてきた」

米Splunk ロバート・ロー（Robert Lau）氏

　ロー氏はまずこのように話し、「ビッグデータ活用は全システムの生成データを横断的に把握することが重要だ」と指摘する。

　「例えばシステム運用管理なら、現在は仮想化、クラウドの浸透によりシステムが複雑化している上、多くの企業はサイロ型の管理体制を取っている。従って、システムに問題が起こった際、サーバ、ネットワーク、データベースなど、各構成要素の管理担当者に調査を依頼しなければならず、根本原因の切り分けに時間がかかってしまう例が多い。だが、各システム監視ツールのデータを横断的に把握・分析できれば、原因箇所を迅速に究明したり、過去の障害データから問題の予兆を検出することも可能になる」

　同様のことはマーケティング分野にも当てはまるという。例えばEコマースなら、Web上の行動データや購買履歴データ、ソーシャルメディアデータなど、複数種類のデータを横断的に検索・分析することで、顧客を購買に導くためのさまざまな手掛かりがつかめる。

　「現在はデータの量が多い上、種類も多様化している。これらを個別に管理・分析しても見えてくるものは限られている。重要なのは、運用管理にせよマーケティングにせよ、1枚の大きな鏡を見るように、自社を取り巻くデータの全体像を、IT部門やマーケティング部門など各ユーザーの観点で把握・分析可能とすることだ」

汎用的な分析プラットフォーム「Splunk Enterprise 5」

　Splunk Enterprise 5はこうした考え方に基づいた製品となっている。アプリケーション、サーバ、OS、ネットワーク機器、Webサーバ、社内外のクラウド環境など、あらゆるデータソースからデータを収集・分析できるプラットフォーム製品で、RDBMSのように事前にテーブル定義を行う必要がない点が特徴だ。これにより、形式が異なるあらゆるデータを取り込み、自動的にインデックスを生成。WebベースのGUI（Web GUI）を使って任意の観点からリアルタイムに検索・分析することができる。データを収集するマシンのベンダーを選ばない他、特許技術により、データのインデックス化のためにアダプターやコネクタ、バックエンドのデータベースなどを必要としない点も特徴だという。

　専用の「ドラッグ＆ドロップ インタフェース」を使用して、任意の観点でデータを分析・可視化するダッシュボード画面をプログラミングなしてカタスマイズしたり、任意のリポートを自動作成することも可能。複数のコモディティサーバを使って並列分散処理する技術、Hadoopの標準的な分散処理方式である「MapReduce」を採用し、データ量の増大にもサーバを追加することで容易に対応できる拡張性の高さもポイントだ。

　最大の特徴はその汎用性にある。Splunk Enterprise 5はあくまで分析処理を行うプラットフォームであり、ユーザーの視点に応じて分析を行えるよう、複数のWeb GUIを分析アプリケーションとして用意している。具体的には

• 運用管理
• アプリケーション性能管理
• セキュリティ
• コンプライアンス
• ビジネス分析
• Web分析

の6分野のアプリケーションを用意しており、部門や職級を選ばず分析ニーズに対応できるという。

図1　 Splunk Enterprise 5は分析プラットフォーム。汎用性の高さを生かしてさまざまな視点のデータ分析を支援する

　例えばアプリケーション性能管理では、Webアクセスデータ、エラーログ、アプリケーションログ、メッセージキュー、データベース監査証跡、OSやネットワークのログなどあらゆるマシンデータを収集。リアルタイムにインデックス化し、アプリケーション性能管理に特化したGUIを使って、稼働状況を監視したり性能問題の根本原因を迅速に追究したりすることができる。

　サービスデスクの効率化も狙える。メールのメッセージトラッキングログや、ネットワークサービス、アプリケーション、Webサーバのログなどのデータにインデックスを付与し、任意の視点からリアルタイムにデータを検索・分析。これにより、例えば「メール不達」「トランザクション処理の誤り」「ネットワークアクセスの問題」など、サービスデスクによく寄せられる問題について、その原因究明・解決に必要なデータ検索条件を定義しておけば、Splunk Enterprise 5を使ってサーバやネットワークなどの管理者にエスカレーションすることなく、サービスデスクのスタッフが現状を診断し、迅速・効率的に対応することができる。マーケティング部門のユーザーが使う購買行動分析や、経営層が使うビジネス分析など、どの分析アプリケーションも同様の仕組みだ。

図2　さまざまな分析アプリケーションのUI例《クリックで拡大》

　ロー氏は、「2006年にバージョン1を発表した当初は、システム運用管理やアプリケーション性能管理分野の分析アプリケーションに対するニーズが大きく、IT部門が導入するケースが中心だった。だが、アプリケーションをビジネス分野にも拡大したここ2年ほどは、IT部門での導入効果を受けて、マーケティング部門をはじめ業務部門にシステムを横展開する例も増えている」とコメントする。

分析アプリはユーザー自身で開発可能。日立ビルシステムなども採用

　なお、分析アプリケーションはSplunkが運営しているコミュニティーサイト「Splunkbase.com」からダウンロードして入手する。Splunk ではAPIを公開している他、JavaScriptのSDKも用意しているため、ユーザー自身が任意の分析アプリケーションを作成し、コミュニティーサイト上で公開、他のユーザーと共有することも可能だ。Splunkのパートナー企業がユーザーニーズに応じてアプリケーションを開発することも多く、現在400種ほどのアプリケーションが公開されているという。

　導入企業はグローバルでは5600社、日本国内でも100社を数える。例えば、エレベーターなどの運用管理サービスを提供している日立ビルシステムでは、約12万台のエレベーターの遠隔監視やメンテナンスの効率向上に同製品を活用。エレベーターに設置した遠隔監視端末装置から送信される運転状態、性能診断などのデータを収集・分析し、保守サービスの効率化、最適化に役立てている。ただ、従来はRDBからデータを抽出・加工してリポートを作成していたため、現状把握に時間がかかりがちだった。そこでSplunkを導入したところ、分析・リポート作成の時間が大幅に短縮。社内に散在しているRDBのデータも一元的に閲覧・分析することが可能となったという。

　セキュリティ対策の支援・コンサルティングサービス手掛ける三井物産セキュアディレクションでは統合ログ監視システムとしてSplunkを利用。ダッシュボードをカスタマイズし、分析・リポート作成を効率化した他、最大4週間かかっていたマルウェア感染などのインシデント対応を数時間まで短縮した。

　また、近年はデータ蓄積にHadoopを活用する企業が増えたことを受けて、2012年10月、SplunkとHadoopの間で確実なデータ移動を実現する双方向型統合コネクタ「Splunk Hadoop Connect」を発表。Hadoop内のデータをSplunk上で検索・分析することを可能とした。だが「時間がかかりがちなデータ移行を避けたい」というユーザーニーズもあったことを受けて、2013年6月には上述の通り、Hadoop内のデータを外部の分析エンジンに移すことなく検索・分析できる「Hunk： Splunk Analytics for Hadoop」のβ版を発表した。2013年度中にはマーケティング部門のユーザーに向けた解析機能などを盛り込んだ「Splunk Enterprise 6」を発表予定だという。

　ロー氏は、「データ量は日々増大している。通信、金融、製造など業種や規模を問わず、データ活用の在り方が競争優位性を大きく左右する時代となった。一方、昨今はホスティングやパブリッククラウドなど、社内だけでなく社外も含めて、あらゆる場所にデータが散在しやすい状況にもなっている。その点、Splunk Enterprise 5ではデータがどこにあろうと一元的に把握・分析できる。IT部門、業務部門の各ユーザーが、今あるデータの使い道をもう一度見直してみてはどうだろう」と話している。