2016年6月上旬に米国サンフランシスコで開催された「Spark Summit」での講演において、NielsenのMROIソリューション部門でソフトウェアエンジニアリングのシニアバイスプレジデントを務めるジョセフ・デ・カステルノ氏は、同社のオンプレミス環境へのSpark導入について語った。

　Nielsenの決断は、何より必要性から生まれたものだった。同社はマーケティングチーム向けの投資利益率計算ツールを開発している。オンライン広告販売のアトリビューション分析の比重を高めるため、Sparkを利用することになった。だが、同社が関わった大手小売業者の多くはマーケティングデータをリモートに保存することを望まなかったとデ・カステルノ氏は話す。そのため、同氏のチームは、独自にSparkクラスタを立ち上げることを決めた。

　デ・カステルノ氏は、当初、この作業が困難を極めるとは思っていなかったという。最初は、エンジニアを多く雇えば解決できるデータエンジニアリングの問題だと考えていた。だが、すぐに複数の問題に直面した。SAS製のソフトウェアで開発したプロセスをスケールアップして大規模な分散データセットで実行するのは難しいことが判明した。また、データ品質も問題となった。

　「私たちの認識は甘かった。大量のオフラインデータの処理には慣れていたので、オンラインデータの処理はもっと簡単だと想像していた。その想像に反して、難しいということが分かった。オンラインデータには多くの不純物が混ざっている」（デ・カステルノ氏）

クラウドSparkの実情

　Nielsenは今もそれらの問題への対処を継続している。結果として、さまざまな手動の処理を生み出すことになった。だが、同社はSparkのクラウドオプションの調査を続けている。デ・カステルノ氏によれば、同氏のチームは個別の小売業者が任意のクラウドサービスプロバイダーを使用してデータを保存でき、さまざまなソースのデータを1つのSparkエンジンで処理できるマルチクラウド環境を検証しているという。

　「クラウドを導入する必要がある。そうすれば、徹底した分析が容易になるだろう」（デ・カステルノ氏）

　同じくSpark Summitで講演し、ESGでアナリストとして働くニク・ラウダ氏は、複数の環境で実行できることがSparkの主な利点の1つだと指摘する。Sparkはマルチクラウド、シングルクラウド、オンプレミスのどのアーキテクチャでも実行できる。そのため、従来のデータ処理フレームワークよりも柔軟性が高い。また、ラウダ氏が「ハードウェア構造による支配」と呼ぶ状態の解消にも役立つ。Sparkによって、コンピューティングとストレージが切り離され、特定のストレージエンジンを使用する重要性が低くなった。

　ラウダ氏は、自社で実施した調査結果を挙げ、現在クラウドをプライマリデータプラットフォームとして使用している企業は20％にすぎないが、40％の企業がクラウドに大きな関心を寄せていることに言及した。関心が高まっている一因は、Sparkのようなプラットフォームが持つクラウド環境に適合する能力だとみられる。

オンプレミスのSparkがなくならない理由

　金融サービス業界はデータに神経質なため、クラウドテクノロジーの導入速度が極めて遅い。そう語るのは、NASDAQでエグゼクティブバイスプレジデントと最高情報責任者（CIO）を務めるブラッド・ピーターソン氏である。NASDAQではクラウドへの移行をゆっくり進めることで、この腰の重さに対処した。同社は機密性の低いデータを使用する収益サイクル管理と請求に、クラウドSparkシステムを導入した。その結果、クラウドはオンプレミスプラットフォームよりもパフォーマンスが高いことが証明された。

　「クラウドSparkを検討し、『どのようにしたら金融サービスがクラウドSparkを導入して経験を積めるのか』を話し合った」（ピーターソン氏）

　この経験は有意義なものだったが、まだ金融サービス業界にはクラウドに対する抵抗があるのが実情だ。

　かつて、クラウドを支持する主な理由は経済性だった。だが、状況は徐々に変わりつつある。ラウダ氏によれば、オンデマンドのコンピューティングとストレージの初期コストは少なくても、時間の経過と共に累積し、オンプレミスプラットフォームに匹敵するほどになることをアーリーアダプターは気付き始めているという。それと同時に、かつてクラウドに関する最大の争点となっていたセキュリティが、クラウドプラットフォームの強みとして捉えられるようになっている。

　「利点を見ると、ちょっとした逆転が発生していることが分かる」とラウダ氏は指摘する。