著名専門家がその役割を説く

データ分析専門家が注目するオープンソース技術の注目株

現在、データ分析の専門家にとってオープンソースのツールは最大の関心事となっている。この分野において、オープンソースはどのような役割を果たすのだろうか。

公開 2015年01月05日 15時02分

著者

Ed Burns

[TechTarget]

印刷する

　オープンソーステクノロジーは話題に事欠かない。だが、データ分析の専門家が日常的に行う作業でオープンソーステクノロジーは、どのような役割を果たすのだろうか。

　新刊『Understanding Big Data Scalability』の著者であるコーリー・イサクソン氏に、オープンソーステクノロジーの重要性について聞いた。現在、オープンソーステクノロジーは、この分野について多くの経験があり、十分なリソースを抱える大企業がけん引している。この動向は最先端のツールが生まれる一助となっている。

――　共通のビッグデータプラットフォームを求めるというトレンドが業界で見られます。例えば、米Apache Foundationの「Spark」や「YARN」です。このアプローチについては、どのようにお考えですか。このようなビッグデータプラットフォームによって業界は融合されると思いますか。

イサクソン氏　個人的には非常に興味がある。だが、そのような状況がすぐ実現するとは考えていない。バッチ分析に関してSparkが主導権を握っていることは間違いない。一方、YARNが目指すところは次のように発言しているようなものだ。「標準のHDFS（Hadoop Distributed File System）インフラを使って、既存の各種データエンジンをまとめて、その全てのニーズに合う単一プラットフォームを実現しよう。『Hbase』のような既存ソフトウェアの機能を拡張しよう」

　このようなものが求められていることは分かっている。また、次の米Oracleになることを目指している企業は数えきれない。だが、数年以内に、そのような企業が現れるとは到底思えない。市場には文字通り何百ものデータベースエンジンが存在している。得意な分野は、それぞれ異なる。つまり、データベースエンジンは非常に断片化されている。今後長期間にわたって、さまざまなアプローチが出てくるだろう。

――　現在利用可能な幾つかのオープンソーステクノロジーに関する見解をお聞かせください。多くの人は「R」「Hadoop」、Sparkなどに期待を寄せています。商用アプリケーションでオープンソーステクノロジーが果たすべき役割についてどのようにお考えですか。

イサクソン氏　オープンソーステクノロジーの役割は重要になると考えている。オープンソースコミュニティーでは興味深いことが行われている。このような活動は「MySQL」によるデータベースの分野で始まったと考えている（ただし、MySQLは商用的な要素が強かった）。オープンソーステクノロジーは進化している。豊富な経験を持つ米Yahoo!のような業界の大手企業がHadoopを導入したのと同じ過程をたどっている。現在は米Twitterが複数のエンジンとクラスタテクノロジーを導入している。

　例えば、Hadoopには「Parquet」システムが追加されている。このシステムは、米Googleが同社の「Dremel」（「BigQuery」のベースになったプロジェクトのコードネーム）で行った作業をベースとしている。また、米Facebookは「Presto」のようなものを導入している。素晴らしいテクノロジーが多数ある。最大のポイントは、非常に豊富な知識を持った企業が、このようなテクノロジーのライセンスを完全に無料で提供していることだ。今後オープンソーステクノロジーは大きく発展し、その重要性はますます高まるだろう。営利企業もオープンソーステクノロジーを導入している。オープンソーステクノロジーが企業での活路を見いだすと考えて間違いない。

――　著書にある「大詰めを迎えるビッグデータ」（big data end game）とはどういう意味ですか

イサクソン氏　ビッグデータクラスタのメリットは、データが分散していることだ。だが、それはデメリットにもなる。並列操作がある場合は、SQLの操作よりも低速になるだろう。目指すべきは、SQL環境で操作を実行する可能性を最大限に高めて、分散操作を実行する可能性を最小限に抑えることだ。その状態を実現できれば、拡張性が保証される。

印刷する