MapReduce導入から10年強

Cloud Bigtable担当者に聞く、Googleのスケールアウトビッグデータ戦略

2004年にGoogleが導入したMapReduceは、ビッグデータに大きな影響を与えた。そして今、Googleはビッグデータに何をもたらそうとしているのか？Cloud Bigtable担当者にインタビューした。

　2004年、米Googleがビッグデータの初期イニシアチブとして「MapReduce」を世界に紹介した独創的なホワイトペーパーの根底にあるのは、遠い昔の1958年に考案されたプログラミング概念だ。このMapReduceを使って、Googleは検索データの処理を妨げる問題への対処を試みた。突き詰めると、MapReduceとは、ビッグデータをある程度分割し、低コストな市販ハードウェアで実行される「Hadoop」を使って処理できるようにするものだ。

　検索エンジンを提供する同社は、データ処理戦略の拡張を始めている。最近では、完全管理型のスケーラブルなNoSQLデータベースサービス「Cloud Bigtable」を発表した。

　インターネット検索、ソーシャルメディア、IoT（モノのインターネット）は、データ量の急増に直面しているIT分野だ。従来のリレーショナルデータベースでは、真のデジタル社会が必要とする、津波のように押し寄せるデータを処理できなくなると専門家は予測する。

　10年以上前に発表されたMapReduceのホワイトペーパーで、Googleのジェフリー・ディーン氏とサンジェイ・ゲマワット氏は、1つの共通インフラで種類の異なるジョブをスケジューリングして処理できる単一インフラはないと記述している。当時は、具体的な環境やアーキテクチャに合わせて、あらゆるものを手作業で作成する必要があった。

　Cloud Bigtableを担当する製品部長コリー・オコナー氏によると、同社は現在、このホワイトペーパーの発表から改訂されること3回目のビッグデータビジョンに取り組んでいるという。「2002～2004年はビッグデータが盛んに議論された年で、当社がMapReduceに関するホワイトペーパーを執筆したのもこのころだ」

　「当社は、このような問題を解決するために巨大なコンピュータを構築するという手法を根本から見直した。市販のコンピュータのみを使用し、システムが失敗するであろうことを前提とした」

　極めてスケーラビリティが高い、低コストの汎用インフラを使用するという考え方は、ITサプライヤーのビッグ4がビッグデータに取り組む方法とはほぼ対極にある。もちろん、ビッグ4はNoSQLにも取り組んでいるし、クラウドでHadoopを提供してもいる。だが例えば、独SAPは「S/4 HANA」に数百万ドルを出費することを顧客に求め、米Oracleは「Exadata」や同社が設計したアプライアンスファミリーを押し付け、米IBMは「z13」メインフレームのメリットを売り込み、米Microsoftは「SQL Server」を勧める。

　例えば、z13メインフレームは金融取引における不正行為をリアルタイムに分析できる。オコナー氏によると、このような時系列のデータはCloud Bigtableで自然に処理できるという。「問題へのアプローチには、さまざまな方法があることを理解することが重要だ。時間がたてば、どの方法が最も効率的か実証されるだろう」

　オコナー氏によると、Googleが他社と違うのは「非常に大きなデータセットの管理方法を知っており、完全管理型のビッグデータアーキテクチャを有していることだ」という。

ストレージのコスト

　同氏はさらに次のように続けた。

この記事の著者

関連記事

• 

  HDD大容量化による「RAIDの限界」を解決するイレージャーコーディング

• 

  Windows 10導入を阻害するドル高を華麗に回避する方法