2015年07月03日 08時00分 UPDATE
特集/連載

MapReduce導入から10年強Cloud Bigtable担当者に聞く、Googleのスケールアウトビッグデータ戦略

2004年にGoogleが導入したMapReduceは、ビッグデータに大きな影響を与えた。そして今、Googleはビッグデータに何をもたらそうとしているのか?Cloud Bigtable担当者にインタビューした。

[Cliff Saran,Computer Weekly]
Computer Weekly

 2004年、米Googleがビッグデータの初期イニシアチブとして「MapReduce」を世界に紹介した独創的なホワイトペーパーの根底にあるのは、遠い昔の1958年に考案されたプログラミング概念だ。このMapReduceを使って、Googleは検索データの処理を妨げる問題への対処を試みた。突き詰めると、MapReduceとは、ビッグデータをある程度分割し、低コストな市販ハードウェアで実行される「Hadoop」を使って処理できるようにするものだ。

Computer Weekly日本語版 7月1日号無料ダウンロード

17115.gif

本記事は、プレミアムコンテンツ「Computer Weekly日本語版 7月1日号」(PDF)掲載記事の抄訳版です。本記事の全文は、同プレミアムコンテンツで読むことができます。

なお、同コンテンツのEPUB版およびKindle(MOBI)版も提供しています。

ボタンボタン

 検索エンジンを提供する同社は、データ処理戦略の拡張を始めている。最近では、完全管理型のスケーラブルなNoSQLデータベースサービス「Cloud Bigtable」を発表した。

 インターネット検索、ソーシャルメディア、IoT(モノのインターネット)は、データ量の急増に直面しているIT分野だ。従来のリレーショナルデータベースでは、真のデジタル社会が必要とする、津波のように押し寄せるデータを処理できなくなると専門家は予測する。

 10年以上前に発表されたMapReduceのホワイトペーパーで、Googleのジェフリー・ディーン氏とサンジェイ・ゲマワット氏は、1つの共通インフラで種類の異なるジョブをスケジューリングして処理できる単一インフラはないと記述している。当時は、具体的な環境やアーキテクチャに合わせて、あらゆるものを手作業で作成する必要があった。

 Cloud Bigtableを担当する製品部長コリー・オコナー氏によると、同社は現在、このホワイトペーパーの発表から改訂されること3回目のビッグデータビジョンに取り組んでいるという。「2002〜2004年はビッグデータが盛んに議論された年で、当社がMapReduceに関するホワイトペーパーを執筆したのもこのころだ」

 「当社は、このような問題を解決するために巨大なコンピュータを構築するという手法を根本から見直した。市販のコンピュータのみを使用し、システムが失敗するであろうことを前提とした」

 極めてスケーラビリティが高い、低コストの汎用インフラを使用するという考え方は、ITサプライヤーのビッグ4がビッグデータに取り組む方法とはほぼ対極にある。もちろん、ビッグ4はNoSQLにも取り組んでいるし、クラウドでHadoopを提供してもいる。だが例えば、独SAPは「S/4 HANA」に数百万ドルを出費することを顧客に求め、米Oracleは「Exadata」や同社が設計したアプライアンスファミリーを押し付け、米IBMは「z13」メインフレームのメリットを売り込み、米Microsoftは「SQL Server」を勧める。

 例えば、z13メインフレームは金融取引における不正行為をリアルタイムに分析できる。オコナー氏によると、このような時系列のデータはCloud Bigtableで自然に処理できるという。「問題へのアプローチには、さまざまな方法があることを理解することが重要だ。時間がたてば、どの方法が最も効率的か実証されるだろう」

 オコナー氏によると、Googleが他社と違うのは「非常に大きなデータセットの管理方法を知っており、完全管理型のビッグデータアーキテクチャを有していることだ」という。

ストレージのコスト

 同氏はさらに次のように続けた。

この記事を読んだ人にお薦めのホワイトペーパー

この記事を読んだ人にお薦めの関連記事

Loading

注目テーマ

ITmedia マーケティング新着記事

news026.jpg

2016「今年の○○」、“ほぼほぼ”納得のいく調査データまとめ
「2016年の○○」「今年の××」といったまとめ系調査が数多くリリースされる季節になり...

news106.jpg

コムニコ、企業やブランドのSNSアカウントに特化した投稿検索・分析ツールを提供
コムニコは、企業やブランドのSNSアカウントに特化した投稿検索・分析ツール「POST365」...

news025.jpg

博報堂とCCCマーケティング、Tカード会員1200万人分の実購買データに基づくリサーチパネル活用で協業
CCCマーケティング、博報堂、博報堂子会社の東京サーベイ・リサーチは業務提携を行い、T...