2015年07月03日 08時00分 公開
特集/連載

Cloud Bigtable担当者に聞く、Googleのスケールアウトビッグデータ戦略MapReduce導入から10年強

2004年にGoogleが導入したMapReduceは、ビッグデータに大きな影響を与えた。そして今、Googleはビッグデータに何をもたらそうとしているのか?Cloud Bigtable担当者にインタビューした。

[Cliff Saran,Computer Weekly]
Computer Weekly

 2004年、米Googleがビッグデータの初期イニシアチブとして「MapReduce」を世界に紹介した独創的なホワイトペーパーの根底にあるのは、遠い昔の1958年に考案されたプログラミング概念だ。このMapReduceを使って、Googleは検索データの処理を妨げる問題への対処を試みた。突き詰めると、MapReduceとは、ビッグデータをある程度分割し、低コストな市販ハードウェアで実行される「Hadoop」を使って処理できるようにするものだ。

Computer Weekly日本語版 7月1日号無料ダウンロード

本記事は、プレミアムコンテンツ「Computer Weekly日本語版 7月1日号」(PDF)掲載記事の抄訳版です。本記事の全文は、同プレミアムコンテンツで読むことができます。

なお、同コンテンツのEPUB版およびKindle(MOBI)版も提供しています。

ボタンボタン

 検索エンジンを提供する同社は、データ処理戦略の拡張を始めている。最近では、完全管理型のスケーラブルなNoSQLデータベースサービス「Cloud Bigtable」を発表した。

 インターネット検索、ソーシャルメディア、IoT(モノのインターネット)は、データ量の急増に直面しているIT分野だ。従来のリレーショナルデータベースでは、真のデジタル社会が必要とする、津波のように押し寄せるデータを処理できなくなると専門家は予測する。

 10年以上前に発表されたMapReduceのホワイトペーパーで、Googleのジェフリー・ディーン氏とサンジェイ・ゲマワット氏は、1つの共通インフラで種類の異なるジョブをスケジューリングして処理できる単一インフラはないと記述している。当時は、具体的な環境やアーキテクチャに合わせて、あらゆるものを手作業で作成する必要があった。

 Cloud Bigtableを担当する製品部長コリー・オコナー氏によると、同社は現在、このホワイトペーパーの発表から改訂されること3回目のビッグデータビジョンに取り組んでいるという。「2002〜2004年はビッグデータが盛んに議論された年で、当社がMapReduceに関するホワイトペーパーを執筆したのもこのころだ」

 「当社は、このような問題を解決するために巨大なコンピュータを構築するという手法を根本から見直した。市販のコンピュータのみを使用し、システムが失敗するであろうことを前提とした」

 極めてスケーラビリティが高い、低コストの汎用インフラを使用するという考え方は、ITサプライヤーのビッグ4がビッグデータに取り組む方法とはほぼ対極にある。もちろん、ビッグ4はNoSQLにも取り組んでいるし、クラウドでHadoopを提供してもいる。だが例えば、独SAPは「S/4 HANA」に数百万ドルを出費することを顧客に求め、米Oracleは「Exadata」や同社が設計したアプライアンスファミリーを押し付け、米IBMは「z13」メインフレームのメリットを売り込み、米Microsoftは「SQL Server」を勧める。

 例えば、z13メインフレームは金融取引における不正行為をリアルタイムに分析できる。オコナー氏によると、このような時系列のデータはCloud Bigtableで自然に処理できるという。「問題へのアプローチには、さまざまな方法があることを理解することが重要だ。時間がたてば、どの方法が最も効率的か実証されるだろう」

 オコナー氏によると、Googleが他社と違うのは「非常に大きなデータセットの管理方法を知っており、完全管理型のビッグデータアーキテクチャを有していることだ」という。

ストレージのコスト

 同氏はさらに次のように続けた。

ITmedia マーケティング新着記事

news161.jpg

コロナ禍で縮小したマーケティング施策 1位は「オフラインのセミナー/展示会」――ベーシック調査
B2Bマーケターを対象にした調査で8割以上が「コロナ禍で実施/検討しているマーケティン...

news110.jpg

メルカリ調査 フリマアプリで売れる価格は新品の購買意思決定にどれほど影響する?
フリマプリ出品経験者は、フリマアプリでの再販価格が10%上昇すると、新品に支払える上...

news024.jpg

Google検索における2020年上半期の動向 新型コロナの影響でSEOはどう変わる?
新型コロナウイルスの影響が大きかった2020年の上半期ですが、Google検索の動向において...