1カ月で1億時間分のデータが生成されるeBayのアナリティクス環境構築記：「何から始めればいいのかすら分からない」

コンピュータが生成するデータ量は1日に50Tバイト。全社では100Pバイトを処理しなければならない。米eBayはこのような、膨大な量のデータ処理という課題に直面している。

[Cliff Saran，Computer Weekly] PC用表示関連情報

LINE

Hatena

Computer Weekly日本語版　6月18日号無料ダウンロード

本記事は、プレミアムコンテンツ「Computer Weekly日本語版　6月18日号」（PDF）掲載記事の抄訳版です。本記事の全文は、同プレミアムコンテンツで読むことができます。

Computer Weekly日本語版　6月18日号：eBayとスターバックスのビッグデータ戦略

なお、同コンテンツのEPUB版およびKindle（MOBI）版も提供しています。

　eBayでグローバルビジネスアナリティクス部門の責任者を務めるデイビッド・スティーブンソン氏は、2014年4月に英国ロンドンで開かれたカンファレンス「Gartner CRM Summit」で講演を行った。その際、同氏が携わっているオークションサイトの目標は、顧客に楽しい買い物をしてもらうことだと語った。

　市場を提供する立場として、eBayの事業の成功は品物の買い手および売り手の視点で見たときに円滑な取引ができているかどうかに懸っていると同氏は話す。

　同社はアナリティクスを実施して、顧客への理解を深めることに努めている。スティーブンソン氏が目指しているのは、小さい店で見られるような一種のパーソナル化を可能な限り進めて、eBayのネットオークションの世界でそれを展開することだ。「小さな店では、それぞれの客の好みを把握したり既存の顧客からの要望に応えたりした上で、客の品選びを手伝ったりお勧め品を提案したりする、きめ細かい接客が肝要だ」と同氏は語る。

Webの評価指標

　Webサイトに対する評価指標のデータは、スティーブンソン氏が自らの裁量で意思決定を下す際の根拠となるものだ。同社が運営するオークションサイトからは、膨大な数のWebアナリティクスのデータが生み出される。スティーブンソン氏はこれを「顧客の旅の記録」と呼ぶ。顧客がeBay上でどんな行動を取り、そのサイトをどのように利用しているか、データを見れば分かるからだ。

　「Webサイトでも（地元の商店と）同じ体験を提供できる。それに顧客に比較データを提供することもできる」とスティーブンソン氏は話す。「われわれには顧客の行動の意図を学ぶ手段がある」（スティーブンソン氏）。このような知見の全てが、eBayで展開されるテクノロジーの刷新につながっている。

　eBayにとっての課題は、Webアナリティクスだ。Webアナリティクスは、スーパーマーケットに来た買い物客全員の頭にビデオカメラを装着するようなものだとスティーブンソン氏は話す。顧客全員の行動をもれなく記録すると、顧客のやりとりの記録は1カ月で1億時間になる。さらに、同時に発生する顧客データは多すぎて、管理しきれないほどの量になる。「1億時間の記録に対する（Webアナリティクス）処理なんて、何から始めればいいのかすら分からない」と同氏は話す。

　「われわれは顧客を理解し、顧客から学び、データサイエンスのテクニックを応用して、さらに多くのデータや新しいタイプのデータを取得する必要がある」

　eBayでは、3万に及ぶカテゴリーに対して1億人の顧客が出品している。同サイトで処理される1秒当たりの取引額は数千ドルに上り、スティーブンソン氏はこの取引データを「ほんの氷山の一角」と呼ぶ。

　eBayは顧客の旅に関する全てのデータを処理することに苦慮していると、同氏は認めている。ビッグデータを処理する際の課題とは、例えば「昨日実行された検索の中で上位のキーワードは何か」のような、業務に関する簡単な問いを投げかけるだけでも、扱うデータが50億ページビューにわたることだ。「基本的な質問をする場面に限定しても、大きな問題に直面している」とスティーブンソン氏は実情を明かす。

　しかしeBayが実際に必要としているのは、単純な質問以上の複雑な問いに対する答えだ。「eBayで実現したいのは、感情の分析、ネットワーク分析、そして画像分析だ。しかしこれらは全て、従来のトランザクションデータベースでは処理できない」とスティーブンソン氏は語る。

　そこで同社は、データアナリティクス処理を3つのプラットフォームに分割した。