同社はBigQueryを使う前、オンプレミス環境でHadoopクラスタを構築してデータ分析をしていた。しかしサービスの成長に伴いデータ量が増加し、クエリ結果が返るまでに時間がかかるようになったという。柄沢氏は「クエリの記述だけでも試行錯誤している中、分析スピードを速めてPDCA（計画、実行、評価、改善）サイクルを回していくことは、データ分析チームの課題になっていた」と話す。

　2015年にBigQueryを試してみたところ、クエリを実行してから1時間かかっていた分析処理が、数秒または2、3分で終えられることが分かった。柄沢氏は「BigQueryに乗り換えるしかないと思った」と当時を振り返る。

　各クライアントアプリで発生したユーザーの行動記録は全て一度ログサーバに集約し、BigQueryへ送る。またAPIサーバのログも、リアルタイムではないがログサーバに集約した後にストレージサービス「Google Cloud Storage」（GCS）を経由してBigQueryに届ける。

　メルカリは、エンジニア以外のスタッフにもBigQueryが使える環境を整えている。こうすることでエンジニア以外のスタッフが、エンジニアに逐次依頼することなく分析データを得られるからだ。「せっかくBigQueryが高速にデータを返せるのに、社内のフローに時間がかかっていたらもったいない」（柄沢氏）。BigQuery使用の垣根を取り払った結果、例えばSRE（注）やサーバエンジニアは、障害やユーザーアクティビティーの調査に、カスタマーサービススタッフは顧客対応のための調査に、BigQueryを活用するようになったという。非エンジニアが実際どのようにBigQueryを活用しているのかは、後編（パネルディスカッションのレポート）で紹介する。

※注：Site Reliability Engineerの略。インフラの管理や自動化、障害対応といったインフラエンジニアとしての業務に加え、性能、可用性、拡張性を向上させるためにソースコードにも手を加えるソフトウェアエンジニアのこと。

　BigQueryの活躍の幅が広がった結果、ある問題にぶつかった。いわゆる「BigQuery破産」の懸念だ。BigQueryはスキャンするデータ量に応じて課金するモデルだ。例えば期間を絞らずに全期間のデータをスキャンすれば、その分費用がかさむ。メルカリ社内では、莫大（ばくだい）な請求を恐れて、大きなデータのスキャンをためらう傾向が見受けられたという。「もっと広い期間で集計ができれば、より良い結果が得られたのに」という後悔はビジネスにとっては機会損失ともいえる。

　そこで2016年末にBigQueryを定額料金で契約することにした。「定額料金は最低料金が高額なので、導入前に社内で使っている金額と、ためらってスキャンしなかった機会損失分の金額を試算した」（柄沢氏）。定額料金にしたことで、「クエリを投げるたびにお金がかかる」という心理的制約と、それによる機会損失を解消できたそうだ。またBigQueryへAPIを介してプログラムでクエリを投げ、その集計データを使って機械学習にデータを送るなど、データを抽出する用途にも使いやすくなったという。

　ただし定額料金のBigQueryにも注意点はある。柄沢氏によれば「並列で一斉に仮想インスタンス（VM）の計算を走らせる定額料金プランには、コンピューティングパワーに上限がある」のだという。「最も安価なプランで最大2000VMだが、重いスキャンを走らせ過ぎると2000VMを使い果たしてしまい、他の人が利用するタイミングやバッチ処理の時間帯に重なると互いに影響が出てしまう」こともあったそうだ。VMの逼迫（ひっぱく）具合はパフォーマンス監視ツール「Stackdriver Monitoring」で確認できる。

今後の展望

　講演の最後に柄沢氏は、メルカリのGCP活用の今後について、3つの方針を紹介した。1つ目はデータ分析基盤について。メルカリはこれからもBigQueryを中心に取り組んでいくという。リアルタイムメッセージングサービスの「Google Cloud Pub/Sub」やリアルタイムデータ処理サービス「Google Cloud Dataflow」、そして分散処理基盤「Apache Hadoop」「Apache Spark」のマネージドサービス「Google Cloud Dataproc」などを活用し、「データ処理のリアルタイム化や可視化を推進していく」と語る。

《クリックで拡大》

　2つ目はマイクロサービスについて。グローバル組織化しているメルカリとしては、1拠点のSREが各拠点のITインフラを担うのではなく、各拠点のエンジニアが運用できる組織体制を作っていく必要がある。「コンテナ管理サービス『Google Container Engine（GKE）』はその1つの助けになるだろう」との考えを示す。

　3つ目はGoogleの技術を自社の技術評価の指標にし、自社開発をするかどうかを見極めていく。柄沢氏は「Googleの技術は自分たちの技術力を測る指標でもあると思っている」と述べる。例えばGoogleには、動画を自動認識してカテゴリー付けする「Google Cloud Video Intelligence API」という技術がある。こうした技術を自社の機械学習エンジニアを投入して開発したとき、Googleよりも良い（ビジネスニーズに合った）結果を出せるだろうか。「Googleの技術を採用するか、自社で開発するかを判断するベンチマークの1つとしてGoogleを見ているという一面もある」と述べる。

　後編では、メルカリの子会社であるソウゾウのGCP活用事例と、メルカリ、ソウゾウ、Googleの3社によるパネルディスカッションの模様をレポートする。