リクルートのビッグデータ分析基盤ができるまで、事業部門と開発部門が共に奮闘（1/2 ページ）

リクルートのサービスで共通に使われる「リクルートID」。ここに集まる膨大なデータを同社はどのように収集、分析し、活用基盤を構築しているのか。機械学習の結果を現場で生かす上での苦労と併せて紹介する。

公開 2017年11月27日 05時01分

著者

重森大

[著]

印刷する

　「ホットペッパー」や「じゃらん」「ゼクシィ」「リクナビ」など数多くの人気サービスを手掛けるリクルートグループ。これらのサービスを支えるデータ基盤と機械学習について、2017年10月に都内で開催されたデータ活用関連イベント「Data Platform Conference 2017」のセッションで当事者が語った。同セッションでは、リクルートグループがどのようにユーザーデータを活用してきたかについて、同グループのシステム開発を手掛けるリクルートテクノロジーズが紹介。事業部門と開発部門とのすり合わせの歴史であり、現場でデータを活用する際に必要な示唆に富んだものだった。

併せて読みたいお薦めの記事

「Data Platform Conference 2017」レポート

主要クラウドのデータ分析サービス

クラウドを活用したデータ処理の事例

ライフイベント、ライフスタイルに関わるサービスを横断分析可能

　同セッションには、リクルートテクノロジーズのITソリューション統括部から2人の話者が登壇した。リクルートのビジネスモデルと横断データ基盤を紹介する前半を担当したのは、渡部徹太郎氏だ。

リクルートテクノロジーズ　渡部徹太郎氏

　リクルートグループの事業領域は主に2つに分けられる。進学や結婚など人生のあらゆるシーンをサポートするライフイベント事業、もう1つは旅行や美容などのライフスタイル事業だ。いずれにおいても共通するのは「エンドユーザーとクライアントがいて、それをいかにうまくマッチングさせるかということに注力している点です」と渡部氏は説明する。

　より良いマッチングのために「集客力の向上」「ポイント制度の採用」「マッチング率向上施策の実施」「顧客セグメントレポートを活用したデータ主導の意思決定支援」の4プロセスを最適化しつつ運用する。それが渡部氏らに課された任務だ。そもそもリクルートテクノロジーズは、リクルートグループを横断する組織として生まれた。リクルートグループが提供するサービスに共通で使われる「リクルートID」をベースに、Webサイトを横断的に分析、共通ポイントの付与やサービス間のクロス送客をする組織だ。「そのためにグループ横断で使えるビッグデータの収集、分析、活用基盤を構築し、運用しています」（渡部氏）

　リクルートグループはそのデータ分析基盤を使い、じゃらんなどリクルートグループが提供する各サービスのWebアプリケーションからマスターデータとユーザーの行動データを収集、蓄積している。収集したデータは、プログラミング言語「Python」で開発したプログラムなどを使って加工し、データ活用のためのアプリケーション（以下、データアプリケーション）に出力する。データアプリケーションでそのデータを可視化できるようにした他、それぞれの事業部門がビジネスインテリジェンス（BI）ツールからデータ分析基盤へアクセスしたりレポートを作成したりできるようにすることで、データドリブンな意思決定を支援する。

　現在、データ分析基盤では50種類以上のサービスから2PB程度のデータを集めているという。データベースの数は160件、テーブルは8000件、サーバが200台という規模だ。そこで実行するジョブは1万件を超え、毎月1億クエリを処理している。約400人が利用し、データアプリケーション開発には87人が携わっている。

　データ分析基盤の中心となっているのは、Oracleのデータベースサーバ専用機「Oracle Exadata Database Machine」（以下、Exadata）だ。Webブラウザから収集したデータをExadataに取り込み、個人情報のマスキングや名寄せをする。Adobe SystemsのWeb分析サービス「Adobe Analytics」を使って行動分析した結果をさらに機械学習で分析（属性推定）し、年齢や性別などの属性を推定し、それに応じてWebサイトのUI（ユーザーインタフェース）／UX（ユーザー体験）を改善する。これがパーソナライズやレコメンドの基本的なパターンだ。

横断データ基盤の典型的な処理パターン《クリックで拡大》

　複数のWebサイトを横断したデータ基盤なので「AというWebサイトに始めてアクセスする人であっても、BというWebサイトの利用歴から属性を推定し、ユーザーの意向に沿った情報提供が可能になります」と渡部氏は説明する。

　データ分析基盤は十分に完成したシステムに思えるが、まだ課題は多いという。例えば「Amazon S3」の行動データ取得に時間がかかり過ぎていたり、スマートデバイスにインストールして使うネイティブアプリから情報を集め、処理する方法が定まっていなかったりする。ユーザー増加やビッグデータ活用の広まりによる計算量の増大も課題だ。個人情報を扱うデータウェアハウスと機械学習は現在オンプレミスで運用しており、拡張性に限界を感じているという。

データガバナンスのポイントを3点に絞って実例を紹介

　続いて渡部氏は、リクルートグループのデータガバナンスへと話題を移した。ポイントはメタデータ管理、データフロー管理、そしてデータ品質管理の3点にあるという。

　データの可視化については、該当する機能をWebアプリケーションとして提供し、約4年運用している。主要機能は「データを探す機能」「データの意味を知る機能」「データの変化を知る機能」の3つだ。

　データを探す機能としては、データベースやテーブルの一覧を提供するのはもちろんのこと、自然言語検索で必要なデータを含むテーブルを見つけ出せるようにしている。データの意味を知る機能とは、テーブルの定義を事業者側にも分かりやすく提示する機能だ。ユーザーがコメントを残せるようにしており、どのような人がどのようなことに利用したテーブルかを知ることができる。データの変化を知る機能とは、テーブル定義の変化を知るためのもので、変更されるたびにメールで通知を受け取れる。

　テーブルへのコメントの応用として、テーブルを頻繁に使う人が見えるようになった。「『このデータについて誰に聞けばいいのか』を可視化できたのです」（渡部氏）

　さらに利便性を高めるために「データ収集のハードルを下げたい」と渡部氏は言う。具体的には、利用者自身がデータを追加できる仕組みや、開発者がもっと手軽にデータを追加できる仕組みづくりを目指すという。ビジネス用語とデータのひも付けも進め、データ管理者を置くなど、データ活用の視点も忘れてはいない。

　2つ目のポイントは、データフロー管理だ。こちらは入力データとその処理の関係性を管理し可視化するWebアプリケーションを作り、提供している。Exadataと「Oracle Database」をまとめて管理できる仕組みで、取り扱いデータ数は約7000件、ジョブは800件程度だという。データの管理方法には、データ交換形式のYAMLで定義して、バージョン管理システムの「Git」を利用することで、Oracle Databaseのテーブル変更を管理している。主な用途は、障害影響調査など万が一の際のデータ分析だ。

　「データの種類や処理目的によって、ソースデータに求められる鮮度が変わります。そのためデータ鮮度を考慮したデータ処理の流れを整備しないと、例えばデータの更新が遅れたときに、どのデータフローに影響があるのかといった障害影響調査が難しくなります」（渡部氏）

データフロー管理《クリックで拡大》

　最後のポイントは、データ品質管理だ。これはまだ課題として残っており、リクルートテクノロジーズでも徹底できてはいないという。各チームが個別に品質チェックをしているのが現状だ。「データごとの品質要件をユーザーが登録し、チェックできる仕組みを作りたいと考えています。分析者がデータの状態を把握できるように、データ品質を標準化する必要があるからです」（渡部氏）

次ページへ機械学習を現場で生かすためには