機械学習を現場で生かすためにはビジネス層と共通言語を持つことが不可欠

　渡部氏に続いて登壇したのは、同じビッグデータID・ポイント領域グループの松崎 遥氏。機能を実装して組み込んでいく立場にある松崎氏は、リクルートテクノロジーズにおける機械学習の活用事例を紹介した。同社では機械学習を活用するような新規施策が年間数百件もあるというが、一番重要なのはリクルートグループの中核である広告事業におけるマッチング率の向上だ。

リクルートテクノロジーズ　松崎 遥氏

　「機械学習が介入できるポイントは細かいところまで数えればキリがありません。例えば広告を打っても反応がなければ、開封率を予測したり、開封率の高いセグメントを学習してポイントを絞ったりすることができます」（松崎氏）

　同社では2013年、横断データを生かして数十年単位先を予測するプロジェクトがスタートした。システム自体は完成したが、予測データを公開してもほとんど使われない問題に直面したという。その後、松崎氏らはシステムの改良を重ね、ユーザーの要望を入力すると自動的に予測機能が働き、適切な施策を実行するまでにこぎ着けた。今回のセッションではどうやってその解にたどり着き、仕組みを実現したのか、その経緯を語った。

　当初は、営業指標を全て取得できることを重要視していた。「データが網羅的に収集されることに重きを置いたのです」（松崎氏）。そこで「Exadataでしか通用しないようなチューニング」（同氏）も施し、大量のデータ処理が可能なシステムを構築した。

　はじめはこのシステムをBIツールなどのプログラムから参照してもらえばいいと考えていたと言う松崎氏。しかし、ある時点で満足できる性能を実現しても、次から次へとデータは増えていく。テーブル数は膨れ上がり、各テーブルを参照するアプリケーションのフォームは増え続けた。それに対応するために開発体制を革新して開発速度を10倍程度にまで上げることに成功したが、本当の解決には至らなかった。結果的に、個別に最適化したデータ群の乱立を招いたという。

　当時このシステムでしていたのは、性別や年収などのデモグラフィック（人口統計的特性）でセグメント分けをした予測分析だ。ロジックは基本的なものを使っていたが「ようやく使える精度を得られるようになったのは、2015年に分散処理ミドルウェア『Apache Hadoop』を導入してからです」と松崎氏は明かす。HortonworksのHadoopディストリビューションの導入によって全量データでの学習が可能になり、精度が向上した。

　しかし、壁も残った。機械学習により予測精度が向上しても、それがそのままビジネスに使えるデータではなかったということだ。このシステムは、ユーザーがあるテーブルについて分析をすると、結果とともに数十ページもの「Microsoft Excel」ファイルを出力していた。ビジネスの変化に応じてテーブルの意味も変わるため、その説明資料を添えていたのだ。膨大な資料を読みこなす必要があるシステムは、なかなか使ってもらえない。

　「開発者が考えていること、開発者が使っている言葉と、事業に携わるユーザーが求めていることや言葉との間に大きな乖離（かいり）があることに気付きました」（松崎氏）。そこで方針を変え、セルフサービスBIツールをテーブルではなく、高速な検索を可能にする「転置インデックス」の形で提供した。検索エンジンに要望（データ）を入力するとテーブルの内容が変わり、裏側でHadoopが予測データを作成するという仕組みだ。

　システムの方向性自体も大きく転換した。顧客セグメントをグラフィカルに表示したり、予測を作成すると自動的に広告配信に反映したりするシステムを新たに構築した。事業部側の担当者が自分で入力して検索し、Webサイト内にコンテンツを生成できるオートメーションツールが出来上がっていった。

　BIツールを使って顧客セグメントの分析をすれば、システムがそのままメール配信やログ収集、広告配信ロジックへの反映までを自動的にする。「このシステムを作ってから、システムに情報を取り込む人が増え、一方で、裏側で機械学習が動いているのを知らない人が増えました」（松崎氏）

　ビジネス層とエンジニア層では、システムに関する“共通言語”がなかったので会話が成立していなかった――。普及しなかったシステムを振り返って松崎氏はそう語る。共通言語がないからコミュニケーションが成立せず、使ってもらえるシステムも作れない。最後に再びマイクを握った渡部氏は、次のように語ってセッションを締めくくった。

　「私たちは、相手であるビジネス層のやりたいことが分かっていませんでした。共通言語で話すことが重要だったのです。それが分かり、今はビジネス層向けのツール作りを加速させています」（渡部氏）