ShopRunnerでデータサイエンスおよびエンジニアリング部門のバイスプレジデントを務めるミケランジェロ・ダゴスティーノ氏は、ShopRunnerと同社の小売パートナーを「反Amazon共同体」と称している。同社CEOのサム・ヤガン氏は、自社を「反乱軍」と呼んでいる。

　自社のテクノロジー基盤と会員サービスを強化するため、ShopRunnerは小売テクノロジーに機械学習を利用している。その一部は社内開発したものだが、テクノロジーベンダーとのパートナーシップによって利用可能にしたものもある。

　最近、Amazonが「Amazonプライム」会員向けに1日以内に無料配送するオプションを近々用意すると発表した。それでも、ShopRunnerが有する小売業者を結ぶネットワークと、注文から2日以内に無料配送するという会員企業向けサービスは、同社をAmazonの有力な競争相手にしている。

　ShopRunnerの重要なパートナーの一社が、Databricksだ。ShopRunnerは、小売業での機械学習に、Databricksの主要機能を幾つか利用する。またMLflowやDelta Lakeなど、Databricksの新たなツールも利用し始めている。

　Spark + AI Summit 2019でDatabricksが明らかにしたDelta Lakeは、データレイクを管理するためのオープンソースツールだ。同カンファレンスではDatameerも、新しいツールとDatabricksとの新たなパートナーシップを発表している。

DatabricksとShopRunnerのパートナーシップ

　ShopRunnerは2017年にDatabricksとの契約に署名し、2018年以降は同ベンダーのテクノロジーに取り組んでいる。

　その名前にもかかわらず、ShopRunnerは2日以内の配送を可能にする物流そのものを提供しているわけではない。同社は2日以内の配送を可能にする有料会員サービスを小売企業に販売している。会員企業は現在100社ほどだ。小売パートナーはこのパートナーシップによって多くの顧客を取り込めるだけでなく、顧客から有益なデータも集められる。

　ShopRunnerは、JavaScriptを利用して、小売パートナーのWebサイトに自社のテクノロジーを埋め込む。顧客がWebサイトをどのように操作し、何を購入するかを追跡して顧客の行動データを生成すると、ダゴスティーノ氏は説明する。

　小売での機械学習向けに、ShopRunnerは収集した行動データの全てを、ビッグデータ処理ソフトウェアの「Apache Spark」を使って処理している。ダゴスティーノ氏によると、このデータ量は1日当たり1TBにもなるという。

　ShopRunnerはDatabricksのツール内でほぼ全てのデータを処理する。その後、その処理結果を使って、データレコメンデーションシステム、マーケティング活動、予測モデルを強化している。これにより、ShopRunnerの小売パートナーを緊密に統合する統一プラットフォームを生み出し、このプラットフォームを数多くの小売パートナーから製品を購入できるワンストップサイトにしている。これはAmazonとよく似ている。

　Databricksを利用することで、「オンボーディングが大幅に簡単になり、パートナーは迅速に実運用に移行できるようになる」とダゴスティーノ氏は話す。

新しいオープンソースツール

　ShopRunnerは、小売テクノロジーに機械学習を利用するために、MLflowを試している。MLflowはオープンソースの機械学習管理ツールだが、その原型はDatabricksが開発したものだ。ShopRunnerは、DatabricksがホストするバージョンのMLflowのβテストを担当している。ダゴスティーノ氏は「今のところ、満足している」と言う。

　「テストの追跡とモデルのバージョン管理は非常に重要であり、それらは急速に進化している」とダゴスティーノ氏は説明する。ShopRunnerは、DatabricksがMLflowを簡単に使い始められるようにしている点を評価している。DatabricksはSpark + AI Summit 2019で公開した「MLflow 1.0」を、2019年6月に提供開始した。

　ShopRunnerは、Databricksの「Databricks Delta」も利用していた。Databricksは同製品をオープンソースにして名称をDelta Lakeに変更することをSpark + AI Summit 2019で発表している。

　ダゴスティーノ氏によると、ShopRunnerはあまりDelta Lakeを使用していないが、データセットのバージョン管理やタイムトラベルなどの機能は、モデルを作り直す際に役に立つという。同ツールが提供する機能の一部は、クラウドデータウェアハウス（クラウドDWH）ベンダーのSnowflakeも提供している。違うのは、Delta Lakeがオープンソースになり、列指向のデータ形式「Apache Parquet」形式で保存されたデータを処理対象にする点であり、「これを試してみるのが楽しみだ」とダゴスティーノ氏は言う。