ウォルマートが「Apache Kafka」に貢献してまで克服したかった“壁”とは

Walmartは「Apache Kafka」を利用して、自社サービスのオンライン取引の不正検出を実行するシステムを開発した。同社はある課題を解決するために、Kafkaプロジェクトへの貢献を惜しまなかったという。その課題とは。

公開 2020年11月20日 05時00分

更新 2023年09月01日 15時21分

著者

Sean Michael Kerner

[TechTarget]

印刷する連載新着通知を受け取る

　オープンソースのメッセージキュー／ストリーム（連続的に発生し続けるデータ）処理ミドルウェア「Apache Kafka」（以下、Kafka）は、イベント駆動型アプリケーションの実現に役立つ。前編「医療機関がコロナ対策に『Apache Kafka』を活用　ストリーム処理の実力は」は、Kafkaを活用する米国疾病管理予防センター（CDC：Centers for Disease Control and Prevention）の取り組みを紹介した。

　小売業者Walmart（ウォルマート）もKafkaを使用する企業の一社で、不正検出などのさまざまなアプリケーションにKafkaを利用している。同社のシニアソフトウェアエンジニアであるナビンダー・パル・シング・ブラー氏は、Kafkaに関するオンラインカンファレンス「Kafka Summit」のユーザーセッションで、同社におけるKafkaの使用方法、Kafkaを改善するために実施したオープンソースプロジェクトへの貢献を語った。

ウォルマートは自らKafkaを改善

併せて読みたいお薦め記事

アプリケーションでのデータの扱い方

データ処理に利用できる製品・サービス

　Walmartは、全てのオンライン取引を対象に不正検出を実行している。不正検出で利用するシステムはKafkaを利用して、判断に必要なデータを取得する仕組みだ。

　ブラー氏によると、Walmartには実現すべき可用性とレイテンシ（データ到達までにかかる時間）の目標がある。同社はそれらの目標達成を目指した結果、Kafkaプロジェクトに対して複数の貢献をすることになったという。同社がKafkaに加えた改善は、Kafkaプロジェクト内では今後実装される機能や議論中の機能を示す「Kafka Improvement Proposals」（KIP）という扱いになっている。

　KIPのうちの一つ「KIP-535」は、Kafkaを利用するアプリケーションが元のデータソースではなくレプリカ（複製）のデータソースからデータを取得することを、遅延時間に応じて条件付きで選択できるようにするものだ。Walmartにとって、不正検出の判断を可能な限り迅速に下すための情報取得が課題だった。元のデータソースよりもレプリカのデータソースの方がより早くデータを提供する場合があったことから、KIP-535を実装するに至った。

　「基本的に整合性と可用性はトレードオフの関係になる」とブラー氏は指摘する。同氏によると、Walmartは不正検出システムでは可用性をより重視している。取引を長時間にわたってブロックすると、エンドユーザーの操作性に悪影響が及ぶためだ。

現代のアプリケーションアーキテクチャに合うKafka

　Kafka Summitの基調講演には、Kafkaをベースにしたストリーム処理ミドルウェアを提供するConfluentのCEO兼共同設立者、ジェイ・クレプス氏が登場した。クレプス氏は、Kafkaが現代のアプリケーションやサービス開発において重要な役割を果たす存在として浮上していることについて、自身の見解を述べた。

　「アプリケーションやサービスの組み立て方が近年変わってきている」とクレプス氏は指摘する。かつての一般的なアプローチは、データを格納する大規模なデータベースを用意し、アプリケーションはそのデータベースから情報を取得するというものだった。現代のアプリケーションは単一のデータソースからデータを取得するのではなく、複数のデータソースとデータをやりとりする構造になっている。

　Kafkaのストリーム処理機能は「『データベース用ストレージのみがデータ管理の中心』ではない世界をモデル化するためのものだ」とクレプス氏は指摘する。「ストレージとデータがたどる経路で起きていることを、どう処理するかが鍵になる」（同氏）