実例で探る「Apache Kafka」の可能性【後編】
ウォルマートが「Apache Kafka」に貢献してまで克服したかった“壁”とは
Walmartは「Apache Kafka」を利用して、自社サービスのオンライン取引の不正検出を実行するシステムを開発した。同社はある課題を解決するために、Kafkaプロジェクトへの貢献を惜しまなかったという。その課題とは。
オープンソースのメッセージキュー/ストリーム(連続的に発生し続けるデータ)処理ミドルウェア「Apache Kafka」(以下、Kafka)は、イベント駆動型アプリケーションの実現に役立つ。前編「医療機関がコロナ対策に『Apache Kafka』を活用 ストリーム処理の実力は」は、Kafkaを活用する米国疾病管理予防センター(CDC:Centers for Disease Control and Prevention)の取り組みを紹介した。
小売業者Walmart(ウォルマート)もKafkaを使用する企業の一社で、不正検出などのさまざまなアプリケーションにKafkaを利用している。同社のシニアソフトウェアエンジニアであるナビンダー・パル・シング・ブラー氏は、Kafkaに関するオンラインカンファレンス「Kafka Summit」のユーザーセッションで、同社におけるKafkaの使用方法、Kafkaを改善するために実施したオープンソースプロジェクトへの貢献を語った。
ウォルマートは自らKafkaを改善
Walmartは、全てのオンライン取引を対象に不正検出を実行している。不正検出で利用するシステムはKafkaを利用して、判断に必要なデータを取得する仕組みだ。
ブラー氏によると、Walmartには実現すべき可用性とレイテンシ(データ到達までにかかる時間)の目標がある。同社はそれらの目標達成を目指した結果、Kafkaプロジェクトに対して複数の貢献をすることになったという。同社がKafkaに加えた改善は、Kafkaプロジェクト内では今後実装される機能や議論中の機能を示す「Kafka Improvement Proposals」(KIP)という扱いになっている。
KIPのうちの一つ「KIP-535」は、Kafkaを利用するアプリケーションが元のデータソースではなくレプリカ(複製)のデータソースからデータを取得することを、遅延時間に応じて条件付きで選択できるようにするものだ。Walmartにとって、不正検出の判断を可能な限り迅速に下すための情報取得が課題だった。元のデータソースよりもレプリカのデータソースの方がより早くデータを提供する場合があったことから、KIP-535を実装するに至った。
「基本的に整合性と可用性はトレードオフの関係になる」とブラー氏は指摘する。同氏によると、Walmartは不正検出システムでは可用性をより重視している。取引を長時間にわたってブロックすると、エンドユーザーの操作性に悪影響が及ぶためだ。
現代のアプリケーションアーキテクチャに合うKafka
Kafka Summitの基調講演には、Kafkaをベースにしたストリーム処理ミドルウェアを提供するConfluentのCEO兼共同設立者、ジェイ・クレプス氏が登場した。クレプス氏は、Kafkaが現代のアプリケーションやサービス開発において重要な役割を果たす存在として浮上していることについて、自身の見解を述べた。
「アプリケーションやサービスの組み立て方が近年変わってきている」とクレプス氏は指摘する。かつての一般的なアプローチは、データを格納する大規模なデータベースを用意し、アプリケーションはそのデータベースから情報を取得するというものだった。現代のアプリケーションは単一のデータソースからデータを取得するのではなく、複数のデータソースとデータをやりとりする構造になっている。
Kafkaのストリーム処理機能は「『データベース用ストレージのみがデータ管理の中心』ではない世界をモデル化するためのものだ」とクレプス氏は指摘する。「ストレージとデータがたどる経路で起きていることを、どう処理するかが鍵になる」(同氏)
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[株式会社グローバルウェイ] 事例に学ぶ、マルチAIエージェント基盤による製造業DXの実現方法 -
事例
[株式会社グローバルウェイ] ポリプラスチックスに学ぶERP刷新 開発を大幅に効率化したアプローチとは? -
製品資料
[株式会社ネットワールド] サプライチェーンのリスク対応は急務 いま中小企業に必要なセキュリティ対策は -
製品資料
[パーソルクロステクノロジー株式会社] 失敗しない、「DXコンサルティング」活用ノウハウ -
製品資料
[パーソルクロステクノロジー株式会社] スマートファクトリー推進のための「アウトソーシング」活用例
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
Java SEに「Java4Shell」、WebLogicも修正――今朝の情シスニュース
-
2
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
3
AI時代のITインフラ変革 ネットワークの重要性と「予測をやめる投資」とは
-
4
WordPressサイトの4割が旧版のまま 自動更新が止まる組織の共通点
-
5
なぜ「WSUS」を捨てない? 非推奨でも35%が使い続けるワケ
-
6
なぜ「Microsoft Teams」がランサムウェアの入り口になるのか?
-
7
「WSUS」更新終了で迫られる決断 8割が選んだ“本命”移行先ツールとは?
-
8
SAP移行で1900億円の赤字 「ベンダー任せ」が招くERP崩壊と回避策
-
9
「Microsoft 365 Copilot AIエージェントによる業務自動化」に関するアンケート
-
10
「ITサービスマネジメントの利用実態」に関するアンケート
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
4
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
5
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
6
自社のメール環境は本当に安全? チェックシートですぐ分かる“今必要な対策”
-
7
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
-
8
Microsoft 365 Copilotで実際何ができる? 回答の精度を高めるRAGとは?
-
9
AIに何を聞いても「汎用的な答え」しか返ってこないのはなぜか?
-
10
SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー