実例で探る「Apache Kafka」の可能性【後編】
ウォルマートが「Apache Kafka」に貢献してまで克服したかった“壁”とは
Walmartは「Apache Kafka」を利用して、自社サービスのオンライン取引の不正検出を実行するシステムを開発した。同社はある課題を解決するために、Kafkaプロジェクトへの貢献を惜しまなかったという。その課題とは。
オープンソースのメッセージキュー/ストリーム(連続的に発生し続けるデータ)処理ミドルウェア「Apache Kafka」(以下、Kafka)は、イベント駆動型アプリケーションの実現に役立つ。前編「医療機関がコロナ対策に『Apache Kafka』を活用 ストリーム処理の実力は」は、Kafkaを活用する米国疾病管理予防センター(CDC:Centers for Disease Control and Prevention)の取り組みを紹介した。
小売業者Walmart(ウォルマート)もKafkaを使用する企業の一社で、不正検出などのさまざまなアプリケーションにKafkaを利用している。同社のシニアソフトウェアエンジニアであるナビンダー・パル・シング・ブラー氏は、Kafkaに関するオンラインカンファレンス「Kafka Summit」のユーザーセッションで、同社におけるKafkaの使用方法、Kafkaを改善するために実施したオープンソースプロジェクトへの貢献を語った。
ウォルマートは自らKafkaを改善
Walmartは、全てのオンライン取引を対象に不正検出を実行している。不正検出で利用するシステムはKafkaを利用して、判断に必要なデータを取得する仕組みだ。
ブラー氏によると、Walmartには実現すべき可用性とレイテンシ(データ到達までにかかる時間)の目標がある。同社はそれらの目標達成を目指した結果、Kafkaプロジェクトに対して複数の貢献をすることになったという。同社がKafkaに加えた改善は、Kafkaプロジェクト内では今後実装される機能や議論中の機能を示す「Kafka Improvement Proposals」(KIP)という扱いになっている。
KIPのうちの一つ「KIP-535」は、Kafkaを利用するアプリケーションが元のデータソースではなくレプリカ(複製)のデータソースからデータを取得することを、遅延時間に応じて条件付きで選択できるようにするものだ。Walmartにとって、不正検出の判断を可能な限り迅速に下すための情報取得が課題だった。元のデータソースよりもレプリカのデータソースの方がより早くデータを提供する場合があったことから、KIP-535を実装するに至った。
「基本的に整合性と可用性はトレードオフの関係になる」とブラー氏は指摘する。同氏によると、Walmartは不正検出システムでは可用性をより重視している。取引を長時間にわたってブロックすると、エンドユーザーの操作性に悪影響が及ぶためだ。
現代のアプリケーションアーキテクチャに合うKafka
Kafka Summitの基調講演には、Kafkaをベースにしたストリーム処理ミドルウェアを提供するConfluentのCEO兼共同設立者、ジェイ・クレプス氏が登場した。クレプス氏は、Kafkaが現代のアプリケーションやサービス開発において重要な役割を果たす存在として浮上していることについて、自身の見解を述べた。
「アプリケーションやサービスの組み立て方が近年変わってきている」とクレプス氏は指摘する。かつての一般的なアプローチは、データを格納する大規模なデータベースを用意し、アプリケーションはそのデータベースから情報を取得するというものだった。現代のアプリケーションは単一のデータソースからデータを取得するのではなく、複数のデータソースとデータをやりとりする構造になっている。
Kafkaのストリーム処理機能は「『データベース用ストレージのみがデータ管理の中心』ではない世界をモデル化するためのものだ」とクレプス氏は指摘する。「ストレージとデータがたどる経路で起きていることを、どう処理するかが鍵になる」(同氏)
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
“攻撃者優位”なサイバーセキュリティ、全ての「穴」をふさぐ方法とは? -
製品資料
実際に悪用される脆弱性は4%前後 優先的に対処すべき脆弱性を把握するには? -
製品資料
HubSpotの機能を拡張する法人データ活用法 -
製品資料
面倒で非生産的な「名寄せ」作業 高精度&高効率に実施するには? -
製品資料
名刺管理には「その先」がある 成果のでない営業活動から脱却する秘訣
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
ISMSの“コンサル丸投げ”が招く数千万円の無駄 NTTドコモビジネスの脱出劇
-
2
「VMware離れ」は本当か 3000社がVCF 9にかじを切った現実的な理由
-
3
「Microsoft 365」が乗っ取られる 跡形もなくMFAを破る手口
-
4
なぜ人はいるのにDXが進まない? ライオンも直面した“老害”レガシーシステム
-
5
Netflixのバックエンドは「ほぼJava」 3000超のアプリを支える開発基盤の裏側
-
6
マンガで解説:KSK2稼働で何が変わる? 税務調査の高度化に備えるデータ管理
-
7
「0.3秒のスピード顔認証」の入退室管理が社員に好評 事例に学ぶオフィス改革
-
8
脱VMwareに待った? AI基盤を掲げるBroadcomの思惑と情シスが直面する新コスト
-
9
レガシーコードを捨てJavaで勘定系を再定義 ソニー銀行、フルクラウド化の全容
-
10
継続利用は4割どまり M365 Copilotが「効く業務」と期待外れの境界
ホワイトペーパーランキング PR
-
1
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
2
AIが「わざわざ使うツール」になっていない? 業務で自然に使う導線にする秘訣
-
3
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは?
-
4
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
5
コスト分析で見る「デバイス復旧」の代償 損失額から導きだされた投資戦略とは
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
「結局、一部の人しか使わない」 AI活用が業務に定着しない根本的な理由
-
8
Macの安全神話は崩壊? 最新の脅威動向から見えた攻撃のトレンドと有効な対策
-
9
3分で分かる経理DX 富士通が約20%の業務効率化を実現した方法とは
-
10
ランサムウェア攻撃を“二重の防御構造”で防ぐ、クラウド型基幹システムの実力
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー