ストリーム処理のために、AWSは「Amazon Kinesis」と「Amazon Managed Streaming for Apache Kafka」(Amazon MSK)という2種類のサービスを用意している。両者の違いとは。
継続的かつ大量に生じるデータを「ストリーム」と言う。ストリームを処理するアプリケーションは、データの量を問わず遅延を最小限に抑え、受け取るデータをリアルタイムに取り込んで処理する必要がある。
Amazon Web Services(AWS)は、ストリームの取り込みと処理に利用できる「ストリーム処理サービス」を2種類用意している。「Amazon Kinesis」と「Amazon Managed Streaming for Apache Kafka」(Amazon MSK)がそれだ。どちらもストリームを処理するという基本機能は共通しているが、それぞれ異なる特徴がある。Amazon KinesisとAmazon MSKの主な類似点と相違点を確認する。
Amazon Kinesisはリアルタイムでのストリームの取り込みと処理を目的とする。ストリームを生成するアプリケーション群である「プロデューサー」がAmazon Kinesisを介して、データを利用するアプリケーションである「コンシューマー」にデータを転送する。
ストリーム分析サービス「Amazon Kinesis Data Analytics」や、AWSのデータストアにストリームをロードするサービス「Amazon Kinesis Data Firehose」などの機能別サービスで構成される。動画の処理と分析に特化する機能を備えた「Amazon Kinesis Video Streams」というサービスも含む。ユーザー企業はAmazon Kinesis Video Streamsと、「Amazon SageMaker」「Amazon Rekognition Video」などAWSの機械学習サービスを連携させることで、コンピュータビジョンを組み込んだアプリケーションを構築できる。
一方のAmazon MSKは、オープンソースのメッセージキュー/ストリーム(連続的に発生し続けるデータ)処理ミドルウェア「Apache Kafka」のマネージドサービスだ。ユーザー企業はApache Kafkaを稼働させるインスタンス(仮想サーバ)の運用をAmazon MSKに任せることが可能だ。
Amazon Kinesisはストリームを「シャード」という単位で管理する。各ストリームのデータ容量は、ユーザー企業がストリームに割り当てたシャードの数によって異なる。Amazon Kinesisはデフォルトで24時間のデータ保持期間を設定している。この期間は有償オプションの契約により最大7日まで延長できるようにしている。Amazon MSKのデータ保持期間は事実上無制限だ。
クラウドインフラでストリームデータを実行するための分かりやすいサービスがAmazon Kinesisだ。AWSの仕組みと機能を使用するため、ベンダーロックインのリスクは高くなる。一方でAWSが提供する他のクラウドサービスとの連携によって、開発とメンテナンスにかかる時間を大幅に短縮できる。Amazon Kinesis Data AnalyticsやAmazon Kinesis Data Firehose、Amazon Kinesis Video Streamsなどの機能別サービスが充実しているため、アプリケーション開発に生かしやすい。
Amazon MSKはデータのプロデューサーとコンシューマーが既にApache Kafkaのライブラリを使用しており、ソースコードの更新を最小限に抑えてクラウドサービスに移行する必要がある場合に適したサービスだ。Apache Kafkaはオープンソースのため、ベンダーロックインを避け、簡単にインフラを移行可能なストリーム処理システムを構築したい企業にも適している。
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
生成AIの活用が広がり、LLMやマルチモーダルAIの開発が進む中で、高性能なGPUの確保に問題を抱えている企業は少なくない。GPUのスペック不足を解消するためには、どうすればよいのか。有力な選択肢を紹介する。
近年、オンプレミスのデータセンターを活用する戦略を見直し、クラウドに移行する流れが加速している。本資料では、クラウドに移行することで得られる5つのメリットについて解説する。
現在のビジネス環境は、競争力を維持するために、継続的にITインフラを最新化する“ITのモダナイゼーション”が必要だ。そこで、大規模なモダナイゼーションから小規模なモダナイゼーションまで柔軟に対応する基盤を紹介する。
クラウド利用が拡大しSaaSサービスの導入が進む中で、製品の多様化がベンダー側と企業側にさまざまな課題を生み出している。双方の課題を解決する方法として注目したいのが、商談を効率的に獲得できるマッチングサービスだ。
アジャイル開発に取り組む企業は増加しているが、思うような成果を挙げられていないと悩む担当者も少なくない。そこで、セゾンテクノロジーをはじめとした3社の取り組みを基に、実践の方法と成功のポイントを解説する。
KDDIの通信品質と事業成長を支える“共通インフラデータ基盤”構築の舞台裏 (2025/3/12)
高まるSaaSバックアップ需要で「ストック収益」を拡大するには (2025/1/22)
大和総研に聞く、基幹システムのモダナイズ推進を成功に導いた四つのポイント (2024/12/23)
「オンプレミス仮想化基盤」のモダナイゼーションに最適なクラウド移行の進め方 (2024/11/11)
コストや効率の課題解消、ITとOTの統合運用管理を実現する理想的なインフラとは (2024/10/18)
お知らせ
米国TechTarget Inc.とInforma Techデジタル事業が業務提携したことが発表されました。TechTargetジャパンは従来どおり、アイティメディア(株)が運営を継続します。これからも日本企業のIT選定に役立つ情報を提供してまいります。
Cookieを超える「マルチリターゲティング」 広告効果に及ぼす影響は?
Cookieレスの課題解決の鍵となる「マルチリターゲティング」を題材に、AI技術によるROI向...
「マーケティングオートメーション」 国内売れ筋TOP10(2025年4月)
今週は、マーケティングオートメーション(MA)ツールの売れ筋TOP10を紹介します。
「AIエージェント」はデジタルマーケティングをどう高度化するのか
電通デジタルはAIを活用したマーケティングソリューションブランド「∞AI」の大型アップ...