「Amazon Kinesis」「Amazon MSK」の違いは? AWSの2大ストリーム処理サービスロックインと引き換えの快適さか、オープンの自由度か

ストリーム処理のために、AWSは「Amazon Kinesis」と「Amazon Managed Streaming for Apache Kafka」(Amazon MSK)という2種類のサービスを用意している。両者の違いとは。

2021年03月27日 05時00分 公開
[Ernesto MarquezTechTarget]

 継続的かつ大量に生じるデータを「ストリーム」と言う。ストリームを処理するアプリケーションは、データの量を問わず遅延を最小限に抑え、受け取るデータをリアルタイムに取り込んで処理する必要がある。

 Amazon Web Services(AWS)は、ストリームの取り込みと処理に利用できる「ストリーム処理サービス」を2種類用意している。「Amazon Kinesis」と「Amazon Managed Streaming for Apache Kafka」(Amazon MSK)がそれだ。どちらもストリームを処理するという基本機能は共通しているが、それぞれ異なる特徴がある。Amazon KinesisとAmazon MSKの主な類似点と相違点を確認する。

Amazon KinesisとAmazon MSKの違い

 Amazon Kinesisはリアルタイムでのストリームの取り込みと処理を目的とする。ストリームを生成するアプリケーション群である「プロデューサー」がAmazon Kinesisを介して、データを利用するアプリケーションである「コンシューマー」にデータを転送する。

 ストリーム分析サービス「Amazon Kinesis Data Analytics」や、AWSのデータストアにストリームをロードするサービス「Amazon Kinesis Data Firehose」などの機能別サービスで構成される。動画の処理と分析に特化する機能を備えた「Amazon Kinesis Video Streams」というサービスも含む。ユーザー企業はAmazon Kinesis Video Streamsと、「Amazon SageMaker」「Amazon Rekognition Video」などAWSの機械学習サービスを連携させることで、コンピュータビジョンを組み込んだアプリケーションを構築できる。

 一方のAmazon MSKは、オープンソースのメッセージキュー/ストリーム(連続的に発生し続けるデータ)処理ミドルウェア「Apache Kafka」のマネージドサービスだ。ユーザー企業はApache Kafkaを稼働させるインスタンス(仮想サーバ)の運用をAmazon MSKに任せることが可能だ。

 Amazon Kinesisはストリームを「シャード」という単位で管理する。各ストリームのデータ容量は、ユーザー企業がストリームに割り当てたシャードの数によって異なる。Amazon Kinesisはデフォルトで24時間のデータ保持期間を設定している。この期間は有償オプションの契約により最大7日まで延長できるようにしている。Amazon MSKのデータ保持期間は事実上無制限だ。

自社に適しているのはAmazon KinesisとAmazon MSKのどちらか

 クラウドインフラでストリームデータを実行するための分かりやすいサービスがAmazon Kinesisだ。AWSの仕組みと機能を使用するため、ベンダーロックインのリスクは高くなる。一方でAWSが提供する他のクラウドサービスとの連携によって、開発とメンテナンスにかかる時間を大幅に短縮できる。Amazon Kinesis Data AnalyticsやAmazon Kinesis Data Firehose、Amazon Kinesis Video Streamsなどの機能別サービスが充実しているため、アプリケーション開発に生かしやすい。

 Amazon MSKはデータのプロデューサーとコンシューマーが既にApache Kafkaのライブラリを使用しており、ソースコードの更新を最小限に抑えてクラウドサービスに移行する必要がある場合に適したサービスだ。Apache Kafkaはオープンソースのため、ベンダーロックインを避け、簡単にインフラを移行可能なストリーム処理システムを構築したい企業にも適している。

TechTarget発 先取りITトレンド

米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。

Copyright © ITmedia, Inc. All Rights Reserved.

ITmedia マーケティング新着記事

news037.jpg

Boseが新型イヤホンをアクセサリーに CMOが語る「オシャレ推しに転じた理由」は?
2024年2月にオープンイヤー型のイヤホン「Bose Ultra Open Earbuds」を発売したBose。従...

news005.jpg

「コミュニティー」の正解はオフライン? オンライン? トレジャーデータがコロナ禍で学んだこと
Treasure Data CDPユーザーが主体となって活動するコミュニティー「Treasure Data Rockst...

news170.jpg

ニトリやサツドラも導入 自社ECで「Amazonのようなビジネス」を実現するサービスの魅力
オンラインマーケットプレイス構築を支援するMiraklが日本で初のイベントを開催し、新た...