ストリーム処理のために、AWSは「Amazon Kinesis」と「Amazon Managed Streaming for Apache Kafka」(Amazon MSK)という2種類のサービスを用意している。両者の違いとは。
継続的かつ大量に生じるデータを「ストリーム」と言う。ストリームを処理するアプリケーションは、データの量を問わず遅延を最小限に抑え、受け取るデータをリアルタイムに取り込んで処理する必要がある。
Amazon Web Services(AWS)は、ストリームの取り込みと処理に利用できる「ストリーム処理サービス」を2種類用意している。「Amazon Kinesis」と「Amazon Managed Streaming for Apache Kafka」(Amazon MSK)がそれだ。どちらもストリームを処理するという基本機能は共通しているが、それぞれ異なる特徴がある。Amazon KinesisとAmazon MSKの主な類似点と相違点を確認する。
Amazon Kinesisはリアルタイムでのストリームの取り込みと処理を目的とする。ストリームを生成するアプリケーション群である「プロデューサー」がAmazon Kinesisを介して、データを利用するアプリケーションである「コンシューマー」にデータを転送する。
ストリーム分析サービス「Amazon Kinesis Data Analytics」や、AWSのデータストアにストリームをロードするサービス「Amazon Kinesis Data Firehose」などの機能別サービスで構成される。動画の処理と分析に特化する機能を備えた「Amazon Kinesis Video Streams」というサービスも含む。ユーザー企業はAmazon Kinesis Video Streamsと、「Amazon SageMaker」「Amazon Rekognition Video」などAWSの機械学習サービスを連携させることで、コンピュータビジョンを組み込んだアプリケーションを構築できる。
一方のAmazon MSKは、オープンソースのメッセージキュー/ストリーム(連続的に発生し続けるデータ)処理ミドルウェア「Apache Kafka」のマネージドサービスだ。ユーザー企業はApache Kafkaを稼働させるインスタンス(仮想サーバ)の運用をAmazon MSKに任せることが可能だ。
Amazon Kinesisはストリームを「シャード」という単位で管理する。各ストリームのデータ容量は、ユーザー企業がストリームに割り当てたシャードの数によって異なる。Amazon Kinesisはデフォルトで24時間のデータ保持期間を設定している。この期間は有償オプションの契約により最大7日まで延長できるようにしている。Amazon MSKのデータ保持期間は事実上無制限だ。
クラウドインフラでストリームデータを実行するための分かりやすいサービスがAmazon Kinesisだ。AWSの仕組みと機能を使用するため、ベンダーロックインのリスクは高くなる。一方でAWSが提供する他のクラウドサービスとの連携によって、開発とメンテナンスにかかる時間を大幅に短縮できる。Amazon Kinesis Data AnalyticsやAmazon Kinesis Data Firehose、Amazon Kinesis Video Streamsなどの機能別サービスが充実しているため、アプリケーション開発に生かしやすい。
Amazon MSKはデータのプロデューサーとコンシューマーが既にApache Kafkaのライブラリを使用しており、ソースコードの更新を最小限に抑えてクラウドサービスに移行する必要がある場合に適したサービスだ。Apache Kafkaはオープンソースのため、ベンダーロックインを避け、簡単にインフラを移行可能なストリーム処理システムを構築したい企業にも適している。
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
IBM i 基幹システムを運用する企業でモダナイゼーションが喫緊の課題となる中、推進の課題も多い。そこで、「クラウド」「ノーコード開発」「API」「AI」を主軸とするIBM i ユーザー向けモダナイゼーションサービスを紹介する。
小売業界にとって、顧客体験(CX)、従業員体験(EX)の向上ならびにDX推進は重要度の高い課題である。多拠点、多店舗、他業態を展開する小売業でCXとEXをグローバルに向上する次世代のリテールコマースプラットフォームとは。
ロッテはシステムのAWS移行を進める中、DX推進の鍵は内製化比率の向上にあると考え、内製化の強化に踏み切った。本資料では、内製化の実現に向け、支援を受けながら、初めて取り組んだAWS開発と人材育成を成功させた事例を紹介する。
大容量データの送受信には、通信遅延や帯域制限の課題がある。本資料では、高速で安全なデータ送信を実現できるファイル転送プラットフォームを紹介する。導入時に気になるポイントとともに、料金プランも分かりやすく解説している。
SaaSの利用が拡大する中、ベンダー側と企業側の両方がさまざまな課題を抱えている。ベンダー側は商談につながるリードが獲得しにくいと感じており、企業側は製品の選定に困難さを感じているという。双方の課題を一掃する方法とは?
「IBM i の脱レガシー=ERP移行」に逃げない、モダナイズのアプローチとは? (2025/6/27)
「秘伝のExcel」がリスクに? クラウドコスト最適化はどこでつまずくのか (2025/5/30)
生成AIの本格利用でコスト急増も 「クラウド3大課題」にどう対処する? (2025/5/9)
KDDIの通信品質と事業成長を支える“共通インフラデータ基盤”構築の舞台裏 (2025/3/12)
高まるSaaSバックアップ需要で「ストック収益」を拡大するには (2025/1/22)
「テレワークでネットが遅い」の帯域幅じゃない“真犯人”はこれだ
ネットワークの問題は「帯域幅を増やせば解決する」と考えてはいないだろうか。こうした誤解をしているIT担当者は珍しくない。ネットワークを快適に利用するために、持つべき視点とは。
「サイト内検索」&「ライブチャット」売れ筋TOP5(2025年5月)
今週は、サイト内検索ツールとライブチャットの国内売れ筋TOP5をそれぞれ紹介します。
「ECプラットフォーム」売れ筋TOP10(2025年5月)
今週は、ECプラットフォーム製品(ECサイト構築ツール)の国内売れ筋TOP10を紹介します。
「パーソナライゼーション」&「A/Bテスト」ツール売れ筋TOP5(2025年5月)
今週は、パーソナライゼーション製品と「A/Bテスト」ツールの国内売れ筋各TOP5を紹介し...