ストリーム処理は、大量のデータを高速に処理し、迅速に判断し、必要なアクションを実行することが重要な場面で求められる。データを蓄積してから一定のまとまりで処理する従来のバッチ処理では、イベントとして継続的に発生するデータに対応し切れない。そのため、膨大なデータを扱う上では、ストリーム処理の方が現実的な手法となる。

　ストリーム処理が適しているケースには、以下のようなものがある。

• 一定期間内のパターン検出のために時系列データを処理する
• 高精度な結果よりも、多少の誤差があっても迅速な回答が求められる
• 処理のためのハードウェアリソースを抑える必要がある
• 金融取引やWebサイトアクセスなど、常にストリーミング形式で届くデータを処理する

　ストリーム処理のパイプラインでは、ストリーミングデータが生成され、処理され、最終的な出力先へ届けられる。この間に、データは集約、変換、拡張、分析、取り込みなどを経ることもある。

　このプロセスにより、アプリケーションは新たなイベントが発生した瞬間に反応できる。ストリーム処理は、多様なデータソースを用い、リアルタイム分析や即時のインサイト、超高速な応答が求められる用途に理想的な手法と言える。

ストリーム処理とバッチ処理の違い

　ストリーム処理とバッチ処理は、それぞれ異なるデータ管理手法およびアプリケーション開発モデルを示す概念であり、用途や要件によって使い分けられる。

　バッチ処理は、一般的にはレガシーなデータベース環境で長年用いられてきた方式で、トランザクションデータベースから一定期間ごとにまとめてデータを抽出し、業務レポートやバックオフィスの処理に利用する手法だ。処理対象のデータ範囲が明確であり、定期的かつ反復的な処理に適している。具体的な例としては、以下のような業務が挙げられる。

• 売り上げデータベースからのトランザクション数の抽出
• 四半期ごとの営業レポートの作成
• 月給計算のための勤務時間データの集計

　一方、ストリーム処理は、データをストリーム（流れ）として連続的に取り込み、受信したそばからリアルタイムに処理する手法だ。データは小さな単位で逐次届き、それを蓄積してからまとめて処理するのではなく、即時的に処理を実行する。これにより、保存やバッチ実行を待たずに、常時変化するデータに迅速に対応できる。

　ストリーム処理エンジンは、受信したデータを並列的に処理する。例えば、データの更新内容をフィルタリングしたり、すでに処理済みのデータを識別・追跡したりする他、変換、拡張、クレンジング（不正確なデータの除去）といった前処理をリアルタイムで実行できる。こうした仕組みによって、データエンジニアやアプリケーション開発者は、より多くの時間を分析や機能開発に充てられるようになる。

　次回はストリーム処理のフレームワークなど、ストリーム処理の基盤を構築するための必要な要素を解説する。