本稿は、国際カンファレンス「PlatformCon 2025」における、Peloton Interactiveのシニアデータインフラエンジニアであるアマレシュ・ビングマラ氏のセッション「Building a data platform with open source: A $1M+ cost-saving journey」に基づく。同氏が率いるチームは、主に3つのシステムで内製化を進めた。それぞれの課題と、OSSを用いた解決策を紹介する。

　1つ目の課題は、データレイクの構造にあった。以前のシステムでは、オンライン処理用のデータベースから1日1回スナップショットを作成し、それをデータウェアハウスでのデータ分析やレコメンドモデルの学習に用いていた。

　しかし、この仕組みではレポートの更新がスナップショットの生成処理に依存し、遅延が発生しやすかった。分析システムがオンラインシステムに密結合しているため、トラフィック急増時に本番サービスへ影響を及ぼす危険性があった。

　そこでPeloton Interactiveは、データベースの更新履歴をリアルタイムに抽出する「変更データキャプチャー」（CDC：Change Data Capture）と、大規模なデータ処理に適したオープンテーブルフォーマットの「Apache Hudi」を採用した新たなアーキテクチャに移行した。データベースの変更イベントをリアルタイムで取得して分散ストリーミングシステムの「Apache Kafka」に流し、クラウドストレージにApache Hudiフォーマットとして保存する仕組みだ。

　これによって、本番データベースへの負荷は劇的に低下した。任意の過去時点のデータを参照できるApache Hudiの機能を活用することで、レコメンドモデルの精度と更新頻度が向上した。データ反映までの遅延は数十分に短縮され、ほぼリアルタイムなレコメンドを実現したという。

　2つ目と3つ目の課題は、ログ管理と顧客データ管理にかかるSaaS費用の高騰だ。ログ管理においてはサードパーティーのSaaSを利用していたが、データ量の増加に伴って請求額が跳ね上がっていた。社内システムにデータを送るための連携において、SaaSベンダーへの依存が強まるという問題も発生していた。

　これを解決するため、Peloton Interactiveはログ収集ツールとして、軽量なOSS「Vector」を採用した。Amazon Web Services（AWS）内で稼働する「Kubernetes」クラスターの各ノードにVectorを配置し、収集したログをApache Kafka経由で長期保存用ストレージと、短期の検索・分析用ストレージに振り分ける独自システムを構築した。

　注目すべき点は、ストレージに退避した過去のアーカイブデータを、開発者が必要なときだけ指定して検索エンジンに再投入できる機能を設けた点だ。これによって、高価な検索用ストレージに常時データを保持する必要がなくなり、ストレージ費用を大幅に削減できた。

　顧客データ管理も、SaaSツールの利用を見直した。調査の結果、エンドユーザーが利用するフィットネス機器から送信されるイベントデータの3割は、後処理のためにクラウドストレージに流されるだけであり、別の3割は特定のツールへ転送されるだけであることが判明した。

　Peloton Interactiveは、フィットネス機器のSDK（Software Development Kit）から送信される大量のイベントデータを受信し、Apache Kafkaへと効率的に転送する高可用なプロキシサービスを自社開発した。Apache Kafkaに集約されたデータは、設定ファイルに基づいてルーティングされ、リアルタイム分析システムやバッチ処理用ストレージなど自動で振り分けられる。開発チームは、裏側の複雑な仕組みを意識することなく、設定を変更するだけでデータの流れを制御できるようになった。

内製化がもたらす効果

　この一連の内製化によって、Peloton Interactiveは年間100万ドルの費用を削減すると同時に、データの所有権を取り戻すことに成功した。ビングマラ氏は、「OSSのツール群を活用してデータインフラを構築したことで、開発のスピードが飛躍的に向上した」と語る。

　ビングマラ氏は、「この取り組みは費用削減だけでなく、OSSを採用することで、より優秀なエンジニアを引きつける効果ももたらしている」と、今後の展望についても示唆した。SaaSの利便性に頼るだけではなく、事業規模と目的に応じてOSSを適切に組み合わせることが、結果としてシステムの堅牢（けんろう）性と組織の成長を両立させる鍵になる。

本稿は、Platform Engineeringが2025年6月24日に公開した動画「Building a data platform with open source: A $1M+ cost-saving journey - Amaresh Bingumalla」を基に作成しました。