2025年11月に開催されたクラウドネイティブ技術のカンファレンス「KubeCon + CloudNativeCon North America 2025」において、Amazon.comのプリンシパルエンジニアであるアルトゥール・ソウザ氏と、シニアアプライドサイエンティストのチュンペン・ワン氏が登壇した。両氏はセッションにおいて、大規模なトラフィック制御の裏側を明かした。

　ソウザ氏は、負荷検出後の拡張手法が抱える課題として「MTT」（Mean time to traffic）を挙げる。これは、システムが負荷増を検出して新たなインスタンスを立ち上げてから、ヘルスチェックやキャッシュの事前読み込み（ウォームアップ）を終え、トラフィックを処理できる状態になるまでのタイムラグを指す。スパイクの立ち上がりが急な場合、この立ち上がり時間中に顧客に影響が出てしまう。

　そこで重要になるのが「Breaking Point TPS」（TPS：Transactions Per Second）の把握だ。これはシステムが完全にクラッシュする時点ではなく、「カート追加」や「決済開始」といったビジネス上のサービス品質保証（SLA）を維持できなくなる許容限界値を示す。Amazon.comは、データベースや外部システムを含めてストレステストを実施し、この限界におけるCPUやメモリの使用率を詳細に記録している。これによって、各サービスがどれだけのスピードで拡張・縮小できるかという基準を設けている。

　サーバレスアーキテクチャを採用していれば、こうした事前のキャパシティー計画は不要だと思う人もいるだろう。しかしソウザ氏は、「サーバレスであっても反応までのタイムラグは存在する」と指摘する。例えば、Amazon Web Services（AWS）が提供するフルマネージドNoSQLデータベース「Amazon DynamoDB」は、ピークイベントに備えてトラフィックが急増する前にテーブルの処理能力を引き上げておく事前ウォームアップAPIを利用している。コンテナや仮想マシン、サーバレスなど、どのような構成であっても、極端なピークイベントに対する事前の計画は不可欠だ。

リスクと費用のトレードオフに基づくキャパシティー計画

　予測をキャパシティー計画に落とし込むプロセスについて、ワン氏は「全てのサービスを最悪の事態に備えて過剰に拡張すれば可用性は高まるが、インフラ費用は膨大になる」と説明する。ビジネス上の要求に応えつつ、無駄な支出を抑える仕組みが求められるのだ。

　Amazon.comでは、ブラックフライデーなどのピークイベントに向け、1年先から長期的なトラフィック予測をAWSと共有し、データセンターの電源やラックの確保を進めている。予測には不確実性が伴うため、単一の予測値ではなく確率的な予測範囲を算出する。その上で、ビジネスリスクとインフラ費用のトレードオフを評価し、90パーセンタイル（P90：上位10％を除いた範囲をカバーする基準）などの基準を設けて最終的なキャパシティーを決定しているという。

　システム全体の足並みをそろえることも不可欠だ。あるサービスへの1回の呼び出しが、別のサービスへの複数回の呼び出しを引き起こす「ファンアウト（多段呼び出し）比率」を監視し、システム全体でボトルネックが生じないようスケーリングの整合性を保っている。この比率を正しく把握することで、過不足のない的確なインフラ拡張が可能になる。

ブラジルのW杯の熱狂も予測に組み込む

　トラフィック予測は過去のセール実績だけでは成り立たない。ワン氏は2022年の事例を紹介した。ブラジルのブラックフライデーセール当日、FIFAワールドカップでブラジル対セルビアの試合が開催されることになった。ブラジル全土が試合に注目するため、事業部門は「試合中は誰も買い物をしない」と予測した。

　これを受け、データサイエンスチームは機械学習モデルに文化的な行動要因を組み込み、90分間の試合中の急激なトラフィック低下と、試合直後の急反発をピンポイントで予測した。この予測を事前に各担当者と共有することで、不要なインフラ拡張による費用を抑えつつ、試合終了後のスパイクに的確に備えることができたという。

　インフラの拡張がクラウド上で容易になった現代においても、システム全体の依存関係を読み解き、データを活用して未来の需要に先回りする緻密な設計こそが、快適な顧客体験を支える要になっている。

本稿は、CNCF（Cloud Native Computing Foundation）が2025年11月25日に公開した動画「Keynote: Predictive Scaling and Capacity Planning With Machine Learni... Artur Souza & Chunpeng Wang」を基に作成しました。