PayPay「100億円祭り」を襲うトラブルの数々　AWSでアクセス急増をどう耐えたか

QRコード決済サービス「PayPay」の「100億円キャンペーン」第1弾は、注目の的となった半面でシステム障害が相次いだ。同社はその後、大量のトラフィックを処理するシステムを「AWS」でどう構築したのか。

公開 2019年07月10日 05時01分

更新 2019年07月10日 21時58分

著者

上田奈々絵

[TechTargetジャパン]

印刷する

　「PayPay」は2018年10月に開始したQR・バーコード決済サービスで、加盟店数は60万店以上、累計登録者数は700万人を超える。運営会社のPayPay社は、消費者向けには決済用のスマートフォンアプリケーションを、加盟店舗向けにはダッシュボード「PayPay for Business」を提供している。

PayPayの山本啓介氏

　2019年12月にPayPay社が実施した「100億円あげちゃうキャンペーン」の第1弾は、10日間でキャンペーン原資を全て使い切るほどの反響を呼んだ。しかし大量のアクセスでシステムの稼働が不安定になり、キャンペーン中に数度のメンテナンスを実施する必要が生じたという。同社でPayPayのアプリケーション開発を担当する山本啓介氏は「システムがトラフィックの急増に耐えられる仕組みでなく、サービスの安定した運用ができなかった」と語る。

　PayPay社は第1弾キャンペーンと当時運用していたシステムの反省を踏まえ、どのようにシステムを変更し、第2弾キャンペーンの大量トラフィックに備えたのか。2019年6月開催のイベント「AWS Summit Tokyo 2019」で、同社の山本氏と、トロントの開発拠点に勤めるシレイ・ロング氏が、キャンペーンを裏で支えていたシステムについて語った。

PayPayを3カ月で開発できた理由

　2018年7月の開発開始から3カ月という短期間で、PayPayのシステムは完成した。開発期間を短縮するために、PayPay社が採用した手法が、独立性の高い小規模なサービス（マイクロサービス）を組み合わせてシステムを構築する「マイクロサービスアーキテクチャ」だ。

　PayPayのシステムは、決済システム、ウォレット、店舗向けのシステムなど、60個以上のマイクロサービスで構成されている（写真1）。システムの主なインフラには、Amazon Web Services（AWS）の同名クラウドサービス群を採用。高いセキュリティ保護が必要な決済情報はAWSではなく、親会社であるヤフーの決済システムに保管する。

写真1　PayPayのマイクロサービスアーキテクチャ（出典：PayPay）

　マイクロサービス群を運用するインフラは、AWSの仮想マシンサービス「Amazon Elastic Compute Cloud」（Amazon EC2）に導入したコンテナ統合管理ツール「Kubernetes」で構築されている。基本的にはマイクロサービスごとに独立したリソースで動作し、マイクロサービス間はAPI（アプリケーションプログラミングインタフェース）とメッセージキューサービス「Apache Kafka」を介して連携する。日本とカナダの2拠点で時差を利用して開発したことも、開発期間の短縮に貢献したという。

PayPayはなぜAWSを選んだのか

　ロング氏は開発者の立場から、AWSのメリットとして「開発を始めるためのリソース調達が容易で素早くできることと、セキュリティの観点から見て、決済サービスに使えるレベルの信頼性があること」を挙げる。国内で冗長性を確保するために東京と大阪の2リージョンを利用できる点も評価する。

　大阪リージョンは国内リージョンのみでシステムの冗長性を確保する手段として有効なものの、選択できるEC2インスタンスのタイプが限られる点が課題だとロング氏は指摘する。大阪リージョンでは、インスタンスの事前予約により料金を割り引く「リザーブドインスタンス」と、ユーザーの入札により料金が決まる「スポットインスタンス」の2種類しか提供しておらず、一般的な「オンデマンドインスタンス」は提供していない。同氏は「AWSの新しい機能のナレッジやサポートがもっと増えてくれれば」と期待を寄せた。

併せて読みたいお薦め記事

AWSの事例をもっと見る

「マイクロサービス」とは

100億円キャンペーンの「誤算」、PayPayはシステム障害にどう対処したか

PayPayのシレイ・ロング氏

　第1弾キャンペーンがテレビ番組やソーシャルネットワーキングサービス（SNS）などで話題になったことにより、PayPayの各種サービスへのアクセスは同社の想定以上に急増した。ユーザーのアクセス量の増減が大きく、システムが不安定になったことで多重決済などのトラブルが続いた結果、キャンペーン期間中に数度の緊急システムメンテナンスが必要となった。

　システムトラブルの原因の一つはコンピューティングリソース不足だった。マイクロサービスで利用しているサーバやストレージの処理能力が十分でなかった結果、トランザクション処理が滞留し、決済時のトラブルやシステムクラッシュが生じた。

　トラフィックが急増したのは消費者向けの決済サービスだけではなく、加盟店向けの決済管理ツールも同様だった。PayPay for Businessの決済履歴の確認機能が想定を超えて利用され、高負荷のクエリが大量に実行されたことも、決済システムが連鎖的に障害を起こす原因となった。

　PayPay社は対策として、緊急メンテナンス時に決済用スマートフォンアプリケーションのホーム画面に表示する内容を変更した。この決済用アプリケーションは従来、ホーム画面にクレジットカードと、事前チャージで利用できる電子マネーの「Yahoo!マネー」「PayPay残高」という3つの決済方法が表示されており、ユーザーはこれらをスライドして選択する仕組みになっていた。デザイン変更後はこの操作方法を廃止し、PayPay残高のみを表示するデザインにすることで、クレジットカードやYahoo!マネーといった外部決済システムを決済用アプリケーション起動時ではなく、ユーザーの必要に応じて参照するようにして負荷軽減を図った。

　加えて負荷分散を狙い、加盟店の情報を決済システムとは別のサーバに格納。PayPay for Businessの、ダッシュボード画面のオートリロード機能や決済履歴のダウンロード機能などの機能制限も実施した。

　山本氏は第1弾キャンペーンの反省点として次の点を挙げた。第2弾キャンペーンに向けて、これらの課題の解決が必要となった。

ヤフーの決済システムと連携するためのマイクロサービスでトランザクションが滞留し、上流サービスも連鎖してクラッシュしたこと
事前の負荷試験が不十分で、実際に起こった障害と試験に利用したテストケースにずれがあったこと
アプリケーションの設計とサーバの処理能力を十分把握せずにせずにチューニングしたこと

アクセスの急増に負けないシステムを実現するための3つの対策

　PayPayは第1弾キャンペーンの終了後、主に3つの仕組みを導入した。1つ目はトラフィックの規模がシステムの限界を超えそうになったときにアクセス制限を掛ける、独自のレートリミットシステムの実装だ。

　2つ目の対策として、ダウンしたシステムに向けた呼び出し処理を、一定時間止める機構を導入した。この機構により、マイクロサービスアーキテクチャにおける、データを受信するサービスがダウンしたときに、データを送信するサービスが連鎖してダウンすることを防止できるようにした。

　3つ目はアプリケーション監視ツールの導入だ。New Relicの同名アプリケーション監視ツールとデータベース監視ツールの「VividCortex」で、障害が起きているシステムを可視化した。こうして第1弾キャンペーンのトラブルの原因を洗い出し、システムの問題点を解消した。第1弾の反省を踏まえた対策を施した結果、2019年2月に実施した第2弾は大きなトラブルなく運営できたという。

　どんなシステムにも障害は起こり得る。特にマイクロサービスアーキテクチャの場合は、サービス間のデータ連携に重点を置き、障害が起きたときに被害の拡大を防ぐ仕組みを構築することが有効だと考えられる。

印刷する