キャッシュレス決済サービスの安定稼働までの道のり
PayPay「100億円祭り」を襲うトラブルの数々 AWSでアクセス急増をどう耐えたか
QRコード決済サービス「PayPay」の「100億円キャンペーン」第1弾は、注目の的となった半面でシステム障害が相次いだ。同社はその後、大量のトラフィックを処理するシステムを「AWS」でどう構築したのか。
「PayPay」は2018年10月に開始したQR・バーコード決済サービスで、加盟店数は60万店以上、累計登録者数は700万人を超える。運営会社のPayPay社は、消費者向けには決済用のスマートフォンアプリケーションを、加盟店舗向けにはダッシュボード「PayPay for Business」を提供している。
2019年12月にPayPay社が実施した「100億円あげちゃうキャンペーン」の第1弾は、10日間でキャンペーン原資を全て使い切るほどの反響を呼んだ。しかし大量のアクセスでシステムの稼働が不安定になり、キャンペーン中に数度のメンテナンスを実施する必要が生じたという。同社でPayPayのアプリケーション開発を担当する山本啓介氏は「システムがトラフィックの急増に耐えられる仕組みでなく、サービスの安定した運用ができなかった」と語る。
PayPay社は第1弾キャンペーンと当時運用していたシステムの反省を踏まえ、どのようにシステムを変更し、第2弾キャンペーンの大量トラフィックに備えたのか。2019年6月開催のイベント「AWS Summit Tokyo 2019」で、同社の山本氏と、トロントの開発拠点に勤めるシレイ・ロング氏が、キャンペーンを裏で支えていたシステムについて語った。
PayPayを3カ月で開発できた理由
2018年7月の開発開始から3カ月という短期間で、PayPayのシステムは完成した。開発期間を短縮するために、PayPay社が採用した手法が、独立性の高い小規模なサービス(マイクロサービス)を組み合わせてシステムを構築する「マイクロサービスアーキテクチャ」だ。
PayPayのシステムは、決済システム、ウォレット、店舗向けのシステムなど、60個以上のマイクロサービスで構成されている(写真1)。システムの主なインフラには、Amazon Web Services(AWS)の同名クラウドサービス群を採用。高いセキュリティ保護が必要な決済情報はAWSではなく、親会社であるヤフーの決済システムに保管する。
マイクロサービス群を運用するインフラは、AWSの仮想マシンサービス「Amazon Elastic Compute Cloud」(Amazon EC2)に導入したコンテナ統合管理ツール「Kubernetes」で構築されている。基本的にはマイクロサービスごとに独立したリソースで動作し、マイクロサービス間はAPI(アプリケーションプログラミングインタフェース)とメッセージキューサービス「Apache Kafka」を介して連携する。日本とカナダの2拠点で時差を利用して開発したことも、開発期間の短縮に貢献したという。
PayPayはなぜAWSを選んだのか
ロング氏は開発者の立場から、AWSのメリットとして「開発を始めるためのリソース調達が容易で素早くできることと、セキュリティの観点から見て、決済サービスに使えるレベルの信頼性があること」を挙げる。国内で冗長性を確保するために東京と大阪の2リージョンを利用できる点も評価する。
大阪リージョンは国内リージョンのみでシステムの冗長性を確保する手段として有効なものの、選択できるEC2インスタンスのタイプが限られる点が課題だとロング氏は指摘する。大阪リージョンでは、インスタンスの事前予約により料金を割り引く「リザーブドインスタンス」と、ユーザーの入札により料金が決まる「スポットインスタンス」の2種類しか提供しておらず、一般的な「オンデマンドインスタンス」は提供していない。同氏は「AWSの新しい機能のナレッジやサポートがもっと増えてくれれば」と期待を寄せた。
併せて読みたいお薦め記事
AWSの事例をもっと見る
「マイクロサービス」とは
100億円キャンペーンの「誤算」、PayPayはシステム障害にどう対処したか
第1弾キャンペーンがテレビ番組やソーシャルネットワーキングサービス(SNS)などで話題になったことにより、PayPayの各種サービスへのアクセスは同社の想定以上に急増した。ユーザーのアクセス量の増減が大きく、システムが不安定になったことで多重決済などのトラブルが続いた結果、キャンペーン期間中に数度の緊急システムメンテナンスが必要となった。
システムトラブルの原因の一つはコンピューティングリソース不足だった。マイクロサービスで利用しているサーバやストレージの処理能力が十分でなかった結果、トランザクション処理が滞留し、決済時のトラブルやシステムクラッシュが生じた。
トラフィックが急増したのは消費者向けの決済サービスだけではなく、加盟店向けの決済管理ツールも同様だった。PayPay for Businessの決済履歴の確認機能が想定を超えて利用され、高負荷のクエリが大量に実行されたことも、決済システムが連鎖的に障害を起こす原因となった。
PayPay社は対策として、緊急メンテナンス時に決済用スマートフォンアプリケーションのホーム画面に表示する内容を変更した。この決済用アプリケーションは従来、ホーム画面にクレジットカードと、事前チャージで利用できる電子マネーの「Yahoo!マネー」「PayPay残高」という3つの決済方法が表示されており、ユーザーはこれらをスライドして選択する仕組みになっていた。デザイン変更後はこの操作方法を廃止し、PayPay残高のみを表示するデザインにすることで、クレジットカードやYahoo!マネーといった外部決済システムを決済用アプリケーション起動時ではなく、ユーザーの必要に応じて参照するようにして負荷軽減を図った。
加えて負荷分散を狙い、加盟店の情報を決済システムとは別のサーバに格納。PayPay for Businessの、ダッシュボード画面のオートリロード機能や決済履歴のダウンロード機能などの機能制限も実施した。
山本氏は第1弾キャンペーンの反省点として次の点を挙げた。第2弾キャンペーンに向けて、これらの課題の解決が必要となった。
- ヤフーの決済システムと連携するためのマイクロサービスでトランザクションが滞留し、上流サービスも連鎖してクラッシュしたこと
- 事前の負荷試験が不十分で、実際に起こった障害と試験に利用したテストケースにずれがあったこと
- アプリケーションの設計とサーバの処理能力を十分把握せずにせずにチューニングしたこと
アクセスの急増に負けないシステムを実現するための3つの対策
PayPayは第1弾キャンペーンの終了後、主に3つの仕組みを導入した。1つ目はトラフィックの規模がシステムの限界を超えそうになったときにアクセス制限を掛ける、独自のレートリミットシステムの実装だ。
2つ目の対策として、ダウンしたシステムに向けた呼び出し処理を、一定時間止める機構を導入した。この機構により、マイクロサービスアーキテクチャにおける、データを受信するサービスがダウンしたときに、データを送信するサービスが連鎖してダウンすることを防止できるようにした。
3つ目はアプリケーション監視ツールの導入だ。New Relicの同名アプリケーション監視ツールとデータベース監視ツールの「VividCortex」で、障害が起きているシステムを可視化した。こうして第1弾キャンペーンのトラブルの原因を洗い出し、システムの問題点を解消した。第1弾の反省を踏まえた対策を施した結果、2019年2月に実施した第2弾は大きなトラブルなく運営できたという。
どんなシステムにも障害は起こり得る。特にマイクロサービスアーキテクチャの場合は、サービス間のデータ連携に重点を置き、障害が起きたときに被害の拡大を防ぐ仕組みを構築することが有効だと考えられる。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
プレミアムコンテンツ
[アイティメディア株式会社] AI活用を成功に導く「オブジェクトストレージ」 NAS/SANの限界を突破するには -
プレミアムコンテンツ
[アイティメディア株式会社] 「性能ならSSD」「大容量ならHDD」はもう古い? 変わるストレージの常識 -
プレミアムコンテンツ
[アイティメディア株式会社] 「オンプレミス回帰」がまさかの失敗に クラウドをやめずに安くする最適化手法 -
事例
[発注ナビ株式会社] AI活用を成功させる企業とそうでない企業の違いとは? -
製品レビュー
[発注ナビ株式会社] システム開発「はじめの一歩」 押さえておきたい基礎知識と失敗を防ぐ方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
SAP移行で1900億円の赤字 「ベンダー任せ」が招くERP崩壊と回避策
-
2
「VMware vCenter」でゼロデイ悪用、PHPも修正――今朝の情シスニュース
-
3
「Copilot利用率99%」デンソー驚異の定着術 3万人を動かした“社長賞”の舞台裏
-
4
「GPT-6.1 Terra」は半額 それでもなぜ企業はAIモデルを選べないのか?
-
5
「nginx」のHTTP/2脆弱性(CVSS 9.2)、パッチ適用までの緊急チェックリスト
-
6
積水化学工業が「SAP S/4HANA Cloud」の“全グループ導入”に踏み切った訳
-
7
AIに長文を入力する際の「コンテキストウィンドウ」の適切な扱い方はどれ?
-
8
“アジャイルの壁”に挑むオリックス生命がIBMの開発管理ツールを選んだ理由
-
9
「Chrome」「Edge」「Firefox」のメモリ使用量はどれだけ違う? 測定してみた
-
10
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365 Copilotを安全&効果的に活用するために必要な「2つの準備」
-
4
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
5
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
6
すぐ分かる「AWS WAF」ガイド:特徴・運用課題・メリットを解説
-
7
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
8
「Copilot Cowork」でこう変わる AIエージェント時代の新たな働き方とは
-
9
AI活用で激化する外部・内部リスク、取引先へ波及する脅威から守る対策とは?
-
10
Microsoft 365 Copilotで実際何ができる? 回答の精度を高めるRAGとは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー