抜本的な防止策はあるのか
沈黙のGoogleと過熱するメディア、2017年8月世界的ネットワーク障害の全貌をまとめた(1/3 ページ)
2017年8月25日、Googleによるネットワーク誤設定に起因し、OCNを含む複数のAS(自律システム)で大規模な通信障害が発生した。障害当時、何が起こったかを時系列で整理し、一連の騒動を考察する。
本稿では2017年8月25日に、NTTコミュニケーションズのインターネット接続サービス「OCN」(AS4713)を含む複数のAS(自律システム:単一ポリシーで制御されるネットワークの集合)で発生した通信障害について、一連の騒動を振り返り考察する。本件は日本時間2017年8月25日12時38分、オランダのSerinus42が運営するインターネットサービスの障害検出サービス「Down Detector」(ダウンディテクター)が表示した、OCNの障害発生マップのスクリーンショットが「Twitter」に流れたことで発覚した。まずは何が起こったかを時系列で整理する。
併せて読みたいお薦めの記事
教訓にしたい、クラウドベンダーによる大規模障害
- AWS大規模障害はなぜ起きた? クラウド不安を払拭するためにやるべき対策
- 痛い思いをしてAmazon S3障害から得た教訓、「クラウド利用時のDRは大丈夫?」
- AWS障害に学ぶ、万一クラウド障害が起きても動き続けるシステムとは?
インターネットとともにあるクラウド、最新技術動向を知る
何が起こったのか
何かが起こっている: 8月25日12時30分ごろ
ダウンディテクターは2017年8月25日12時33分に、OCNに障害が発生したと判定した。このときダウンディテクターにアクセスしていたならば、12時30分前後を境に、同サービスが観測するサービスの過半で、同時に急激に障害報告が増加しているという異常な光景を目の当たりにしたはずだ。
このダウンディテクターは、観測対象としているサービス群で「何らかの問題が起こっているとユーザーが感じている」ことの“最大風速”と“風量”に当たる情報を取り扱っているだけなので、何が起きているかは知ることができない。この時点で一般に判明していたことは、多数のサービスで同時多発的に障害が発生しているようだ、ということだけだった。
障害復旧報が届き始めるが原因はやぶの中: 8月25日12時45分
KDDIが同日12時39分に、自社設備に異常はなかったと説明(最終的には12時24分発生、16時47分復旧と報告し直した)し、NTTコミュニケーションズは障害から12時45分に復旧したと公表。遅れて、さくらインターネットが17時25分に復旧したと報告するなど、8月最後の金曜日25日の夕刻に向けシステム障害それ自体は収拾し、次第に落ち着きを取り戻していった。復旧報告の中ではKDDI、NTTコミュニケーションズ共に「海外の経路不安定事象」「自社設備に異常はなかった」と障害原因について明言を避けていた。
犯人探し: 8月25日17時
ところが東日本旅客鉄道(JR東日本)のスマートフォン向け電子マネーサービス「モバイルSuica」の障害が17時までに復旧と報じられた際に、ITproの記事で「KDDIで発生した全国的なネット接続障害が原因」とKDDIは名指しされてしまった([続報]JR東日本「モバイルSuica」の障害は解消、KDDI回線が原因)。報道が事実かどうかはさておき、自社に起因しない障害によって改札・窓口業務などで発生した混乱に、怒りが収まらないJR東日本の声が報道機関を通して社会に漏れ聞こえた形だ。障害の影響を受けた多くの利用企業の不満として、そうした声が出ることは理解できる。KDDIは、報道され始めた当初から「OCNで通信障害」と名指しされていたNTTコミュニケーションズともども、社会的混乱を招いた戦犯にされかねない空気に困惑したことだろう。いわゆる中の人の心労は察するに余りある。
電気通信事業者は通常、相互接続した他社網側に起因する障害が発生しても、原因となった他社を名指しで批判することはない。JR東日本をはじめとした鉄道各社や金融機関なども同様だ。しかし今回はこの慣例が黙示的ではあるが破られた。それも障害発生初日から、という点を含め筆者は少々気になっている。
今回の障害で損害賠償は発生するのか?
言うまでもないが電気通信事業者は自社サービス(役務)を約款に従って提供している。これらの約款においては免責条件が定められているのが通常だ。
今回の障害の場合、公式発表ベースで計算するとKDDIで4時間23分、NTTコミュニケーションズに至ってはわずか23分で障害が解消している。従来の障害事例に当てはめて考えると約款上も判例からも損害賠償の対象になるとは考えにくい。
こんなことは今回の障害に巻き込まれたサービスを抱えるJR東日本や銀行、証券会社のシステム部門は百も承知だ。にもかかわらず通信事業者の責任を問う声がメディアを通して挙がった。筆者はKDDIやNTTコミュニケーションズの「『海外の経路不安定事象』が原因で、自社設備に異常はなかった」という説明に慣習上は問題なかったが、顧客のコーポレートガバナンス上の要求と担当者の感情に問題の原因があったとみる。電気通信事業法に基づく報告義務を負う電気通信事業者と同様、それぞれ業法に基づく報告義務を負いPDCA(Plan-Do-Check-Action)サイクルを回し、原因特定と再発防止策立案を図らねばならない各社システム部門の立場に立てば、直接の取引先である電気通信事業者側の設備には異常なかった、では対策の立てようがない。慣例を破って電気通信事業者を名指しで非難したくもなるだろう。
外部識者による原因探し: 8月25日17時28分
17時28分にインターネットイニシアティブ(IIJ)の松崎吉伸氏がTwitterで「米国のAS15169が他ネットワークを誤ってトランジットしてしまった様に見える」(原文ママ)とAS15169による経路設定ミスの可能性を指摘し、18時20分にはITproの取材に答える形で日本ネットワークインフォメーションセンター(JPNIC)の岡田雅之氏が「NTTコムとピアリングし、大量の経路情報を流したのはAS番号15169の組織とみられる」(原文ママ)と、KDDIやNTTコミュニケーションズが義理堅く「海外の経路不安定事象」と名指しを避けた「海外事業者」がAS15169ことGoogleであると相次いで指摘した。
ここから一転して報道機関はGoogle原因説を一斉に報じ始めた。とはいえ、この段階ではAS15169ことGoogleにおいて、インターネットの経路制御(ルーティング)プロトコルであるBGPを悪用して経路を乗っ取るBGPハイジャックか、経路情報が外部に漏れるBGPリークのいずれかが起きた可能性が残っており「AS15169からの経路広報を受けている国内の境界ルーターのログを観測した限りにおいてAS15169が異常な経路広報を行っているように見える」、故に「Googleが原因である可能性がある」としか言えない状態だった。AS15169内部からの報告がなければ原因切り分けはここから先には進めない。非難の矛先はGoogleに向かう。この日のGoogle広報は殺気立った記者からの問い合わせ攻勢にさぞ苦労したことと思う。なお、この日は調査中であるとしてGoogleは報道機関各社からの問い合わせに回答しなかった。
Googleが事実関係を認める: 8月26日18時32分
翌2017年8月26日18時32分に朝日新聞デジタルが「グーグルが謝罪 大規模ネット障害、装置の誤操作が原因」と報じ、ITproも「米グーグルが大規模通信障害で謝罪」と追い掛けた。筆者は、企業として公式に障害原因が自社にあると認めたのであるならば、障害報告のリリースなり、サービスヘルスダッシュボード、公式ブログなりに障害の詳細について記載があるものと考え、あちこち探してみたが該当する記載は見つけられなかった。どうやら報道機関からの個別問い合わせに対してGoogle広報部が回答した、以下の文面が各種報道のソースのようだ。
(英文)Earlier today, some users were unable to access internet services as a result of a network configuration error. The configuration was fixed within eight minutes and service started returning to normal. Sorry for the inconvenience this caused.”-- A Google Spokesperson
(対訳)昨日、ネットワークの誤設定により、インターネットサービスにアクセスしづらくなる障害が発生しました。Googleでは、この誤設定を8分以内に正しい情報に修正しました。ご不便、ご心配をお掛けしたことをおわび致します。
なんにせよ、発生から30時間経過してようやく一連の通信障害の原因がGoogleによるBGPリークであったと判明した。
外部識者による原因分析: 8月27日6時59分
次いで日本時間の2017年8月27日6時59分にカナダのインターネット経路情報監視サイト「BGPmon」の創設者であるアンドレ・トゥーンク(Andree Toonk)氏が公式ブログに“Route leak via Google and Verizon causing internet outages in japan and beyond”(GoogleとVerizonを経由して経路リークし、日本やその他の国でインターネットが停止)と題した詳細な報告を公開した。BGPmonが提供しているBGPハイジャック、リーク、停止イベントの報告サービスである「BGPStream」はGoogleに起因するイベントを26件検出していた。
翌2017年8月28日16時32分には、障害発生当日から活発に情報発信していたIIJの松崎氏も独自に「08/25の通信障害概説」という資料を公開し、日本語で読める詳細な解説を提供した。続いてDNSサービス事業者のDynも“Large BGP Leak by Google Disrupts Internet in Japan”と題して報告し、複数の角度から今回の障害原因について検討できる状況が整ってきた。
これら報告によるとAS15169(Google)が誤って広報した経路は以下の通りだ。
- 10万個(IIJ)
- 13万5000個超(BGPmon)
- 16万個(Dyn)
「CIDR(Classless Inter-Domain Routing) Report」によると、2017年8月25日のプレフィックス(ネットワークアドレス)の数は約68万個であった(同年9月3日時点では68万649個で1日当たり平均0.1%強増加のペース)ことから全プレフィックス数の14.7~23.5%に当たる規模の経路が一気に広報されたことになる。うち、OCNに影響を与える広報経路が
- 約2万5000個(IIJ)
- 2万4834個(BGPmon)
- 2万5000個以上(Dyn)
と報告されており、いずれの報告もOCN向けが突出して多かったと指摘している。当然だが観測点によって観測可能な経路数は異なるので、どの報告の誤広報経路数の数字が正しいかを問うても意味はない。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[株式会社ラクス] どうすれば「変革を楽しむ組織」になれるのか? 事例に学ぶ、未来への一歩 -
製品レビュー
[デル・テクノロジーズ株式会社] 変化するサイバー脅威に備える、これからのストレージの選び方 -
事例
[サイボウズ株式会社] 受注約1.5倍と年間2万3000時間超の業務時間を削減、日機装に学ぶDX実践術 -
製品レビュー
[サイボウズ株式会社] 人材不足にどう挑む? ものづくり太郎が語る、製造現場でのAI活用成功の鍵 -
市場調査・トレンド
[グーグル・クラウド・ジャパン合同会社] 金融機関はAIエージェント導入でどう変わる? 7つの変化から19の事例まで解説
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
RAGで「データをAIに送る」運用が限界を迎えている理由
-
2
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
3
「Copilot」がIT予算を食いつぶす? 高額請求を招く課金体系と節約術
-
4
なぜストレージ不足は長引くのか? 77%が「12〜18カ月続く」と予測
-
5
ハイパーコンバージドインフラ徹底比較、「SimpliVity」「Nutanix」はどう違う?
-
6
Googleの業務向けAIエージェント「Gemini Agent」が登場 しかし課題は山積み
-
7
【基本情報技術者試験】データ消失リスクを防ぐ3つの「バックアップ手法」を比較
-
8
複雑化するフォント管理に終止符を Monotypeが提唱する安全な運用方法
-
9
半数がブルーカラー転向を視野に? ベテランエンジニアを追い込む“54歳の壁”
-
10
PHP2Shellの「事前の情報流出」でパニックに パッチ公開を巡る“混乱劇”
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
本当に使える「会議翻訳ツール」を見極める4つの選定基準
-
3
有識者が語る、中堅中小企業に求められる最新のサイバーセキュリティ対策とは
-
4
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
5
パスワードレスへの移行で失敗しないためには? 導入・運用上の注意点を解説
-
6
AI駆動攻撃にどう対抗する? 超速の攻撃からエンドポイントを保護する方法
-
7
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
8
自社のセキュリティ対策は大丈夫? 自己診断リストで対策の優先順位が分かる
-
9
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
10
「テスト内製化&自動化」事例集:ディー・エヌ・エーなど9社に学ぶ実践のコツ
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー