抜本的な防止策はあるのか
沈黙のGoogleと過熱するメディア、2017年8月世界的ネットワーク障害の全貌をまとめた(1/3 ページ)
2017年8月25日、Googleによるネットワーク誤設定に起因し、OCNを含む複数のAS(自律システム)で大規模な通信障害が発生した。障害当時、何が起こったかを時系列で整理し、一連の騒動を考察する。
本稿では2017年8月25日に、NTTコミュニケーションズのインターネット接続サービス「OCN」(AS4713)を含む複数のAS(自律システム:単一ポリシーで制御されるネットワークの集合)で発生した通信障害について、一連の騒動を振り返り考察する。本件は日本時間2017年8月25日12時38分、オランダのSerinus42が運営するインターネットサービスの障害検出サービス「Down Detector」(ダウンディテクター)が表示した、OCNの障害発生マップのスクリーンショットが「Twitter」に流れたことで発覚した。まずは何が起こったかを時系列で整理する。
併せて読みたいお薦めの記事
教訓にしたい、クラウドベンダーによる大規模障害
- AWS大規模障害はなぜ起きた? クラウド不安を払拭するためにやるべき対策
- 痛い思いをしてAmazon S3障害から得た教訓、「クラウド利用時のDRは大丈夫?」
- AWS障害に学ぶ、万一クラウド障害が起きても動き続けるシステムとは?
インターネットとともにあるクラウド、最新技術動向を知る
何が起こったのか
何かが起こっている: 8月25日12時30分ごろ
ダウンディテクターは2017年8月25日12時33分に、OCNに障害が発生したと判定した。このときダウンディテクターにアクセスしていたならば、12時30分前後を境に、同サービスが観測するサービスの過半で、同時に急激に障害報告が増加しているという異常な光景を目の当たりにしたはずだ。
このダウンディテクターは、観測対象としているサービス群で「何らかの問題が起こっているとユーザーが感じている」ことの“最大風速”と“風量”に当たる情報を取り扱っているだけなので、何が起きているかは知ることができない。この時点で一般に判明していたことは、多数のサービスで同時多発的に障害が発生しているようだ、ということだけだった。
障害復旧報が届き始めるが原因はやぶの中: 8月25日12時45分
KDDIが同日12時39分に、自社設備に異常はなかったと説明(最終的には12時24分発生、16時47分復旧と報告し直した)し、NTTコミュニケーションズは障害から12時45分に復旧したと公表。遅れて、さくらインターネットが17時25分に復旧したと報告するなど、8月最後の金曜日25日の夕刻に向けシステム障害それ自体は収拾し、次第に落ち着きを取り戻していった。復旧報告の中ではKDDI、NTTコミュニケーションズ共に「海外の経路不安定事象」「自社設備に異常はなかった」と障害原因について明言を避けていた。
犯人探し: 8月25日17時
ところが東日本旅客鉄道(JR東日本)のスマートフォン向け電子マネーサービス「モバイルSuica」の障害が17時までに復旧と報じられた際に、ITproの記事で「KDDIで発生した全国的なネット接続障害が原因」とKDDIは名指しされてしまった([続報]JR東日本「モバイルSuica」の障害は解消、KDDI回線が原因)。報道が事実かどうかはさておき、自社に起因しない障害によって改札・窓口業務などで発生した混乱に、怒りが収まらないJR東日本の声が報道機関を通して社会に漏れ聞こえた形だ。障害の影響を受けた多くの利用企業の不満として、そうした声が出ることは理解できる。KDDIは、報道され始めた当初から「OCNで通信障害」と名指しされていたNTTコミュニケーションズともども、社会的混乱を招いた戦犯にされかねない空気に困惑したことだろう。いわゆる中の人の心労は察するに余りある。
電気通信事業者は通常、相互接続した他社網側に起因する障害が発生しても、原因となった他社を名指しで批判することはない。JR東日本をはじめとした鉄道各社や金融機関なども同様だ。しかし今回はこの慣例が黙示的ではあるが破られた。それも障害発生初日から、という点を含め筆者は少々気になっている。
今回の障害で損害賠償は発生するのか?
言うまでもないが電気通信事業者は自社サービス(役務)を約款に従って提供している。これらの約款においては免責条件が定められているのが通常だ。
今回の障害の場合、公式発表ベースで計算するとKDDIで4時間23分、NTTコミュニケーションズに至ってはわずか23分で障害が解消している。従来の障害事例に当てはめて考えると約款上も判例からも損害賠償の対象になるとは考えにくい。
こんなことは今回の障害に巻き込まれたサービスを抱えるJR東日本や銀行、証券会社のシステム部門は百も承知だ。にもかかわらず通信事業者の責任を問う声がメディアを通して挙がった。筆者はKDDIやNTTコミュニケーションズの「『海外の経路不安定事象』が原因で、自社設備に異常はなかった」という説明に慣習上は問題なかったが、顧客のコーポレートガバナンス上の要求と担当者の感情に問題の原因があったとみる。電気通信事業法に基づく報告義務を負う電気通信事業者と同様、それぞれ業法に基づく報告義務を負いPDCA(Plan-Do-Check-Action)サイクルを回し、原因特定と再発防止策立案を図らねばならない各社システム部門の立場に立てば、直接の取引先である電気通信事業者側の設備には異常なかった、では対策の立てようがない。慣例を破って電気通信事業者を名指しで非難したくもなるだろう。
外部識者による原因探し: 8月25日17時28分
17時28分にインターネットイニシアティブ(IIJ)の松崎吉伸氏がTwitterで「米国のAS15169が他ネットワークを誤ってトランジットしてしまった様に見える」(原文ママ)とAS15169による経路設定ミスの可能性を指摘し、18時20分にはITproの取材に答える形で日本ネットワークインフォメーションセンター(JPNIC)の岡田雅之氏が「NTTコムとピアリングし、大量の経路情報を流したのはAS番号15169の組織とみられる」(原文ママ)と、KDDIやNTTコミュニケーションズが義理堅く「海外の経路不安定事象」と名指しを避けた「海外事業者」がAS15169ことGoogleであると相次いで指摘した。
ここから一転して報道機関はGoogle原因説を一斉に報じ始めた。とはいえ、この段階ではAS15169ことGoogleにおいて、インターネットの経路制御(ルーティング)プロトコルであるBGPを悪用して経路を乗っ取るBGPハイジャックか、経路情報が外部に漏れるBGPリークのいずれかが起きた可能性が残っており「AS15169からの経路広報を受けている国内の境界ルーターのログを観測した限りにおいてAS15169が異常な経路広報を行っているように見える」、故に「Googleが原因である可能性がある」としか言えない状態だった。AS15169内部からの報告がなければ原因切り分けはここから先には進めない。非難の矛先はGoogleに向かう。この日のGoogle広報は殺気立った記者からの問い合わせ攻勢にさぞ苦労したことと思う。なお、この日は調査中であるとしてGoogleは報道機関各社からの問い合わせに回答しなかった。
Googleが事実関係を認める: 8月26日18時32分
翌2017年8月26日18時32分に朝日新聞デジタルが「グーグルが謝罪 大規模ネット障害、装置の誤操作が原因」と報じ、ITproも「米グーグルが大規模通信障害で謝罪」と追い掛けた。筆者は、企業として公式に障害原因が自社にあると認めたのであるならば、障害報告のリリースなり、サービスヘルスダッシュボード、公式ブログなりに障害の詳細について記載があるものと考え、あちこち探してみたが該当する記載は見つけられなかった。どうやら報道機関からの個別問い合わせに対してGoogle広報部が回答した、以下の文面が各種報道のソースのようだ。
(英文)Earlier today, some users were unable to access internet services as a result of a network configuration error. The configuration was fixed within eight minutes and service started returning to normal. Sorry for the inconvenience this caused.”-- A Google Spokesperson
(対訳)昨日、ネットワークの誤設定により、インターネットサービスにアクセスしづらくなる障害が発生しました。Googleでは、この誤設定を8分以内に正しい情報に修正しました。ご不便、ご心配をお掛けしたことをおわび致します。
なんにせよ、発生から30時間経過してようやく一連の通信障害の原因がGoogleによるBGPリークであったと判明した。
外部識者による原因分析: 8月27日6時59分
次いで日本時間の2017年8月27日6時59分にカナダのインターネット経路情報監視サイト「BGPmon」の創設者であるアンドレ・トゥーンク(Andree Toonk)氏が公式ブログに“Route leak via Google and Verizon causing internet outages in japan and beyond”(GoogleとVerizonを経由して経路リークし、日本やその他の国でインターネットが停止)と題した詳細な報告を公開した。BGPmonが提供しているBGPハイジャック、リーク、停止イベントの報告サービスである「BGPStream」はGoogleに起因するイベントを26件検出していた。
翌2017年8月28日16時32分には、障害発生当日から活発に情報発信していたIIJの松崎氏も独自に「08/25の通信障害概説」という資料を公開し、日本語で読める詳細な解説を提供した。続いてDNSサービス事業者のDynも“Large BGP Leak by Google Disrupts Internet in Japan”と題して報告し、複数の角度から今回の障害原因について検討できる状況が整ってきた。
これら報告によるとAS15169(Google)が誤って広報した経路は以下の通りだ。
- 10万個(IIJ)
- 13万5000個超(BGPmon)
- 16万個(Dyn)
「CIDR(Classless Inter-Domain Routing) Report」によると、2017年8月25日のプレフィックス(ネットワークアドレス)の数は約68万個であった(同年9月3日時点では68万649個で1日当たり平均0.1%強増加のペース)ことから全プレフィックス数の14.7~23.5%に当たる規模の経路が一気に広報されたことになる。うち、OCNに影響を与える広報経路が
- 約2万5000個(IIJ)
- 2万4834個(BGPmon)
- 2万5000個以上(Dyn)
と報告されており、いずれの報告もOCN向けが突出して多かったと指摘している。当然だが観測点によって観測可能な経路数は異なるので、どの報告の誤広報経路数の数字が正しいかを問うても意味はない。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Excel至上主義」の終わらせ方 丸2日の手作業地獄から情シスと現場を救うには
-
2
急増する「AIはこう言ってる」マン 判断を狂わせる「AI忖度」を防ぐには?
-
3
取手市がVDIと決別した理由 更改費用「4倍超」を約1.7倍に圧縮
-
4
221人調査で分かった「情シス最大のストレス」は?
-
5
「データストレージの活用方法」に関するアンケート
-
6
「AI時代の統合基盤・エンタープライズAI管理」に関するアンケート
-
7
自宅のWi-Fiが「遅い」「途切れる」本当の原因は? Dellが推奨する鉄則
-
8
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
9
本当に安いPCで十分か? “すぐ重くなる”を防ぐノートPC選びの絶対条件
-
10
Claudeの不可視透かしに批判殺到 著作権消失や誤判定に潜む企業リスク
ホワイトペーパーランキング PR
-
1
年収2000万「クラウドセキュリティのプロ」になれる資格とは
-
2
セキュリティソフトをすり抜ける標的型攻撃メール、不審メールの見破り方とは?
-
3
Windows Updateの通信集中で回線が逼迫、ネットワーク刷新事例に学ぶ解決策
-
4
財務を戦略的組織へ進化させるAI活用術、4つの主要な障壁と解消方法
-
5
「NAS」「SAN」「DAS」は何が違う? いまさら聞けないストレージの基礎
-
6
“あのファイル転送”で暗躍するノーウェアランサム
-
7
標的型攻撃メールを見破るには? サンプル文面を例に傾向を解説
-
8
商用利用の安全性を確保し大量のコンテンツを高速で生成する、AI活用の秘訣
-
9
マンガで解説、1日で生成AI環境を構築できるワークショップの中身とは?
-
10
Dark AIが台頭する時代の新発想、「より高度なAIで対抗する」具体的方法とは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー