外部が推定した障害発生の構図

　現象面ではAS15169（Google）からAS701（Verizon）へ向けたピア（経路情報を交換する隣接ルーター）でOCN向けを含む誤った経路広報が実行され、AS701からAS15169由来の誤った経路情報を受け入れたASからの通信がAS701―AS15169間を経由した。KDDIとIIJはAS701とトランジットしており、AS701からの誤った経路広報を受け入れ、それぞれのOCN向け通信がAS15169を経由したために遅延が発生した。Googleの誤広報は当然問題だが、IIJとBGPmonは、VerizonがAS情報に基づいてフィルタリングをするASパスフィルターを設定していれば防ぐことができたと指摘している。

　しかし筆者はASパスフィルター設定は万能ではないと考える。完全なASパスフィルターを設定するためには、インターネット全体のある瞬間の全体像とトラフィックの分布をリアルタイムに把握している必要がある。だが、それぞれのASはインターネット全体の現状を把握してはおらず、自身のPoP（回線を収容する施設）を介してインターネットの経路情報の一部を観測しているにすぎないからだ。AS管理・運用者の手元にあるいわゆる「フルルート」は、真に厳密に現在のフルルート（全経路情報）を反映しているわけではない。インターネットに参加するには、個々のネットワーク（AS）は複数の経路（パス）を持つことになっている。複数の経路がある場合は経路選択（経路制御）が必要だ。そして2個以上の任意の数のリンク（ノード間をつなぐ線）を持つノード（ネットワークの構成要素）が動的に組み合わさっていくと、ランダムグラフを描くことも思い出していただきたい。

　限定合理性に制約されている以上、完全なASパスフィルターは存在し得ないので、ASパスフィルター万能論に飛び付くのは危険なのだ。実務でBGPに触れている方にはインターネット全体でのリアルタイムなBGPコンバージェンス（全ルーターが全経路を認識している収束状態）をイメージしてほしい。収束時間を考慮するといかに無理な話か、すぐご理解いただけると思う。

図2　CAIDA（後述）が毎年調査しているAS間の接続実態調査に基づくマップ。2015年1月に、計測プロジェクト「Archipelago」（Ark）に参加する6大陸42カ国118人のArkモニターが、2億8100万の/24IPv4ネットワークへの経路を2週間かけて調査してデータを集めた（出典： CAIDA「IPv4 and IPv6 AS Core: Visualizing IPv4 and IPv6 Internet Topology at a Macroscopic Scale in 2015」）《クリックで拡大》

ピアリングの力学

　とあるASが他のASからピアリングの申し入れを受けた際に受け入れるか否かは、そのASが自由に決める（もちろん準拠法の制約下で）ことができる。各ASは通常「Selective」「Restrictive」「Open」のいずれかのポリシーモデルをベースに任意に自身のポリシーを設定している。ポリシー設定はそのASの経営判断であるが、実際に設定可能なポリシーは市場（この場合はピアリング相手候補となる他のAS）との力関係でおのずと決まってくるものでもある。物理的、経済的な制約条件も含めて、おおむね市場原理に任されたピアリング契約を積み上げて形成される、BGP接続された“インター”ネットワークは、参加するASが増えるにつれて自然にランダムグラフとなっていく。

図3　ディーン・ペンバートン（Dean Pemberton）氏が作成した2015年のAPNIC（アジア太平洋地域のIPアドレス管理組織）配下ASのBGPピアリングマップと日本のBGPピアリングマップ部分拡大図。OCN、KDDI、IIJなどのピアリング関係が見える（AS検索マップを参照）《クリックで拡大》

BGPの経済：電気通信事業者とコンテンツプロバイダーの力関係の変化

　インターネットトラフィック分析組織のCAIDA（Center for Applied Internet Data Analysis）がピアリング関係のグラフを有向グラフ（向きのある矢印でノード間をつなげたグラフ）だと捉え、任意のASに依存するASの多様さ（到達性の良さ）を「カスタマーコーン」（大きいほど到達性が良い）として表現したASランキングを見ると、その上位は伝統的通信事業者で占められており、こうしたTier1事業者のシェアは現在も圧倒的に高い。対してGoogleはコンテンツプロバイダーとしては例外的に高順位に付けているが、これらランキング上位のASと比較すると小粒だ。

図4　CAIDAのASランキングトップ50にOCN、IIJ、Googleを追記、追記分とTier1事業者を塗り分けた《クリックで拡大》

　単純化すると伝統的Tier1事業者に代表される電気通信事業者は、伝送量課金の伴わない（設備償却費と運用費のみ）ピアリング先の多さによってネットワーク外部性（製品／サービスの利用者増に伴い利用者のメリットが高まること）を高め、ピアリング先の少ない（または全くピアリング先のない）ASに対して伝送量課金を伴い、トランジット販売の魅力を高めている。故にCAIDAのASランキングが採用しているカスタマーコーンの大きさは、Tier1事業者の競争力の指標としては意味を持つ。

　対するコンテンツプロバイダー（ことに広告収益モデルのGoogle）は通常、トランジット販売はしないので、ピアリング先をむやみに増やすインセンティブは働かない。むしろポート稼働率の低いピアリング先はできれば引き受けたくないし、まして伝送量課金されるトランジットはなるべく買いたくない。するとカスタマーコーンはおのずとコンパクトになる。

図5　CAIDAのカスタマーコーンモデル

　コンテンツプロバイダーは経営戦略上、カスタマーコーンを最大化することに意味を見いださない。そのためカスタマーコーンの大きさで見た場合、Tier1から見て脅威ではないが、生成するトラフィック量から見た場合は強大なプレイヤーだ。調査会社TeleGeographyの帯域幅調査「Global Bandwidth Research Service」は2016年の世界の海底ケーブル帯域幅について、その実に38％をコンテンツプロバイダーが占有していると報告している。今やGoogle、Facebook、Microsoft、Amazon.comらコンテンツプロバイダーによる帯域幅調達量は、インターネットバックボーン事業者の調達量を上回っていると指摘している。なおネットワーク関連イベント「Open Network Summit 2017」においてGoogleは、自社が今ではインターネットトラフィックの25％以上を生成していると明かしている。あきれるほどの巨大さだ。

図6　TeleGeographyのGlobal Bandwidth Research ServiceによるUsed International Bandwidth by Source, 2002-2016（利用種別による国際回線帯域幅利用調査）

　大ざっぱに整理するなら、ネットワーク構築における優先順位の設定がまるで異なる2つの業態が混在しているのが現在の“インター”ネットといえる。故に一部で言われているGoogleがインターネットを支配しているという風説については、Googleがインターネットにおける非常に重要なプレイヤーあることは事実だが、専制的な支配者として振る舞えるほどではないし、専制的な支配者となることはGoogleの主力事業にとって最善の選択でもない、と答える。同時にTier1といえども現在に至ってはインターネットの支配者とはいえない。

膨大なトラフィックを生成するGoogleの網構成

　インターネットトラフィックの25％以上を生成しているというだけあって、コンテンツプロバイダーの中でもGoogleは「FASTER」「MONET」「PLCN」「SJC」「Tannat」「Unity」の各海底ケーブル敷設に資本参加し、短距離ながら「Junior」については単独資本で敷設するに至っており、国際中継伝送経路の自前化に膨大な投資をしている。Global Bandwidth Research Serviceが報告したコンテンツプロバイダーの海底ケーブル帯域幅シェア分布は、こうしたコンテンツプロバイダー独自網の帯域も含んでいる。

図7　海底ケーブルを示したTeleGeographyの「Submarine Cable Map」所収のGoogle資本参加海底ケーブル群《クリックで拡大》

　こうした自社所有の経路と電気通信事業者から借り受けた光ファイバーなどを利用して、Googleは全世界にインターネットに依存しない独自のネットワークを構築している。

図8　Open Network Summit 2017で公開されたGoogleの物理ネットワーク構成。資本参加している海底ケーブル群はGoogleのネットワーク全体から見るとごく一部にすぎない《クリックで拡大》

　Peering情報のWebサイト「PeeringDB」によると現時点でGoogleが開設しているプライベートPoPは109拠点を数える。この他、入線しているIX（インターネットエクスチェンジ）を含めると200個を優に超える相互接続点を全世界に配備している。このうち日本にはプライベートPoPが7個、入線しているIXが12個あることが確認できる。

　PoPに届いたトラフィックはGoogleが2017年4月4日に公開した資料を信じるならば、Googleが独自開発したピアリングアーキテクチャ「Espresso」を利用してSDN（Software Defined Networking）で動的に内部経路決定されているという。Espressoはトラフィックをリアルタイムに計測し、エンドツーエンドの経路が最適になるように動的に内部経路を設定する。このため輻輳（ふくそう）や障害に対してもリアルタイムに反応できるという。Open Network Summit 2017におけるGoogleのアミン・バハット（Amin Vahdat）氏のプレゼンテーションによると、発表時点でEspressoの稼働実績は2年あり、既に同社のトラフィックの20％を処理し、新たに追加されるトラフィックは全てEspressoを利用するという。

図9　Espressoのアーキテクチャ概要《クリックで拡大》