コアから各ワイヤリングクローゼットまでを1組の100GbEリンクで接続

　チチェルキア氏はHHMIのデータセンターのコアに、マルチシャーシトランキング（MCT）機能を備えたBrocadeの「MLXe-32」シャーシを2台インストールした。MCTはネットワーク仮想化技術であり、ユーザーは2台のスイッチを1つの仮想端末のように動作させられる。各MLXe-32シャーシはイーサネットブレード用に32スロットを装備する。HHMIはMLXe-32スイッチのスロットの半分に100GbEポートを取り付け、シャーシに計32個の100GbEポートを装着した。残りのスロットには1GbEと10GbEのポートが装着されている。

　この2台のMLXe-32シャーシは、各ワイヤリングクローゼットにインストールされた計16台のMLXe-16シャーシからトラフィックをアグリゲート（集約）する。各MLXe-16シャーシは100GbEアップリンクを2つ装備し、それがHHMIの各コアスイッチに接続している。チチェルキア氏によると、MCT機能のおかげでネットワークからスパニングツリープロトコル（STP）を排除できるため、この2つの100GbEアップリンクはどちらも常にアクティブだという。

　さらにチチェルキア氏は100GbEネットワークで高い性能を確保すべく、VoIPとテレビ会議用にキャンパスネットワークをもう1つ導入した。この2つ目のネットワークは無線LANに有線バックボーンを提供する役割も果たしており、イーサネット経由でノートPCや無線アクセスポイントに電源を供給するためのPower over Ethernet（PoE）機能に対応した「Brocade FCX」スタッカブルスイッチが複数配置されている。この2つ目のネットワークもHHMIの2台のMLXe-32コアスイッチにアグリゲートされる。FCXスイッチの各スタックは1組の10GbE接続を介してコアにアップリンクする。

　2つのキャンパスネットワークの集約に加えて、MLXe-32シャーシはHHMIのデータセンターコアとしても機能し、サーバとHPCトラフィックを集約している。

　「データセンターではArista Networksのトップオブラック（ToR）スイッチを使用している。優先度の低いキャビネット向けにはBrocade FCXスイッチを何台か配備しており、他にForce10のレガシーなトップオブラックスイッチも何台かある。そちらについては目下、リプレースを進めているところだ」とチチェルキア氏。

100GbEネットワーク導入の初期結果：スパニングツリーが不要に

　新しいネットワークへの切り替えは2011年9月に実施された。この切り替えにより、HHMIはネットワークコアをそれまでのForce10シャーシ4台からMLXe-32スイッチ2台へとまとめられた。

　チチェルキア氏によると、こうしてアーキテクチャを整理統合したことで、より低いレイテンシが確保され、その一方でポートの密度を高められたという。

　「それに加えて、われわれはスパニングツリーを用いた昔ながらの設計から、MCTを用いた完全なアクティブ－アクティブ構成へと移行した。その結果、スイッチを4台から2台に減らしてレイテンシを50％近く短縮できただけでなく、スパニングツリーにおいてパッシブモードで使用するリンクが不要になったことで効率も100％強化できた。MCTに移行したおかげで、われわれはインフラ全体をフルに活用できるようになった」と同氏。

　なお、従来のスパニングツリー設計からBrocade MLXe-32コアを使ったMCT設計へと移行するに当たり、チチェルキア氏はネットワークのテストでちょっとした不具合に遭遇した。

　「われわれはパイプラインとリソースのおかげで、スパニングツリーを一切不要にすることができた。そこでMLX-e-32はMCT機能に加えて、802.1w（RSTP：Rapid Spanning Tree Protocol）を実行できるようにも構成されている」と同氏。

　あいにくコアスイッチ上の一部の10GbEインタフェースがリセットを繰り返すというトラブルが発生し、チチェルキア氏のスタッフはその原因を特定できなかった。そこで同氏は問題解明のため、Brocadeにパケットキャプチャー分析を依頼した。

　「MCTと802.1wの間にソフトウェアのバグがあることが分かった。特にForce10のトップオブラックスイッチに関係する不具合だった。Brocadeがすぐにパッチを用意することはできないと分かり、われわれはスパニングツリーの設定を802.1wから802.1sに修正してみた。すると、問題は解消された。その後、Brocadeはパッチを発行している。だがわれわれはネットワークを安定させる時間が欲しかったし、パッチを展開するのに都合のよい管理のタイミングもなかった。われわれは年末休暇中にこのパッチを適用する予定だ」とチチェルキア氏は語っている。