一般的に、AIインフラの構築において、ネットワークスイッチが占めるコストは全体の15％以下だ。そのため、既存スイッチを流用して短期的にコストを抑えるよりも、GPU向けに最適化された専用スイッチに投資する方が長期的な費用対効果は高くなる。

　こうした背景から、調査会社Gartnerは以下のように提言する。

• GPU接続専用の物理スイッチを新規導入する
• リーフ／スパイン型に固執せず、ホップ数（物理スイッチの台数）をできるだけ減らす
• 単一スイッチ、二重スイッチ、フルメッシュ、キューブメッシュ、ドラゴンフライなど、用途に応じて適切なネットワークトポロジーを選択する
• 既存のデータセンター向けスイッチとは分離する
• GPUが500基未満の場合は、1～2台の物理スイッチが理想
• GPUが500基以上の場合は、専用のAI向けイーサネットファブリックを導入する
  • その際、標準的なラック単位のトップオブラック（ToR）構成から、ミドルオブロー（MoR）やモジュラー型のスイッチへの移行が必要となる可能性がある。

　特にイーサネットを導入する場合には、以下の要件を満たす専用スイッチを採用すべきだという。

• GPU向けの高速インタフェース対応
  • 400Gbps以上のアクセスポートなど、GPU接続に十分な帯域が確保できること。
• ロスレスイーサネット対応
  • 「量子化輻輳（ふくそう）通知」（DCQCN）など、データセンター向けの輻輳対策メカニズムに対応していること。
• 高度なトラフィックバランシング機能
  • 輻輳状況に応じた動的ロードバランシングに対応できること。
• RDMA対応のロードバランシングとパケットスプレー機能
  • リモートダイレクトメモリアクセス（RDMA）に対応し、複数経路へのパケット分散が可能であること。

　AIワークロード向けネットワークでは、データフローを特定経路に固定する「静的ピニング」により、通信速度や応答時間を安定させることができる。一方で、その運用には高度な監視体制が欠かせず、管理層に以下のような機能が必要となる。

• 迅速なアラート、診断、修復機能
  • 問題発生時に即座に通知し、原因特定から対応まで迅速に実施できること
• きめ細かいテレメトリー（可視性）
  • サブ秒（1秒未満）や100ミリ秒未満の間隔で詳細なデータが取得できることで、トラブルシューティングや現場状況の把握が容易になること
• リアルタイム監視と履歴レポート機能
  • 帯域利用率、パケットロス、レイテンシ、ジッター（レイテンシのばらつき）といった指標を、サブ秒単位で監視および通知できること。その履歴を蓄積して後から確認できること。