NVIDIAのArmベースCPU「Grace」がCPU−GPU間のボトルネックを解決：GPT-3を2日でトレーニング

CPUからGPU、GPUからCPUへのデータコピーのボトルネックを解消するため、NVIDIAはArmベースのCPUを開発した。

[Cliff Saran，Computer Weekly]

iStock.com/metamorworks

　一般に、GPUは特定の演算に最適化される。NVIDIAによると、メモリの帯域幅によってこの最適化のレベルが制約されるという。CPUは大量のメモリを持っているがメモリの速度は遅い。GPU用のメモリは比較的少量だが、CPUのそれよりも速い。

　データ処理時はCPUとGPUとの間でデータを移動させる。つまり低速なCPU用メモリからGPU用のメモリにデータをコピーする必要がある。

関連記事

GPUは“銀の弾丸”ではない

GPUを超える「IPU」（Intelligence Processing Unit）は実現するか？

NVIDIAによるArm買収は業界およびNVIDIAにとって吉か凶か

AIの拡大で増大するカスタムハードウェア需要

機械学習を加速するGPU、TPU、FPGA、ASICの競争に「x86 CPU」が参戦

　メモリのボトルネックを解消する試みとして、NVIDIAは「Arm」アーキテクチャに基づくデータセンタープロセッサ「Grace」を発表した。NVIDIAによると、Graceは最も複雑なAIワークロードとハイパフォーマンスコンピューティング（HPC）ワークロードに対し、現時点で最も高速なサーバの10倍のパフォーマンスを発揮するという。また、次世代「NVLink」（通信プロトコル）をサポートし、CPUとGPU間のデータ移動が高速になると同社は主張する。