2021年06月04日 08時00分 公開
特集/連載

NVIDIAのArmベースCPU「Grace」がCPU−GPU間のボトルネックを解決GPT-3を2日でトレーニング

CPUからGPU、GPUからCPUへのデータコピーのボトルネックを解消するため、NVIDIAはArmベースのCPUを開発した。

[Cliff Saran,Computer Weekly]
iStock.com/metamorworks

 一般に、GPUは特定の演算に最適化される。NVIDIAによると、メモリの帯域幅によってこの最適化のレベルが制約されるという。CPUは大量のメモリを持っているがメモリの速度は遅い。GPU用のメモリは比較的少量だが、CPUのそれよりも速い。

 データ処理時はCPUとGPUとの間でデータを移動させる。つまり低速なCPU用メモリからGPU用のメモリにデータをコピーする必要がある。

 メモリのボトルネックを解消する試みとして、NVIDIAは「Arm」アーキテクチャに基づくデータセンタープロセッサ「Grace」を発表した。NVIDIAによると、Graceは最も複雑なAIワークロードとハイパフォーマンスコンピューティング(HPC)ワークロードに対し、現時点で最も高速なサーバの10倍のパフォーマンスを発揮するという。また、次世代「NVLink」(通信プロトコル)をサポートし、CPUとGPU間のデータ移動が高速になると同社は主張する。

ITmedia マーケティング新着記事

news024.jpg

CEOと従業員の給与差「299倍」をどう考える?
今回は、米国の労働事情における想像を超える格差について取り上げます。

news153.jpg

日立ソリューションズが仮想イベントプラットフォームを提供開始
セミナーやショールームなどを仮想空間上に構築。

news030.jpg

経営にSDGsを取り入れるために必要な考え方とは? 眞鍋和博氏(北九州市立大学教授)と語る【前編】
企業がSDGsを推進するために何が必要なのか。北九州市立大学の眞鍋和博教授と語り合った。