NVIDIAのArmベースCPU「Grace」がCPU−GPU間のボトルネックを解決GPT-3を2日でトレーニング

CPUからGPU、GPUからCPUへのデータコピーのボトルネックを解消するため、NVIDIAはArmベースのCPUを開発した。

2021年06月04日 08時00分 公開
[Cliff SaranComputer Weekly]

 一般に、GPUは特定の演算に最適化される。NVIDIAによると、メモリの帯域幅によってこの最適化のレベルが制約されるという。CPUは大量のメモリを持っているがメモリの速度は遅い。GPU用のメモリは比較的少量だが、CPUのそれよりも速い。

 データ処理時はCPUとGPUとの間でデータを移動させる。つまり低速なCPU用メモリからGPU用のメモリにデータをコピーする必要がある。

 メモリのボトルネックを解消する試みとして、NVIDIAは「Arm」アーキテクチャに基づくデータセンタープロセッサ「Grace」を発表した。NVIDIAによると、Graceは最も複雑なAIワークロードとハイパフォーマンスコンピューティング(HPC)ワークロードに対し、現時点で最も高速なサーバの10倍のパフォーマンスを発揮するという。また、次世代「NVLink」(通信プロトコル)をサポートし、CPUとGPU間のデータ移動が高速になると同社は主張する。

 Graceは高度に専門化されたプロセッサであり、HPCアプリケーションやAIアプリケーションがターゲットだという。例えば、1兆を超えるパラメーターがある次世代自然言語処理モデルのトレーニングなどがターゲットになる。

 Graceの採用を最初に公表したのは、スイス国立スーパーコンピューティングセンター(CSCS)だ。Graceを実装したシステム(Alps)は2023年に稼働する予定だ。

 CSCSは、MeteoSwiss(スイス気象局)の委託を受けて数値気象予報(NWP:Numerical Weather Prediction)専用システムを設計、運用している。

 Alpsを構築するのはHPEだ。AlpsはHPEのスーパーコンピュータ「HPE Cray EX」とNVIDIAのサーバプラットフォーム「NVIDIA HGX」を採用する。NVIDIA HGXにはNVIDIAのGPU、HPCソフトウェア開発キット、Graceが含まれている。

 AlpsはNVIDIAのCPUとGPUとの間の緊密な結び付きを利用して、自然言語処理モデル「GPT-3」をわずか2日間でトレーニングできるという。これはNVIDIAのスーパーコンピュータ「Selene」よりも7倍速い。Seleneは、AIベンチマークのMLPerfによってAI向けでは世界をリードするスーパーコンピュータだと認められている。

Copyright © ITmedia, Inc. All Rights Reserved.

From Informa TechTarget

お知らせ
米国TechTarget Inc.とInforma Techデジタル事業が業務提携したことが発表されました。TechTargetジャパンは従来どおり、アイティメディア(株)が運営を継続します。これからも日本企業のIT選定に役立つ情報を提供してまいります。

ITmedia マーケティング新着記事

news171.jpg

日本テレビの運用型テレビCM「スグリー」、プレミアパートナー企業9社を認定
日本テレビは、テレビCM枠をWebで購入できるサービス「スグリー」のプレミアパートナー9...

news092.jpg

ウェルチのCMOが語るリブランディング 脱「ぶどうジュースの会社」なるか?
Welch’s(ウェルチ)が製品の品揃えを拡大する中で、CMOのスコット・ウトケ氏はブランド...

news085.jpg

OpenAI、Google、etc. 第59回スーパーボウルで賛否が分かれた“微妙”CMたち
スーパーパーボウルLIXでは、有名人やユーモア、政治を前面に押し出した広告について、賛...