NVIDIAのArmベースCPU「Grace」がCPU-GPU間のボトルネックを解決GPT-3を2日でトレーニング

CPUからGPU、GPUからCPUへのデータコピーのボトルネックを解消するため、NVIDIAはArmベースのCPUを開発した。

2021年06月04日 08時00分 公開
[Cliff SaranComputer Weekly]

 一般に、GPUは特定の演算に最適化される。NVIDIAによると、メモリの帯域幅によってこの最適化のレベルが制約されるという。CPUは大量のメモリを持っているがメモリの速度は遅い。GPU用のメモリは比較的少量だが、CPUのそれよりも速い。

 データ処理時はCPUとGPUとの間でデータを移動させる。つまり低速なCPU用メモリからGPU用のメモリにデータをコピーする必要がある。

会員登録(無料)が必要です

 メモリのボトルネックを解消する試みとして、NVIDIAは「Arm」アーキテクチャに基づくデータセンタープロセッサ「Grace」を発表した。NVIDIAによると、Graceは最も複雑なAIワークロードとハイパフォーマンスコンピューティング(HPC)ワークロードに対し、現時点で最も高速なサーバの10倍のパフォーマンスを発揮するという。また、次世代「NVLink」(通信プロトコル)をサポートし、CPUとGPU間のデータ移動が高速になると同社は主張する。

 Graceは高度に専門化されたプロセッサであり、HPCアプリケーションやAIアプリケーションがターゲットだという。例えば、1兆を超えるパラメーターがある次世代自然言語処理モデルのトレーニングなどがターゲットになる。

 Graceの採用を最初に公表したのは、スイス国立スーパーコンピューティングセンター(CSCS)だ。Graceを実装したシステム(Alps)は2023年に稼働する予定だ。

 CSCSは、MeteoSwiss(スイス気象局)の委託を受けて数値気象予報(NWP:Numerical Weather Prediction)専用システムを設計、運用している。

 Alpsを構築するのはHPEだ。AlpsはHPEのスーパーコンピュータ「HPE Cray EX」とNVIDIAのサーバプラットフォーム「NVIDIA HGX」を採用する。NVIDIA HGXにはNVIDIAのGPU、HPCソフトウェア開発キット、Graceが含まれている。

 AlpsはNVIDIAのCPUとGPUとの間の緊密な結び付きを利用して、自然言語処理モデル「GPT-3」をわずか2日間でトレーニングできるという。これはNVIDIAのスーパーコンピュータ「Selene」よりも7倍速い。Seleneは、AIベンチマークのMLPerfによってAI向けでは世界をリードするスーパーコンピュータだと認められている。

Copyright © ITmedia, Inc. All Rights Reserved.

新着ホワイトペーパー

事例 株式会社サムライズ

3社の事例に学ぶ、BIツールの枠を超えたデータ分析プラットフォームの実力とは

データ活用におけるさまざまな課題を解決するBIツール。近年は、その枠を超え、さらなるデータ活用を促進するデータ分析プラットフォームへの注目度が高まっている。3社の事例を基に、同製品の魅力と実力に迫る。

製品資料 株式会社ライトウェル

チャットBIの登場でさらに便利に 新時代のBIツールでデータ活用はどう変わる?

データの可視化/分析をサポートするツールとして定評のあるBIツールだが、導入したものの活用できていない企業は意外と多い。その理由を確認するとともに、解決策として注目したい「チャットBI」の機能やメリットを詳しく解説する。

事例 プリサイスリー・ソフトウェア株式会社

SAPデータの処理時間を4分の1に短縮、ロクシタンはどうやって実現した?

SAP ERPを活用して、事業部門のデータ作成/変更を行っているロクシタンでは、マスターデータ管理の煩雑さに伴う、処理時間の長さが課題となっていた。これを解消し、SAPデータの処理時間を4分の1に短縮した方法とは?

製品資料 テンスピン・マネジメント・コンサルタンツ合同会社

クラウドとBIツールで「情報の分断」を解消、2社に学ぶ分析基盤構築事例

多くの企業で「情報の分断」や「手作業によるデータ処理への依存」が課題となり、迅速な経営判断を阻害している。本資料では、クラウドとBIツールを活用した分析基盤を構築し、これらの課題を解決した2社の事例を紹介する。

市場調査・トレンド テンスピン・マネジメント・コンサルタンツ合同会社

グローバル拠点のデータ収集に半月もかかる? データドリブン経営を阻む課題

データドリブン経営の必要性が叫ばれる今も、グローバルに拠点を展開する企業は、決算データの収集に時間がかかり、整合性をとるのも難しいなど、多くの課題を抱えている。この状況を改善するには、どのようなアプローチが有効だろうか。

アイティメディアからのお知らせ

From Informa TechTarget

「テレワークでネットが遅い」の帯域幅じゃない“真犯人”はこれだ

「テレワークでネットが遅い」の帯域幅じゃない“真犯人”はこれだ
ネットワークの問題は「帯域幅を増やせば解決する」と考えてはいないだろうか。こうした誤解をしているIT担当者は珍しくない。ネットワークを快適に利用するために、持つべき視点とは。

ITmedia マーケティング新着記事

news017.png

「サイト内検索」&「ライブチャット」売れ筋TOP5(2025年5月)
今週は、サイト内検索ツールとライブチャットの国内売れ筋TOP5をそれぞれ紹介します。

news027.png

「ECプラットフォーム」売れ筋TOP10(2025年5月)
今週は、ECプラットフォーム製品(ECサイト構築ツール)の国内売れ筋TOP10を紹介します。

news023.png

「パーソナライゼーション」&「A/Bテスト」ツール売れ筋TOP5(2025年5月)
今週は、パーソナライゼーション製品と「A/Bテスト」ツールの国内売れ筋各TOP5を紹介し...