近年、人工知能(AI)のタスクの速度を上げる専用チップの利用が流行している。ニューラルプロセッシングユニットに搭載されるHuaweiのSoC(System on a Chip)「Kirin 970」からIoTデバイスで機械学習のタスクを実行するGoogleの新しい「Edge TPU」まで、その例は多岐にわたる。
だが、各チップの設計は一様ではない。Edge TPUはAIの推論を実行するために設計された専用のASIC(Application-Specific Integrated Circuit)プロセッサだ。GPU(グラフィックプロセッシングユニット)もASICの一種だが、こちらは大量の並列処理を用いて行列乗算を行うAIモデルのトレーニングに適している。
また、FPGA(Field-Programmable Gate Array)もある。これはさまざまなユースケース向けにプログラミング可能だが、一般的にASICよりも能力が劣る。
選ぶべきチップはAIワークロードによって決まる。画像認識や画像分析は一般的に負荷が高く、サービス品質の要件が厳しい。そのため低遅延と高パフォーマンスの要件を同時に満たしてそのバランスを保つのはGPUでは難しいというのがAlibabaの考えだ。
そこでAlibabaは、超低遅延で高パフォーマンスのディープラーニングプロセッサ(DLP)をFPGAで開発した。
Alibabaによると、同社のDLPはスパースな畳み込みと低精度のデータコンピューティングを同時にサポートでき、柔軟性とユーザーエクスペリエンスの要件を満たすためにカスタマイズしたISA(命令セットアーキテクチャ)を定義したという。
ResNet-18による遅延テストの結果では、AlibabaのDLPの遅延はわずか0.174ミリ秒であることが示された。このResNet-18とは、畳み込みニューラルネットワークアーキテクチャだ。
ではAlibabaの考え方を詳しく見てみよう。
DLPは機能に基づいて分類される4種類のモジュールを備える。
続きを読むには、[続きを読む]ボタンを押して
会員登録あるいはログインしてください。
営業デジタル化の始め方(無料eBook)
「ITmedia マーケティング」では、気になるマーケティングトレンドをeBookにまとめて不定...
「RED」「Bilibili」「Douyin」他 中国の主要SNSプラットフォームの特徴まとめ
トレンド変化の大きい中国においてマーケティングを成功させるためには、主要SNSプラット...
コロナ禍における「ご自愛消費」の現状――スナックミー調査
「ご自愛消費」として最も多いのは「スイーツやおやつ」で全体の68%。その他、ランチ38...