AI用ストレージに必要なのは単なる「速さ」ではない
AI用のストレージ要件はフェーズやユースケースによって変化する。要求される速度にも種類があり、場合によっては速度が重要ではないこともある。学習時と推論時でも要件は大きく異なる。
前編（Computer Weekly日本語版 8月7日号掲載）では、AIを構築するに当たって求められるストレージの要件を検討した。AIシステムでは何を保存する必要があり、どのようなアクセスが発生するのか。
後編では、AIシステムのフェーズごとに異なるストレージのI/O特性、NVMeやクラウド利用の可能性について解説する。
最適なメディア、NVMe
PA Consulting Groupのマコーレー氏は次のように語っている。「SSDを適切に利用することが、とてつもなく大きなメリットをもたらす。つまり、どのファイルシステムを使うか、そのファイルシステムをどのように最適化するか、そして（市販の）ストレージハードウェアを最大限に活用するためにアクセラレーターが必要かどうかになる。アクセラレーターはデータ管理とファイルシステムに多くの力を注ぐ」
現在はフラッシュストレージが一般的になっている。さらに、GPUの近くに格納するデータへの高速アクセスが必要なアプリケーションに最適なメディアとして、NVMeフラッシュも浮上している。HDDも依然存在するが、低層の大容量ストレージに追いやられることが増えている。
AIシステムにはIOPSパフォーマンスの高いストレージが必要だと誤解されることが多いが、実際に重要なのはランダムI/Oの処理能力だ。
AIの各フェーズとI/Oのニーズ
AIのストレージとI/Oの要件は、ライフサイクルの中で変化する。
一般的なAIシステムはトレーニングが必要で、そのフェーズではI/O処理が特に多くなる。ここで役立つのはフラッシュやNVMeだ。だが「推論」フェーズでは演算リソースの利用が多くなるだろう。
ディープラーニングシステムには動作しながら自身を再トレーニングする機能があるため、データへの継続的なアクセスが必要になる。ここで多くの企業が勘違いする。
*** 一部省略されたコンテンツがあります。PC版でご覧ください。 ***
Copyright © ITmedia, Inc. All Rights Reserved.