AIシステムに要求されるストレージ要件AIとストレージ【前編】

AIを構築するに当たって求められるストレージとはどのようなものか。何を保存する必要があり、どのようなアクセスが発生するのか。

2019年08月08日 08時00分 公開
[Stephen PritchardComputer Weekly]

 Facebookのアクティブユーザーは24億人弱、1日にアップロードされる写真は3億5000万枚、投稿されるコメントは毎分50万件を超える。こうした膨大な量の情報を追跡、監視して価値を得るため、同社はどのような取り組みをしているのだろうか。

 「ユーザーが数十億人ともなれば、人間が分析するのは不可能だ」と話すのは、調査会社Gartnerのリサーチ部門でディープラーニングなどの機械学習を担当するディレクター、チラグ・デカテ氏だ。

 Facebookは人工知能(AI)を使って投稿をスキャンしている。「摘発対象となる発言や炎上案件を見つけたり、タグを付けたり、広告収益を上げたりするのに、動画や画像を一つ一つ分析することはできない」(デカテ氏)

 AIは学術研究から飛躍し、医薬、法執行、保険、小売りといった幅広い分野に進出している。ソーシャルメディアも増加の一途をたどるAI活用事例の一つにすぎない。

 こうした成長は企業のITシステムに広く影響を及ぼしている。その中の一つがデータストレージだ。

多岐にわたるAI用ストレージ

 AI向けデータストレージの要件は、応用事例とソースとなる資料によって大きく異なる。Gartnerのデカテ氏は次のように述べる。「ユースケースによってデータセットは大きく異なる。画像処理の場合はファイルが非常に大きくなることが多いため、データセットのサイズが急速に大きくなる。画像認識や動画認識、またはディープラーニングを実行する場合は新しいアーキテクチャと新しい機能が必要になるだろう。不正検出のようなユースケースでは、新しいハードウェアを備えていないインフラスタックでも優れた結果を得ることができる」

 医療、科学、地理データ、諜報(ちょうほう)活動や防衛に使用される画像処理データセットはペタバイト規模、1ファイル当たりのサイズはギガバイト規模になることが多い。

 これに対して、AIの応用事例が増えているサプライチェーン分析や航空機のメンテナンス、修理、整備などの分野で使われるデータはこれよりはるかに小さい。

 デカテ氏によると、小売業の品ぞろえの予測に使用されるPOSデータセットは通常100M〜200MBだ。最新のセンサーを搭載する旅客機は、メンテナンスと操縦のデータを1回のフライトで50G〜100GB生成するという。

CPU、GPU、そしてI/O

 AIシステムの課題は、データを処理する速度にある。航空事業では、航空機が地上に駐機している間に予知保全データを分析しなければならない。その所要時間は、長距離フライトでは数時間、格安航空では数分などさまざまだ。

 顔認識システムや車両ナンバー認識システムは瞬時の応答が必要とされる。自動保険金請求システムに求められる応答時間は数分だ。

 AI開発者にはGPUを多用するクラスタの構築が求められる。GPUはデータ処理と複雑なアルゴリズムを高速に実行するのに最も効果的な方法だからだ。だが、GPUクラスタ(NVIDIA DGXをベースにすることが多い)は高価で、少数しか出回っていない。

 PA Consulting GroupのITエキスパート、アラステア・マコーレー氏は次のように指摘する。「教育用や産業用のハイパフォーマンスコンピューティング(HPC)システムは、その希少性とコストから、非常に高い利用率で稼働していることが多い」

 研究機関は、ハードウェアのパフォーマンスを余すことなく引き出すために専門家を雇用している。だが、一般企業では既存のデータシステムとの統合の方が重要になる可能性が高い。

後編(Computer Weekly日本語版 8月21日号掲載予定)では、AIシステムのフェーズごとに異なるストレージのI/O特性、NVMeやクラウド利用の可能性について解説する。

ITmedia マーケティング新着記事

news079.jpg

狙うは「銀髪経済」 中国でアクティブシニア事業を展開する企業とマイクロアドが合弁会社を設立
マイクロアドは中国の上海東犁と合弁会社を設立。中国ビジネスの拡大を狙う日本企業のプ...

news068.jpg

社会人1年目と2年目の意識調査2024 「出世したいと思わない」社会人1年生は44%、2年生は53%
ソニー生命保険が毎年実施している「社会人1年目と2年目の意識調査」の2024年版の結果です。

news202.jpg

KARTEに欲しい機能をAIの支援の下で開発 プレイドが「KARTE Craft」の一般提供を開始
サーバレスでKARTEに欲しい機能を、AIの支援の下で開発できる。