GPUを効率的に管理する仕組みとは
“GPU争奪戦”は終わるのか? NVIDIAが公開した「KAI Scheduler」の真価
GPU不足が深刻化する中、企業では組織やプロジェクト間のリソース争奪戦が起きている。この問題の解決に役立つのがNVIDIAの「KAI Scheduler」だ。GPUリソースの効率的な管理をどのように実現するのか。
GPU(グラフィックス処理装置)ベンダーのNVIDIAは、コンテナオーケストレーションツール「Kubernetes」向けのGPUスケジューラー「KAI Scheduler」を、オープンソースライセンス「Apache License 2.0」の下で公開した。GPUリソースの最適な割り当てと利用効率の向上をどのように実現するのか。その仕組みを解説する。
NVIDIAの「KAI Scheduler」が“GPU不足”の救世主に?
KAI Schedulerは、AIワークロード(AI関連のタスク)の効率的な管理を目的としたツール「NVIDIA Run:AI」の中核機能として開発された。GPU不足が深刻化する中で、限られたGPUリソースを複数のチームやプロジェクト間で公平かつ効率的に分配するための仕組みを提供する。NVIDIAによれば、KAI SchedulerはGPUリソースの需要変動を管理し、割り当てまでの待機時間を短縮する。GPUリソースの保証や適切な割り当ても実現している。
GitHubの公式リポジトリの情報によると、KAI Schedulerは、小規模な対話型タスクから大規模なトレーニングや推論まで、Kubernetesクラスタ内におけるさまざまなAIワークロードを対象にする。NVIDIAは、異なるアプリケーション間での公平性を維持しつつ、最適なGPUリソース割り当てを保証すると説明している。
このツールにより、Kubernetesクラスタの管理者は、GPUリソースを動的にワークロードに割り当てられるようになる。KAI Schedulerは他のスケジューラーと共存して動作することも可能だ。
NVIDIAのソフトウェアシステム担当バイスプレジデントのロネン・ダール氏と、NVIDIA Run:aiのデータサイエンティストであるエキン・カラブルト氏は、ブログ記事で次のように述べている。「例えば、データ探索のような対話型作業にはGPUが1つあれば足りる一方で、分散トレーニングや複数の実験を実施する場合には、複数のGPUが必要なことがある」。従来のスケジューラーは、こうしたニーズの変動に対応できないという。
KAI Schedulerは、公平なリソースシェア値を継続的に再計算し、クォータ(割り当て上限)や制限値をリアルタイムで調整する。こうした動的アプローチにより、管理者が手動で介入する必要なく、効率的なGPUリソース配分が可能になるという。
機械学習エンジニアは、KAI Schedulerを以下のような手法と組み合わせることで、ジョブの待機時間を短縮する。
- ギャングスケジューリング
- 複数のプロセッサを集団として扱い、同期させてスケジュールする手法。
- GPU共有
- 1つのGPUを複数のジョブで時間的・論理的に分割して使えるようにする技術。
- 階層型キューイング
- 複数のリクエストを階層構造の待ち行列に入れて、優先度を管理する方式。
これにより、ユーザーはジョブをバッチとしてまとめて投入でき、GPUリソースが利用可能になり次第、優先度や公平性に基づいて順次実行される。
GPUリソースの需要変動に対応するために、KAI Schedulerは「ビンパッキング」を使用している。ビンパッキングとは、限られた容量の容器であるビンに、さまざまなサイズの物体を効率よく詰め込むアルゴリズムだ。未使用のGPUリソースに小規模タスクを優先的に割り当てることで、リソースの断片化を防ぎ、計算資源の利用率を最大化する。
ノード(コンテナを実行するための物理サーバや仮想マシン)の断片化にも対処するため、KAI Schedulerはタスクをノード間で再割り当てする。ワークロードを分散させることで、各ノードの負荷を最小化し、リソースの可用性を高めている。
共有クラスタの運用においては、一部ユーザーがGPUリソースを過剰に確保し、GPUの未使用クォータが発生するケースがある。「一部の研究者はGPUの利用を確保するために、必要以上のGPUを早めに確保することがある。これにより、他のチームに未使用クォータがあるにもかかわらず、リソースの未活用を引き起こすことがある」とダール氏とカラブルト氏は説明する。KAI Schedulerはリソース保証機能を通じて、GPUリソースの独占を防ぎ、Kubernetesクラスタ全体の効率性を高めるという。
KAI Schedulerは、Pod(Kubernetesでの基本的な実行単位)のグループを自動的に検出および管理する機能を備えている。これにより、以下のような機械学習フレームワークやツールを自動検出して接続する。
- Kubernetes向け機械学習ツールキット「Kubeflow」
- プログラミング言語「Python」での並列分散処理をシンプルかつ高速にするためのフレームワーク「Ray」
- Kubernetes向けの継続的デリバリーツール「Argo CD」
これにより、Kubernetesクラスタの構成の複雑さを軽減し、開発スピードを向上させるとNVIDIAは主張している。
(翻訳・編集協力:編集プロダクション雨輝)
Computer Weekly発 世界に学ぶIT導入・活用術
米国Informa TechTargetが運営する英国Computer Weeklyの豊富な記事の中から、海外企業のIT製品導入事例や業種別のIT活用トレンドを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
Computer Weekly発 世界に学ぶIT導入・活用術
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[Neatframe株式会社] 「AIへのデータ受け渡し精度」が決め手 船井総研HDが選んだ会議システムは? -
事例
[Neatframe株式会社] 会議はスピードが命 レックの“爆速商品開発”を生み出す会議環境とは -
事例
[Neatframe株式会社] オフィス回帰で発生する「会議室不足」 NECはどう解消したのか? -
事例
[ServiceNow Japan合同会社] 大阪市の未来を創る「行政DX」の本質と、その取り組みを支える統合基盤の実力 -
事例
[ServiceNow Japan合同会社] 【行政DX先進事例】横浜市が「市民に大切な時間を返す」を実現できた理由とは?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
PC選びの妙で差がつくAI時代 通常PC、AI PC、Copilot+ PCをどう使い分ける?
-
2
企業が「Microsoft Azure」を選ばざるを得ない理由
-
3
なぜノートPCの更新が「4年→6年」に? AIインフラ急拡大の余波
-
4
ペースメーカー停止の恐れも 「医療IoTセキュリティ」を無視できない理由
-
5
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
6
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
7
30年使った自社開発システムとの決別 BMWが「Ansible」で実現した効率化
-
8
「AI PCの導入状況と課題」に関するアンケート
-
9
巨大組織の「アジャイル」を加速させる オリックス生命が選んだ、開発状況を見える化する戦略的ツールとは?
-
10
NVIDIA、フアンCEO辞任で揺らぐ“AI帝国” IT調達計画への影響は?
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
AIが苦手な「汚いデータ」になっていない? AI投資を無駄にしないための注意点
-
3
急増する高度なフィッシング詐欺 先回りしてブロックするには何が必要?
-
4
法人向け光回線のプランはどう選ぶ? 機能面/保守体制/コストを一覧で比較
-
5
サイバー脅威「トップ50」完全解説ガイド、新たな攻撃手法に対抗するには
-
6
SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法
-
7
三井ホームに学ぶ「無線LAN環境」構築 快適なオフィスと高度なIT運用の両立法
-
8
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
9
自社のメール環境は本当に安全? チェックシートですぐ分かる“今必要な対策”
-
10
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー