ローカルAIとは、AIモデルを外部のクラウドサービスだけに依存せず、PCやスマートフォン、社内サーバ、オンプレミス環境などで動かす考え方だ。

　従来、性能の高い生成AIモデルを利用するには、大規模なデータセンターの計算資源が必要だった。しかし、モデルの小型化や量子化、推論処理の最適化が進み、PCやスマートフォンでも実用的な性能のモデルを動かせるようになりつつある。

　パネルディスカッションでは、かつてデータセンターで提供されていた水準のAIモデルをスマートフォンで動かせるようになった例や、数千億パラメーター規模のモデルを卓上に設置できる複数のコンピュータで実行する例が紹介された。

　EXO Labsの共同創業者兼CEOであるアレックス・チーマ氏は、モデルの圧縮技術やハードウェア性能が向上することで、今後はより小さな端末で、より高性能なモデルを動かせるようになると予測する。

　ただし、ローカルAIが注目される理由は、単に「端末でAIを動かせるようになったから」だけではない。AIの使われ方そのものが変化していることも重要な要素だ。

AIエージェントの常時稼働で浮上する2つの課題

　生成AIの利用は、AIチャットbotに質問して回答を受け取るだけのものから、複数の作業を自律的に実行するAIエージェントへと広がっている。

　AIエージェントにファイルシステムや業務システムへのアクセス権限を与えれば、ソースコードを読み取って修正したり、社内データを検索して資料を作成したりできる。将来的には、ユーザーが指示するたびに起動するのではなく、常時稼働して継続的に業務を処理する使い方も増える可能性がある。

　こうした使い方では、主に次の2つが課題になる。

　1つ目は情報の管理だ。AIが高機能になるほど、企業はソースコードや技術情報、顧客データなど、より重要な情報をAIに渡したくなる。しかし、外部のクラウドサービスへデータを送信する場合、保管場所や二次利用の有無、アクセス権限、契約条件などを確認しなければならない。

　ローカル環境で処理を完結できれば、データを企業の管理下に置きやすい。ネットワークから切り離した環境で動かせば、機密情報を外部へ送らずにAIを利用する構成も可能になる。

　2つ目はコストだ。AIエージェントが常時稼働し、大量のトークンを継続的に生成すれば、従量課金型のクラウドAIでは利用料金が膨らみやすい。

　ローカルAIも、ハードウェアの購入費や電力費、保守費がかかるため、必ず安価になるわけではない。ただし、一定の設備投資で処理能力を確保できれば、トークン利用量に応じて料金が増え続ける構造を避けられる可能性がある。

企業が求めるのは「全てを1つのモデルに任せない」構成

　登壇者が繰り返し言及したのが、用途に応じて複数のAIモデルを使い分ける「マルチモデル」の考え方だ。

　最も高性能なAIモデルを全ての業務に利用する必要はない。高度な推論が必要な計画立案は高性能モデルに任せ、定型的なコード生成や文書処理は小型モデルに実行させるといった役割分担が考えられる。

　例えば、上位のモデルが作業全体の計画を作成し、その計画を複数の小さなタスクに分解する。個々のタスクは、低コストのモデルやローカル環境のモデルが実行する。この方法であれば、高性能モデルの利用を必要な部分に絞りながら、AIの処理量を増やせる。

　企業にとっては、モデルを使い分けることでコストを抑えられるだけでなく、特定のAIサービスへの依存も避けやすくなる。

　クラウドAIの提供企業がモデルの仕様や利用条件を変更すれば、同じ指示を与えても出力が変わる可能性がある。サービスが終了したり、利用できる用途が制限されたりするリスクもある。

　ローカル環境でモデルの重みやバージョン、実行基盤を管理すれば、企業自身が更新の時期を選択できる。システムの動作を再現するために、特定バージョンを固定して運用することも可能だ。

汎用（はんよう）モデルより「小型・特化型モデル」が適する場合も

　ローカルAIでは、あらゆる質問に答えられる巨大な汎用モデルだけでなく、特定の業務に絞った小型モデルが重要になる。

　Roboflowの共同創業者兼CEOであるジョセフ・ネルソン氏は、画像認識分野では以前から、限られた計算資源でモデルを動かす必要があったと説明した。ロボットやカメラ、通信環境が不安定な場所で利用する場合、データセンターと同等の計算資源は使うことができない。

　そのため画像認識では、世界中のあらゆる物体を識別するモデルよりも、工場の製品や海中の生物など、対象を限定したモデルが使われてきた。

　同様の動きは言語モデルでも進む可能性がある。税務、法務、プログラミング、社内問い合わせなど、用途を絞れば、巨大なモデルを使わなくても十分な精度を得られることがある。

　他にも、高性能な汎用モデルを使ってデータを分類、整理し、その結果を基に小型モデルを学習させる方法もあるという。

　Roboflowの事例では、海中の映像を大規模な画像認識モデルで解析し、複数のモデルによる判断を基に学習用データを作成する。その後、深海生物の識別に特化した小型モデルを作り、潜水艇などの限られた計算環境で動かすという。

　つまり、クラウドの高性能モデルとローカルの小型モデルは、どちらか一方を選ぶ関係ではない。高性能モデルを利用して業務やデータを整理し、そこで得た知見を基に、効率的なローカルモデルへ移行する構成も考えられる。

導入を阻むのは性能よりも「使いにくさ」

　ローカルAIの性能は向上しつつある。一方、一般企業が簡単に利用できる段階には至っていないとの指摘もある。

　ローカルAIを動かすには、利用するモデルだけでなく、ハードウェアの性能、メモリ容量、量子化方式、推論エンジン、ドライバなどを組み合わせなければならない。モデルによって必要な環境や最適な設定も異なる。

　AI関連の情報を発信するマット・バーマン氏は、ローカルAIが広く普及するには、ソフトウェアを開いてすぐ利用できる程度まで操作を簡単にする必要があると指摘する。

　ユーザーにモデルの種類や量子化方式を選ばせるのではなく、端末の性能を自動的に判定し、動作するモデルを選んでダウンロードする仕組みだ。ユーザーが実行したい業務に応じて、適切なモデルへ自動的に処理を振り分ける「モデルルーティング」も必要になる。

　これは情報システム部門（以下、情シス）にとって重要な論点だ。ローカルAIを導入しても、ユーザーごとに複雑な環境構築が必要であれば、問い合わせや保守作業が増え、情シスの負担は増加する恐れがある。

　製品を選定する際は、モデルの性能だけでなく、端末の自動判定やモデル配布、更新管理、監視、障害対応をどこまで自動化できるかを確認する必要がある。

NVIDIAとEXO Labsは推論性能を10倍に

　ローカルAIでは、同じハードウェアとモデルを利用しても、ソフトウェアの設定によって性能が変わる。

　EXO LabsとNVIDIAは、卓上型AIコンピュータ「DGX Spark」でモデルを効率的に動かすため、共同で最適化に取り組んでいる。推論基盤や量子化、モデルの設定を調整した結果、既存の構成と比べて約10倍の性能向上を実現したという。

　新しいアルゴリズムを発明したのではなく、NVIDIAが既に持っていた最適化技術を、ローカル環境向けに組み合わせ、設定を調整した結果だ。

　データセンター向けに最適化された設定を、そのまま小型の端末へ適用しても、ハードウェアの性能を十分に引き出せるとは限らない。ローカルAIを導入する場合、モデルの選定だけでなく、実行環境全体を最適化する技術が必要になる。

　一方で、企業ごとにこうした作業を繰り返すのは現実的ではない。ハードウェア別の最適化やモデルの配布、設定を自動化するソフトウェア基盤の整備が、ローカルAI普及の鍵になる。

情シスは「どの業務をローカル化するか」を見極める

　ローカルAIは、全てのクラウドAIを置き換えるものではない。高性能モデルを短期間だけ使う場合や、利用量が少ない場合は、クラウドサービスの方が導入しやすく、費用も抑えられる可能性がある。

　一方、機密性の高いデータを扱う業務や、AIエージェントを長時間稼働させる業務、応答遅延を小さくしたい業務では、ローカルAIが適する可能性がある。

　情シスは、まずAIの利用状況を把握し、どの業務がどのモデルを利用し、どのようなデータを処理しているのかを記録する必要がある。利用履歴やユーザーからの評価を蓄積すれば、どの業務を小型モデルへ移せるか、どの業務に高性能モデルが必要かを判断しやすくなる。

　検討すべき項目には、データの機密性、必要な応答速度、利用頻度、トークン量、モデルの更新頻度、ハードウェアの調達費、運用担当者のスキルなどがある。

　ローカルAIの価値は、単にAIを社内で動かすことではない。モデルやデータ、実行環境を企業自身が管理し、用途や予算に応じて組み替えられる点にある。

　ただし、その自由度は運用の複雑さと表裏一体だ。ローカルAIを導入する情シスには、性能の高いモデルを探すだけでなく、クラウドAIとの役割分担、モデルの更新管理、ユーザーが意識せず使える仕組みまで含めて設計することが求められる。

本稿は、AI Engineerが2026年7月12日に公開した動画「Why Local, Why Now―NVIDIA, Osmantic, Roboflow, EXO Labs, @matthew_berman」を基に作成しました。