調査会社Gartnerは、2024年8月に発表したレポート「Explore Small Language Models for Specific AI Scenarios」の中で、言語モデルにおける「小規模」と「大規模」の定義がこれまでどのように変化してきたかを解説している。

　レポートによると、以下のようなLLMのパラメーター（AIモデルの振る舞いを決定する変数）は5000億から2兆程度と推定されている。

• OpenAIの「GPT-4」
• Googleの「Gemini 1.5」
• Metaの「Llama 3.1 405B」
• Anthropicの「Claude 3 Opus」

　一方、以下のようなAIモデルは100億以下のパラメーター数を備えると推定されており、SLMに分類される。

• Mistral.AIの「Mistral 7B」
• Microsoftの「Phi-3-mini 3.8B」「Phi-3-small 7B」
• Metaの「Llama 3.1 8B」
• Googleの「Gemma 2 9B」

　Gartnerは、SLMとLLMが必要とするコンピューティングリソースの比較を紹介している。例えば、80億パラメーターを持つ「Llama 3 8B」はGPU（グラフィックス処理装置）27.8GBのメモリを必要とするのに対し、700億パラメーターを持つ「Llama 3 70B」は160GBを必要とする。

　必要なGPUメモリの容量が大きくなるほど、コストも増大する。昨今のGPU価格を基に試算すると、6700億のパラメーターを備えるAIモデル「DeepSeek-R1」をメモリで稼働させるためには、10万ドル（約1450万円）超のサーバが必要となる。

　LLMの備えるパラメーター数はSLMの数倍に上るとされる。一般的に、パラメーター数の少ないAIモデルは回答精度や汎用性が劣る傾向がある。SLMでは特定の問いに対して適切な回答を得られないケースもある。

　こうしたSLMの弱点を補う手法として注目されているのが、知識の蒸留だ。蒸留とは、大規模モデルから学習した知識を、小規模モデルのトレーニングに活用する手法を指す。SLMの応答精度や推論能力を向上させつつ、トレーニングや推論に必要な計算リソースを大幅に抑えることができる。

　企業向けAIサービスを提供するDomino Data Labでフィールドチーフデータサイエンティストを務めるジャロッド・ボードリー氏は次のように話す。「この知識移転の仕組みにより、一部のLLMユーザーだけでなく、より幅広いユーザーが高度な言語処理能力を利用できるようになる」。知識蒸留を経たSLMは、LLMに比べてわずかな計算リソースで、LLMと同程度の応答と推論を実現できるようになる。

　ボードリー氏は、LLMからSLMへの蒸留プロセスを次のように解説する。まず、事前学習済みのLLMが「教師モデル」として機能する。次に、その知識を引き継ぐ「生徒モデル」がある。SLMは通常、パラメーターをランダムに設定した状態か、簡易的な事前学習を終えた状態からトレーニングを開始することが一般的だ。

　蒸留に当たっては、ラベル付きデータセットなどの構造化データと、自然言語データ（会話、文書、ソースコードなど）といった非構造化データの両方を活用する。蒸留の具体的なやり方には以下のようなものがある。

• 応答ベースの知識蒸留
  • SLMがLLMの出力分布を模倣できるよう、最終的な応答結果に重点を置いて学習を行う手法。対象となるコーパス（言語情報）全体で、LLMの出力と高い一致度を保つことを目指す。
• 特徴ベースの知識蒸留
  • 単に回答を再現するのではなく、SLMが推論プロセスの各段階で、教師モデルの内部的な特徴や思考の流れを模倣する。これにより、出力の再現にとどまらない「思考様式の継承」が可能となる。
• 多段階の知識蒸留
  • 知識を段階的に簡略化しながら転移していく手法。例えば、LLMが中間的なモデル（準教師）に知識を伝え、そこからさらにSLMに知識を引き継ぐ。

　次回は、SLMの実用性について考察する。