Microsoftが「スマホで使える小型AI」を開発した理由 なぜLLMでは駄目なのか？：小規模言語モデル（SLM）が台頭【前編】
Microsoftは小規模言語モデル（SLM）「Phi-3-mini」を2024年4月に発表した。開発に至った背景と、言語モデルの技術的な進展を解説する。
大規模言語モデル（LLM）のパラメーター（学習に使用する変数）の規模が巨大化し、複雑な自然言語処理タスクにおいて驚異的な性能を発揮するようになった。その能力に期待が集まる一方で、企業の間では小規模言語モデル（SLM）への関心も広がっている。
Microsoftは2024年4月、小規模言語モデル（SLM）の「Phi-3-mini」を発表した。MicrosoftがSLMの開発に至った背景や、Phi-3-miniに見られる技術的な進展を解説する。
MicrosoftはなぜLLMではなくSLM「Phi-3-mini」を開発したのか
MicrosoftはPhi-3-miniの他、「Phi-3-small」「Phi-3-medium」を含めて計3つのSLMを発表している。パラメーター数はそれぞれ以下の通り。
- Phi-3-mini
- 38億個
- Phi-3-small
- 70億個
- Phi-3-medium
- 140億個
Phi-3-miniは、MicrosoftのAI開発ツール「Azure AI Studio」およびAIベンダーHugging FaceのAI開発プラットフォーム「Hugging Face」から利用できる。Phi-3-smallとPhi-3-mediumは今後提供開始予定だ。
企業が生成AIを手軽に使用できる手段として、Amazon Web Services（AWS）やGoogle、Microsoftなど大手ベンダーのサービスを利用することがある。しかし、数千億個ものパラメーターを備えるLLMの利用には、かなりのコストがかかる。このような背景から、企業はLLMのより安価な代替手段としてSLMの利用を検討している。
今回のPhi-3-smallの発表は、「ユーザー企業はより幅広い言語モデルの選択肢を求めている」というMicrosoftの考えを反映したものだという。
MicrosoftでAI担当バイスプレジデントを務めるルイス・バルガス氏は、「LLMではなく、SLMを必要とするユーザー企業もあれば、その両方を組み合わせて使用したいと考えるユーザー企業もある」と話している。
Phi-3-miniのすごさとは？
Microsoftの研究者は2024年4月、技術レポ―ト「Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone」を公表。その中で、「Phi-3-miniの性能は、220億個のパラメーターを備える『GPT 3.5』や、450億個のパラメーターを備える『Mixtral 8x7B』に匹敵するレベル」だと主張している。
レポートは、Appleの独自開発SoC（機能統合型半導体チップ）「A16 Bionic」を搭載したスマートフォン「iPhone 14」でPhi-3-miniを実行したことも報告している。メモリ使用量は1.8GBだったという。
Microsoftの研究者は、Phi-3-miniが小型ながらもGPT 3.5などLLMに匹敵すると評価できる要因は、その学習方法にあると説明する。Phi-3-miniの学習には、インターネットから厳選して選んだWebデータと、LLMが生成した合成データを使用した。前者はモデルに一般的な知識を学習させるために、後者は論理的な推論スキルと専門的な知識やスキルを学習させるために使用した。
Phi-3-miniは以下のような用途に使える。
- 長い文書や市場調査レポートを要約する
- マーケティング部門や営業部門が、製品説明やソーシャルメディア（SNS）への投稿内容を作成する
- 顧客向けチャットbotに組み込み、製品やサービスに関する基本的な質問に回答する
一方で、Phi-3-miniには課題もある。同モデルはLLMと同レベルの言語理解が可能だが、LLMのように大量の情報を格納することはできないという限界がある。Phi-3-miniは2024年6月時点で英語限定ということも注意点だ。
後編は、生成AIのコストパフォーマンスに関する問題を取り上げる。
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.