Microsoftが「スマホで使える小型AI」を開発した理由 なぜLLMでは駄目なのか?小規模言語モデル(SLM)が台頭【前編】

Microsoftは小規模言語モデル(SLM)「Phi-3-mini」を2024年4月に発表した。開発に至った背景と、言語モデルの技術的な進展を解説する。

2024年06月22日 08時15分 公開
[Antone GonsalvesTechTarget]

関連キーワード

人工知能 | Google


 大規模言語モデル(LLM)のパラメーター(学習に使用する変数)の規模が巨大化し、複雑な自然言語処理タスクにおいて驚異的な性能を発揮するようになった。その能力に期待が集まる一方で、企業の間では小規模言語モデル(SLM)への関心も広がっている。

 Microsoftは2024年4月、小規模言語モデル(SLM)の「Phi-3-mini」を発表した。MicrosoftがSLMの開発に至った背景や、Phi-3-miniに見られる技術的な進展を解説する。

MicrosoftはなぜLLMではなくSLM「Phi-3-mini」を開発したのか

会員登録(無料)が必要です

 MicrosoftはPhi-3-miniの他、「Phi-3-small」「Phi-3-medium」を含めて計3つのSLMを発表している。パラメーター数はそれぞれ以下の通り。

  • Phi-3-mini
    • 38億個
  • Phi-3-small
    • 70億個
  • Phi-3-medium
    • 140億個

 Phi-3-miniは、MicrosoftのAI開発ツール「Azure AI Studio」およびAIベンダーHugging FaceのAI開発プラットフォーム「Hugging Face」から利用できる。Phi-3-smallとPhi-3-mediumは今後提供開始予定だ。

 企業が生成AIを手軽に使用できる手段として、Amazon Web Services(AWS)やGoogle、Microsoftなど大手ベンダーのサービスを利用することがある。しかし、数千億個ものパラメーターを備えるLLMの利用には、かなりのコストがかかる。このような背景から、企業はLLMのより安価な代替手段としてSLMの利用を検討している。

 今回のPhi-3-smallの発表は、「ユーザー企業はより幅広い言語モデルの選択肢を求めている」というMicrosoftの考えを反映したものだという。

 MicrosoftでAI担当バイスプレジデントを務めるルイス・バルガス氏は、「LLMではなく、SLMを必要とするユーザー企業もあれば、その両方を組み合わせて使用したいと考えるユーザー企業もある」と話している。

Phi-3-miniのすごさとは?

 Microsoftの研究者は2024年4月、技術レポ―ト「Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone」を公表。その中で、「Phi-3-miniの性能は、220億個のパラメーターを備える『GPT 3.5』や、450億個のパラメーターを備える『Mixtral 8x7B』に匹敵するレベル」だと主張している。

 レポートは、Appleの独自開発SoC(機能統合型半導体チップ)「A16 Bionic」を搭載したスマートフォン「iPhone 14」でPhi-3-miniを実行したことも報告している。メモリ使用量は1.8GBだったという。

 Microsoftの研究者は、Phi-3-miniが小型ながらもGPT 3.5などLLMに匹敵すると評価できる要因は、その学習方法にあると説明する。Phi-3-miniの学習には、インターネットから厳選して選んだWebデータと、LLMが生成した合成データを使用した。前者はモデルに一般的な知識を学習させるために、後者は論理的な推論スキルと専門的な知識やスキルを学習させるために使用した。

 Phi-3-miniは以下のような用途に使える。

  • 長い文書や市場調査レポートを要約する
  • マーケティング部門や営業部門が、製品説明やソーシャルメディア(SNS)への投稿内容を作成する
  • 顧客向けチャットbotに組み込み、製品やサービスに関する基本的な質問に回答する

 一方で、Phi-3-miniには課題もある。同モデルはLLMと同レベルの言語理解が可能だが、LLMのように大量の情報を格納することはできないという限界がある。Phi-3-miniは2024年6月時点で英語限定ということも注意点だ。


 後編は、生成AIのコストパフォーマンスに関する問題を取り上げる。

TechTarget発 先取りITトレンド

米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。

Copyright © ITmedia, Inc. All Rights Reserved.

新着ホワイトペーパー

市場調査・トレンド 日本オラクル株式会社

今後のAI活用はどう進化する? AIがビジネスにもたらす10の価値と活用例

昨今、多くの組織がAIエージェントや生成AIをビジネスに活用しつつある。今後はAIをどうビジネスに組み込んでいくかが、組織が飛躍するためのポイントになるだろう。そこで本資料では、AIがもたらす10のビジネス価値を解説する。

製品資料 株式会社Zendesk

FAQやチャットへのAI導入でカスタマーサービスを次世代化、CXはどれだけ高まる

顧客体験(CX)を向上させるための手段として、広く注目されつつあるAIだが、実際にFAQやチャット/チャットbotにAIを導入することで、CXはどれだけ高まるのか。次世代のカスタマーサービスの作り方と、そのメリットを探る。

製品資料 NECネッツエスアイ株式会社

Zoomの新機能はもう使っている? 動画で分かる「生成AI機能による資料作成」

営業資料や議事録といった資料作成において、生成AIへの期待が高まっている。中でも注目したいのがZoomの生成AI機能だ。会議データからの資料作成は、生成AI活用でどのように効率化されるのか。動画で紹介する。

製品資料 NECネッツエスアイ株式会社

生成AIが会議のキャッチアップをサポート、Zoomに搭載されたAI機能の活用術

ビジネスパーソンが直面する課題としてしばしば挙げられるのがオンライン会議における内容のキャッチアップだ。その解消に向け生成AIアシスタントへの期待が高まっている。そこでZoomに搭載されたAI機能を基に、その活用方法を紹介する。

製品資料 Splunk Services Japan合同会社

金融サービス業界のレジリエンス向上、AI活用の有効性とその実装方法とは

イノベーションの加速とともに、セキュリティやレジリエンスの維持などさまざまな課題が顕在化している金融サービス業界。課題の中身を確認しながら、その解決策として期待されるAI活用の有効性や実装方法を紹介する。

From Informa TechTarget

お知らせ
米国TechTarget Inc.とInforma Techデジタル事業が業務提携したことが発表されました。TechTargetジャパンは従来どおり、アイティメディア(株)が運営を継続します。これからも日本企業のIT選定に役立つ情報を提供してまいります。

ITmedia マーケティング新着記事

news026.png

「パーソナライゼーション」&「A/Bテスト」ツール売れ筋TOP5(2025年4月)
今週は、パーソナライゼーション製品と「A/Bテスト」ツールの国内売れ筋各TOP5を紹介し...

news130.jpg

Cookieを超える「マルチリターゲティング」 広告効果に及ぼす影響は?
Cookieレスの課題解決の鍵となる「マルチリターゲティング」を題材に、AI技術によるROI向...

news040.png

「マーケティングオートメーション」 国内売れ筋TOP10(2025年4月)
今週は、マーケティングオートメーション(MA)ツールの売れ筋TOP10を紹介します。