GPT、Geminiだけじゃない 押さえておきたい「主要LLM」8選はこれだ代表的なLLM19選を徹底解説【後編】

AI技術の急速な進化を支えているのは、各ベンダーが開発する多種多様なLLMだ。どのようなLLMがあるのか。主要LLMを8個取り上げ、それぞれの特徴や強みを紹介する。

2024年06月27日 08時30分 公開
[Ben LutkevichTechTarget]

 人工知能(AI)技術の進化に伴い、大規模言語モデル(LLM)は多様化の時代を迎えている。LLMは自然言語処理において飛躍的な性能向上を遂げるだけでなく、オープンソース化や軽量化をはじめとする多様な進化を見せている。

 注目に値するLLMはOpenAIの「GPT」や、Googleの「Gemini」だけではない。どのようなLLMが登場しているのか。前編に続き、主要LLM19種のうち12〜19個目を紹介する。

GPTやGeminiだけじゃない 押さえておきたい「主要LLM」8選

12.LaMDA

 2021年5月、GoogleのGoogle Brain部門はLLM「LaMDA」(Language Model for Dialogue Applications)を発表した。LaMDAは、深層学習(ディープラーニング)モデル「Transformer」と「Seq2Seq」(Sequence-to-Sequence)がベースになっており、大量のコーパス(AIモデルが分析可能な形式に構造化された自然言語のデータ)を用いてトレーニングされている。Seq2Seqは系列データを別の系列データに変換するモデルで、Googleが2014年に発表した。

 2022年、当時Googleでエンジニアとして働いていたブレイク・レモイン氏が「LaMDAには感情がある」と主張し、LaMDAへの世間の関心を集めた。

13.Llama

 「Llama」は、Meta Platformsが2023年2月に発表したオープンソースLLMで、Transformerをベースにしている。最大で650億個のパラメーターを備える。以下を含むさまざまな公開データでトレーニングしている。

  • 非営利団体Common Crawlの収集データ
  • ソースコード共有サービス「GitHub」のソースコード
  • Wikipedia
  • 著作権の切れた図書を電子化した電子図書館「Project Gutenberg」

 2023年3月、Llamaのデータがインターネットに流出した結果、さまざまな派生モデルの誕生につながった。その中には、オープンソースLLM「Vicuna-13B」やMicrosoftの小型言語モデル「Orca 2」などが含まれる。

14.Mistral

 2023年9月、フランスのAIスタートアップMistral AIはLLM「Mistral 7B」を発表した。70億個のパラメーターを備え、「Apache License 2.0」で公開されている。さまざまなベンチマークにおいて、同サイズのLLMであるLlama 2を上回る評価を出している。

 タスクによって最適なモデルを使い分ける「スパース混合エキスパート」(MoE:Mixture of Experts)手法を採用しており、効率的なタスク処理を実現する。

 Mistralは小型のLLMであるため、企業が用意したインフラでモデルを運用するセルフホストが可能。特定タスク向けに独自のトレーニングをする「ファインチューニング」ができるバージョンも存在する。

15.Orca 2

 Microsoftは2023年11月、小型の言語モデルとしてOrca 2を発表した。パラメーター数は130億個と小型のため、ノートPCで稼働できる。Llama 2をベースにファインチューニングが実施されており、OpenAIのLLM「GPT-4」と同等もしくはそれ以上の性能を発揮するとされる。

16.PaLM

 2022年4月、GoogleはTransformerベースのLLM「PaLM」(Pathways Language Model)を発表した。5400億個のパラメーターを持ち、GoogleのAIプロセッサ「Cloud TPU v4」6144台を用いてトレーニングされたPaLMは、コーディングや計算、分類、質問への回答など幅広いタスクを処理できる。同社は2023年5月に発表した「PaLM 2」を、AIチャットbot「Gemini」(旧称「Bard」)に搭載した。

 健康・医療情報向けの「Med-PaLM 2」や、セキュリティ向けの「Sec-PaLM」など、特定タスク向けにファインチューニングされたバージョンも存在する。

17.Phi-1

 2023年6月にMicrosoftが発表した「Phi-1」は、TransformerベースのLLM。パラメーター数はわずか13億個、トレーニングにかかった日数は4日間なのにもかかわらず、一部のベンチマークではOpenAIのLLM「GPT3.5」を上回る性能を見せている。

 Phi-1は、高品質のデータや「シンセティックデータ」(人工的に作成された、個人を特定可能な情報とリンクしていないデータ)を用いてトレーニングされた、小型言語モデルの一例だ。電気自動車(EV)メーカーTeslaの元AIディレクターで、OpenAIの従業員でもあるアンドレイ・カルパシー氏は、今後のトレンドとして以下を挙げる。

  • データの量ではなく質と多様性の重視
  • シンセティックデータの生成と活用
  • 高性能かつ専門性のある小型モデルの登場

 2024年4月には、小型軽量モデル「Phi-3 Mini」を公開。利用時やテストに必要な計算能力を抑えつつ、同サイズ帯のモデルに劣らない性能を発揮する。

18.Stable LM

 画像生成AI「Stable Diffusion XL」で知られるAIベンダーStability.AIは、2023年4月、オープンソースLLM「Stable LM」を発表した。16億個のパラメーターを持つ小型言語モデルの「Stable LM 2 1.6B」や、120億個のパラメーターを持つLLM「Stable LM 2 12B」などがある。透明性やアクセス容易性、サポートの充実性に優れた言語モデルを目指している。

19.Vicuna 33B

 「Vicuna 33B」は、Llamaから派生したオープンソースLLMだ。カリフォルニア大学バークレー校(University of California, Berkeley)の学生と教員が設立した研究組織LMSYSによって開発された。

 Vicuna 33Bは、「ShareGPT」のデータを使ってファインチューニングされている。これは、OpenAIのAIチャットbot「ChatGPT」とそのユーザーの対話内容を記録した共有サービスだ。パラメーター数は330億個。複数のベンチマークで、同サイズの言語モデルを上回る性能を見せている。

TechTarget発 先取りITトレンド

米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。

ITmedia マーケティング新着記事

news035.jpg

低迷するナイキやアディダスを猛追する「HOKA」の “破壊的”ブランディングとは?
ランナーの間で好感度が低迷しているNikeに対し、ディスラプター(破壊的企業)として取...

news051.jpg

新紙幣の発行、3社に1社が日本経済に「プラスの影響」と回答――帝国データバンク調査
20年ぶりの新紙幣発行は日本経済にどのような影響を及ぼすのでしょうか。帝国データバン...

news196.png

WPPとIBMが生成AIを活用したB2Bマーケティング領域で連携
IBMのビジネス向けAIおよびデータプラットフォームである「watsonx」の機能を「WPP Open...