GPT、Geminiだけじゃない 押さえておきたい「主要LLM」8選はこれだ：代表的なLLM19選を徹底解説【後編】
AI技術の急速な進化を支えているのは、各ベンダーが開発する多種多様なLLMだ。どのようなLLMがあるのか。主要LLMを8個取り上げ、それぞれの特徴や強みを紹介する。
人工知能（AI）技術の進化に伴い、大規模言語モデル（LLM）は多様化の時代を迎えている。LLMは自然言語処理において飛躍的な性能向上を遂げるだけでなく、オープンソース化や軽量化をはじめとする多様な進化を見せている。
注目に値するLLMはOpenAIの「GPT」や、Googleの「Gemini」だけではない。どのようなLLMが登場しているのか。前編に続き、主要LLM19種のうち12〜19個目を紹介する。
GPTやGeminiだけじゃない 押さえておきたい「主要LLM」8選
併せて読みたいお薦め記事
連載：代表的なLLM19選を徹底解説
LLMについて深堀り
12．LaMDA
2021年5月、GoogleのGoogle Brain部門はLLM「LaMDA」（Language Model for Dialogue Applications）を発表した。LaMDAは、深層学習（ディープラーニング）モデル「Transformer」と「Seq2Seq」（Sequence-to-Sequence）がベースになっており、大量のコーパス（AIモデルが分析可能な形式に構造化された自然言語のデータ）を用いてトレーニングされている。Seq2Seqは系列データを別の系列データに変換するモデルで、Googleが2014年に発表した。
2022年、当時Googleでエンジニアとして働いていたブレイク・レモイン氏が「LaMDAには感情がある」と主張し、LaMDAへの世間の関心を集めた。
13．Llama
「Llama」は、Meta Platformsが2023年2月に発表したオープンソースLLMで、Transformerをベースにしている。最大で650億個のパラメーターを備える。以下を含むさまざまな公開データでトレーニングしている。
- 非営利団体Common Crawlの収集データ
- ソースコード共有サービス「GitHub」のソースコード
- Wikipedia
- 著作権の切れた図書を電子化した電子図書館「Project Gutenberg」
2023年3月、Llamaのデータがインターネットに流出した結果、さまざまな派生モデルの誕生につながった。その中には、オープンソースLLM「Vicuna-13B」やMicrosoftの小型言語モデル「Orca 2」などが含まれる。
14．Mistral
2023年9月、フランスのAIスタートアップMistral AIはLLM「Mistral 7B」を発表した。70億個のパラメーターを備え、「Apache License 2.0」で公開されている。さまざまなベンチマークにおいて、同サイズのLLMであるLlama 2を上回る評価を出している。
タスクによって最適なモデルを使い分ける「スパース混合エキスパート」（MoE：Mixture of Experts）手法を採用しており、効率的なタスク処理を実現する。
Mistralは小型のLLMであるため、企業が用意したインフラでモデルを運用するセルフホストが可能。特定タスク向けに独自のトレーニングをする「ファインチューニング」ができるバージョンも存在する。
15．Orca 2
Microsoftは2023年11月、小型の言語モデルとしてOrca 2を発表した。パラメーター数は130億個と小型のため、ノートPCで稼働できる。Llama 2をベースにファインチューニングが実施されており、OpenAIのLLM「GPT-4」と同等もしくはそれ以上の性能を発揮するとされる。
16．PaLM
2022年4月、GoogleはTransformerベースのLLM「PaLM」（Pathways Language Model）を発表した。5400億個のパラメーターを持ち、GoogleのAIプロセッサ「Cloud TPU v4」6144台を用いてトレーニングされたPaLMは、コーディングや計算、分類、質問への回答など幅広いタスクを処理できる。同社は2023年5月に発表した「PaLM 2」を、AIチャットbot「Gemini」（旧称「Bard」）に搭載した。
健康・医療情報向けの「Med-PaLM 2」や、セキュリティ向けの「Sec-PaLM」など、特定タスク向けにファインチューニングされたバージョンも存在する。
17．Phi-1
2023年6月にMicrosoftが発表した「Phi-1」は、TransformerベースのLLM。パラメーター数はわずか13億個、トレーニングにかかった日数は4日間なのにもかかわらず、一部のベンチマークではOpenAIのLLM「GPT3.5」を上回る性能を見せている。
Phi-1は、高品質のデータや「シンセティックデータ」（人工的に作成された、個人を特定可能な情報とリンクしていないデータ）を用いてトレーニングされた、小型言語モデルの一例だ。電気自動車（EV）メーカーTeslaの元AIディレクターで、OpenAIの従業員でもあるアンドレイ・カルパシー氏は、今後のトレンドとして以下を挙げる。
- データの量ではなく質と多様性の重視
- シンセティックデータの生成と活用
- 高性能かつ専門性のある小型モデルの登場
2024年4月には、小型軽量モデル「Phi-3 Mini」を公開。利用時やテストに必要な計算能力を抑えつつ、同サイズ帯のモデルに劣らない性能を発揮する。
18．Stable LM
画像生成AI「Stable Diffusion XL」で知られるAIベンダーStability.AIは、2023年4月、オープンソースLLM「Stable LM」を発表した。16億個のパラメーターを持つ小型言語モデルの「Stable LM 2 1.6B」や、120億個のパラメーターを持つLLM「Stable LM 2 12B」などがある。透明性やアクセス容易性、サポートの充実性に優れた言語モデルを目指している。
19．Vicuna 33B
「Vicuna 33B」は、Llamaから派生したオープンソースLLMだ。カリフォルニア大学バークレー校（University of California, Berkeley）の学生と教員が設立した研究組織LMSYSによって開発された。
Vicuna 33Bは、「ShareGPT」のデータを使ってファインチューニングされている。これは、OpenAIのAIチャットbot「ChatGPT」とそのユーザーの対話内容を記録した共有サービスだ。パラメーター数は330億個。複数のベンチマークで、同サイズの言語モデルを上回る性能を見せている。
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.