12．LaMDA

　2021年5月、GoogleのGoogle Brain部門はLLM「LaMDA」（Language Model for Dialogue Applications）を発表した。LaMDAは、深層学習（ディープラーニング）モデル「Transformer」と「Seq2Seq」（Sequence-to-Sequence）がベースになっており、大量のコーパス（AIモデルが分析可能な形式に構造化された自然言語のデータ）を用いてトレーニングされている。Seq2Seqは系列データを別の系列データに変換するモデルで、Googleが2014年に発表した。

　2022年、当時Googleでエンジニアとして働いていたブレイク・レモイン氏が「LaMDAには感情がある」と主張し、LaMDAへの世間の関心を集めた。

13．Llama

　「Llama」は、Meta Platformsが2023年2月に発表したオープンソースLLMで、Transformerをベースにしている。最大で650億個のパラメーターを備える。以下を含むさまざまな公開データでトレーニングしている。

• 非営利団体Common Crawlの収集データ
• ソースコード共有サービス「GitHub」のソースコード
• Wikipedia
• 著作権の切れた図書を電子化した電子図書館「Project Gutenberg」

　2023年3月、Llamaのデータがインターネットに流出した結果、さまざまな派生モデルの誕生につながった。その中には、オープンソースLLM「Vicuna-13B」やMicrosoftの小型言語モデル「Orca 2」などが含まれる。

14．Mistral

　2023年9月、フランスのAIスタートアップMistral AIはLLM「Mistral 7B」を発表した。70億個のパラメーターを備え、「Apache License 2.0」で公開されている。さまざまなベンチマークにおいて、同サイズのLLMであるLlama 2を上回る評価を出している。

　タスクによって最適なモデルを使い分ける「スパース混合エキスパート」（MoE：Mixture of Experts）手法を採用しており、効率的なタスク処理を実現する。

　Mistralは小型のLLMであるため、企業が用意したインフラでモデルを運用するセルフホストが可能。特定タスク向けに独自のトレーニングをする「ファインチューニング」ができるバージョンも存在する。

15．Orca 2

　Microsoftは2023年11月、小型の言語モデルとしてOrca 2を発表した。パラメーター数は130億個と小型のため、ノートPCで稼働できる。Llama 2をベースにファインチューニングが実施されており、OpenAIのLLM「GPT-4」と同等もしくはそれ以上の性能を発揮するとされる。

16．PaLM

　2022年4月、GoogleはTransformerベースのLLM「PaLM」（Pathways Language Model）を発表した。5400億個のパラメーターを持ち、GoogleのAIプロセッサ「Cloud TPU v4」6144台を用いてトレーニングされたPaLMは、コーディングや計算、分類、質問への回答など幅広いタスクを処理できる。同社は2023年5月に発表した「PaLM 2」を、AIチャットbot「Gemini」（旧称「Bard」）に搭載した。

　健康・医療情報向けの「Med-PaLM 2」や、セキュリティ向けの「Sec-PaLM」など、特定タスク向けにファインチューニングされたバージョンも存在する。

17．Phi-1

　2023年6月にMicrosoftが発表した「Phi-1」は、TransformerベースのLLM。パラメーター数はわずか13億個、トレーニングにかかった日数は4日間なのにもかかわらず、一部のベンチマークではOpenAIのLLM「GPT3.5」を上回る性能を見せている。

　Phi-1は、高品質のデータや「シンセティックデータ」（人工的に作成された、個人を特定可能な情報とリンクしていないデータ）を用いてトレーニングされた、小型言語モデルの一例だ。電気自動車（EV）メーカーTeslaの元AIディレクターで、OpenAIの従業員でもあるアンドレイ・カルパシー氏は、今後のトレンドとして以下を挙げる。

• データの量ではなく質と多様性の重視
• シンセティックデータの生成と活用
• 高性能かつ専門性のある小型モデルの登場

　2024年4月には、小型軽量モデル「Phi-3 Mini」を公開。利用時やテストに必要な計算能力を抑えつつ、同サイズ帯のモデルに劣らない性能を発揮する。

18．Stable LM

　画像生成AI「Stable Diffusion XL」で知られるAIベンダーStability.AIは、2023年4月、オープンソースLLM「Stable LM」を発表した。16億個のパラメーターを持つ小型言語モデルの「Stable LM 2 1.6B」や、120億個のパラメーターを持つLLM「Stable LM 2 12B」などがある。透明性やアクセス容易性、サポートの充実性に優れた言語モデルを目指している。

19．Vicuna 33B

　「Vicuna 33B」は、Llamaから派生したオープンソースLLMだ。カリフォルニア大学バークレー校（University of California, Berkeley）の学生と教員が設立した研究組織LMSYSによって開発された。

　Vicuna 33Bは、「ShareGPT」のデータを使ってファインチューニングされている。これは、OpenAIのAIチャットbot「ChatGPT」とそのユーザーの対話内容を記録した共有サービスだ。パラメーター数は330億個。複数のベンチマークで、同サイズの言語モデルを上回る性能を見せている。