AI技術の急速な進化を支えているのは、各ベンダーが開発する多種多様なLLMだ。どのようなLLMがあるのか。主要LLMを8個取り上げ、それぞれの特徴や強みを紹介する。
人工知能（AI）技術の進化に伴い、大規模言語モデル（LLM）は多様化の時代を迎えている。LLMは自然言語処理において飛躍的な性能向上を遂げるだけでなく、オープンソース化や軽量化をはじめとする多様な進化を見せている。
注目に値するLLMはOpenAIの「GPT」や、Googleの「Gemini」だけではない。どのようなLLMが登場しているのか。前編に続き、主要LLM19種のうち12〜19個目を紹介する。
2021年5月、GoogleのGoogle Brain部門はLLM「LaMDA」（Language Model for Dialogue Applications）を発表した。LaMDAは、深層学習（ディープラーニング）モデル「Transformer」と「Seq2Seq」（Sequence-to-Sequence）がベースになっており、大量のコーパス（AIモデルが分析可能な形式に構造化された自然言語のデータ）を用いてトレーニングされている。Seq2Seqは系列データを別の系列データに変換するモデルで、Googleが2014年に発表した。
2022年、当時Googleでエンジニアとして働いていたブレイク・レモイン氏が「LaMDAには感情がある」と主張し、LaMDAへの世間の関心を集めた。
「Llama」は、Meta Platformsが2023年2月に発表したオープンソースLLMで、Transformerをベースにしている。最大で650億個のパラメーターを備える。以下を含むさまざまな公開データでトレーニングしている。
2023年3月、Llamaのデータがインターネットに流出した結果、さまざまな派生モデルの誕生につながった。その中には、オープンソースLLM「Vicuna-13B」やMicrosoftの小型言語モデル「Orca 2」などが含まれる。
2023年9月、フランスのAIスタートアップMistral AIはLLM「Mistral 7B」を発表した。70億個のパラメーターを備え、「Apache License 2.0」で公開されている。さまざまなベンチマークにおいて、同サイズのLLMであるLlama 2を上回る評価を出している。
タスクによって最適なモデルを使い分ける「スパース混合エキスパート」（MoE：Mixture of Experts）手法を採用しており、効率的なタスク処理を実現する。
Mistralは小型のLLMであるため、企業が用意したインフラでモデルを運用するセルフホストが可能。特定タスク向けに独自のトレーニングをする「ファインチューニング」ができるバージョンも存在する。
Microsoftは2023年11月、小型の言語モデルとしてOrca 2を発表した。パラメーター数は130億個と小型のため、ノートPCで稼働できる。Llama 2をベースにファインチューニングが実施されており、OpenAIのLLM「GPT-4」と同等もしくはそれ以上の性能を発揮するとされる。
2022年4月、GoogleはTransformerベースのLLM「PaLM」（Pathways Language Model）を発表した。5400億個のパラメーターを持ち、GoogleのAIプロセッサ「Cloud TPU v4」6144台を用いてトレーニングされたPaLMは、コーディングや計算、分類、質問への回答など幅広いタスクを処理できる。同社は2023年5月に発表した「PaLM 2」を、AIチャットbot「Gemini」（旧称「Bard」）に搭載した。
健康・医療情報向けの「Med-PaLM 2」や、セキュリティ向けの「Sec-PaLM」など、特定タスク向けにファインチューニングされたバージョンも存在する。
2023年6月にMicrosoftが発表した「Phi-1」は、TransformerベースのLLM。パラメーター数はわずか13億個、トレーニングにかかった日数は4日間なのにもかかわらず、一部のベンチマークではOpenAIのLLM「GPT3.5」を上回る性能を見せている。
Phi-1は、高品質のデータや「シンセティックデータ」（人工的に作成された、個人を特定可能な情報とリンクしていないデータ）を用いてトレーニングされた、小型言語モデルの一例だ。電気自動車（EV）メーカーTeslaの元AIディレクターで、OpenAIの従業員でもあるアンドレイ・カルパシー氏は、今後のトレンドとして以下を挙げる。
2024年4月には、小型軽量モデル「Phi-3 Mini」を公開。利用時やテストに必要な計算能力を抑えつつ、同サイズ帯のモデルに劣らない性能を発揮する。
画像生成AI「Stable Diffusion XL」で知られるAIベンダーStability.AIは、2023年4月、オープンソースLLM「Stable LM」を発表した。16億個のパラメーターを持つ小型言語モデルの「Stable LM 2 1.6B」や、120億個のパラメーターを持つLLM「Stable LM 2 12B」などがある。透明性やアクセス容易性、サポートの充実性に優れた言語モデルを目指している。
「Vicuna 33B」は、Llamaから派生したオープンソースLLMだ。カリフォルニア大学バークレー校（University of California, Berkeley）の学生と教員が設立した研究組織LMSYSによって開発された。
Vicuna 33Bは、「ShareGPT」のデータを使ってファインチューニングされている。これは、OpenAIのAIチャットbot「ChatGPT」とそのユーザーの対話内容を記録した共有サービスだ。パラメーター数は330億個。複数のベンチマークで、同サイズの言語モデルを上回る性能を見せている。
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
お知らせ
米国TechTarget Inc.とInforma Techデジタル事業が業務提携したことが発表されました。TechTargetジャパンは従来どおり、アイティメディア（株）が運営を継続します。これからも日本企業のIT選定に役立つ情報を提供してまいります。
「ECプラットフォーム」売れ筋TOP10（2025年3月）
今週は、ECプラットフォーム製品（ECサイト構築ツール）の国内売れ筋TOP10を紹介します。
Androidの偽アプリを使った新たな広告詐欺、広告主にもユーザーにも大迷惑な手口とは？
疑いを持たないユーザーと広告ネットワークを巧みに悪用する、高度に組織化された広告詐...
在任期間は短くても将来は明るい？ データが示すCMO職のさらなる出世の可能性
CMOの約3分の2はポジションを離れた後、社内で昇進するか、他のブランドで同等またはより...
ITmediaはアイティメディア株式会社の登録商標です。
