AI技術の急速な進化を支えているのは、各ベンダーが開発する多種多様なLLMだ。どのようなLLMがあるのか。主要LLMを8個取り上げ、それぞれの特徴や強みを紹介する。
人工知能(AI)技術の進化に伴い、大規模言語モデル(LLM)は多様化の時代を迎えている。LLMは自然言語処理において飛躍的な性能向上を遂げるだけでなく、オープンソース化や軽量化をはじめとする多様な進化を見せている。
注目に値するLLMはOpenAIの「GPT」や、Googleの「Gemini」だけではない。どのようなLLMが登場しているのか。前編に続き、主要LLM19種のうち12~19個目を紹介する。
2021年5月、GoogleのGoogle Brain部門はLLM「LaMDA」(Language Model for Dialogue Applications)を発表した。LaMDAは、深層学習(ディープラーニング)モデル「Transformer」と「Seq2Seq」(Sequence-to-Sequence)がベースになっており、大量のコーパス(AIモデルが分析可能な形式に構造化された自然言語のデータ)を用いてトレーニングされている。Seq2Seqは系列データを別の系列データに変換するモデルで、Googleが2014年に発表した。
2022年、当時Googleでエンジニアとして働いていたブレイク・レモイン氏が「LaMDAには感情がある」と主張し、LaMDAへの世間の関心を集めた。
「Llama」は、Meta Platformsが2023年2月に発表したオープンソースLLMで、Transformerをベースにしている。最大で650億個のパラメーターを備える。以下を含むさまざまな公開データでトレーニングしている。
2023年3月、Llamaのデータがインターネットに流出した結果、さまざまな派生モデルの誕生につながった。その中には、オープンソースLLM「Vicuna-13B」やMicrosoftの小型言語モデル「Orca 2」などが含まれる。
2023年9月、フランスのAIスタートアップMistral AIはLLM「Mistral 7B」を発表した。70億個のパラメーターを備え、「Apache License 2.0」で公開されている。さまざまなベンチマークにおいて、同サイズのLLMであるLlama 2を上回る評価を出している。
タスクによって最適なモデルを使い分ける「スパース混合エキスパート」(MoE:Mixture of Experts)手法を採用しており、効率的なタスク処理を実現する。
Mistralは小型のLLMであるため、企業が用意したインフラでモデルを運用するセルフホストが可能。特定タスク向けに独自のトレーニングをする「ファインチューニング」ができるバージョンも存在する。
Microsoftは2023年11月、小型の言語モデルとしてOrca 2を発表した。パラメーター数は130億個と小型のため、ノートPCで稼働できる。Llama 2をベースにファインチューニングが実施されており、OpenAIのLLM「GPT-4」と同等もしくはそれ以上の性能を発揮するとされる。
2022年4月、GoogleはTransformerベースのLLM「PaLM」(Pathways Language Model)を発表した。5400億個のパラメーターを持ち、GoogleのAIプロセッサ「Cloud TPU v4」6144台を用いてトレーニングされたPaLMは、コーディングや計算、分類、質問への回答など幅広いタスクを処理できる。同社は2023年5月に発表した「PaLM 2」を、AIチャットbot「Gemini」(旧称「Bard」)に搭載した。
健康・医療情報向けの「Med-PaLM 2」や、セキュリティ向けの「Sec-PaLM」など、特定タスク向けにファインチューニングされたバージョンも存在する。
2023年6月にMicrosoftが発表した「Phi-1」は、TransformerベースのLLM。パラメーター数はわずか13億個、トレーニングにかかった日数は4日間なのにもかかわらず、一部のベンチマークではOpenAIのLLM「GPT3.5」を上回る性能を見せている。
Phi-1は、高品質のデータや「シンセティックデータ」(人工的に作成された、個人を特定可能な情報とリンクしていないデータ)を用いてトレーニングされた、小型言語モデルの一例だ。電気自動車(EV)メーカーTeslaの元AIディレクターで、OpenAIの従業員でもあるアンドレイ・カルパシー氏は、今後のトレンドとして以下を挙げる。
2024年4月には、小型軽量モデル「Phi-3 Mini」を公開。利用時やテストに必要な計算能力を抑えつつ、同サイズ帯のモデルに劣らない性能を発揮する。
画像生成AI「Stable Diffusion XL」で知られるAIベンダーStability.AIは、2023年4月、オープンソースLLM「Stable LM」を発表した。16億個のパラメーターを持つ小型言語モデルの「Stable LM 2 1.6B」や、120億個のパラメーターを持つLLM「Stable LM 2 12B」などがある。透明性やアクセス容易性、サポートの充実性に優れた言語モデルを目指している。
「Vicuna 33B」は、Llamaから派生したオープンソースLLMだ。カリフォルニア大学バークレー校(University of California, Berkeley)の学生と教員が設立した研究組織LMSYSによって開発された。
Vicuna 33Bは、「ShareGPT」のデータを使ってファインチューニングされている。これは、OpenAIのAIチャットbot「ChatGPT」とそのユーザーの対話内容を記録した共有サービスだ。パラメーター数は330億個。複数のベンチマークで、同サイズの言語モデルを上回る性能を見せている。
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
労働力不足の解消や生産性の向上など、多くのメリットが見込める、職場へのAI導入。一方、LLM(大規模言語モデル)の学習データが枯渇する「2026年問題」が懸念されている点には注意が必要だ。それによる影響と、企業が取るべき対策とは?
現代のビジネス環境下で企業が成長を続けるには「イノベーション」の推進が不可欠だ。最新調査で明らかになった日本企業におけるイノベーションの現状を基に、イノベーション推進の鍵を握るAI活用やベロシティ向上の重要性を解説する。
今やビジネスを中心に、多様な場面でやりとりされているPDF。このPDFをより便利にするためには、文書の能動的な活用がポイントとなる。本資料では、アドビの生成AIを用いながら生産性や効率を飛躍的に向上させる活用方法を紹介する。
適切に生成AIを使いこなすために、情報には「共有範囲」を設定することが重要となるが、管理が不十分だと“過剰共有”の状況が発生する。過剰共有は社内での情報漏えいにつながる可能性もあるため、十分な対策が必要となる。
生成AIの活用には機密情報漏えいなどのリスクがあるため、利用を制限しているケースもある。しかし、完全に利用を制限してしまうと競合に後れを取る可能性がある。そこで重要なのが、セキュリティと利便性を両立できるような環境構築だ。
ドキュメントから「価値」を引き出す、Acrobat AIアシスタント活用術 (2025/3/28)
広がるIBM i の可能性 生成AIによる基幹システム活用の新たな技術的アプローチ (2025/3/28)
「NVIDIAのGPUは高過ぎる……」と諦める必要はない? GPU調達はこう変わる (2025/3/11)
PoCで終わらせない企業の生成AI活用 有識者が語る、失敗を避けるためのノウハウ (2024/10/18)
生成AIのビジネス利用 すぐに、安全に使うためには? (2024/8/26)
お知らせ
米国TechTarget Inc.とInforma Techデジタル事業が業務提携したことが発表されました。TechTargetジャパンは従来どおり、アイティメディア(株)が運営を継続します。これからも日本企業のIT選定に役立つ情報を提供してまいります。
「ECプラットフォーム」売れ筋TOP10(2025年4月)
今週は、ECプラットフォーム製品(ECサイト構築ツール)の国内売れ筋TOP10を紹介します。
「パーソナライゼーション」&「A/Bテスト」ツール売れ筋TOP5(2025年4月)
今週は、パーソナライゼーション製品と「A/Bテスト」ツールの国内売れ筋各TOP5を紹介し...
Cookieを超える「マルチリターゲティング」 広告効果に及ぼす影響は?
Cookieレスの課題解決の鍵となる「マルチリターゲティング」を題材に、AI技術によるROI向...