押さえておきたいLLMの基礎【中編】
「ELIZA」から「GPT-4」に至る、知られざる“LLM進化の歴史”
近年大きな注目を集めるようになった大規模言語モデル(LLM)だが、その歴史は半世紀前にまでさかのぼる。AI技術の歩みを振り返る。
テキストや画像を生成する人工知能(AI)技術である「生成AI」と、そのベースとなる「大規模言語モデル」(LLM)は、近年になって世間の関心を広く集めるようになった。だがその歴史は、現在の2020年代よりも半世紀ほど前にさかのぼる。LLMが登場した背景から直面した困難まで、半世紀の変遷を解説する。
知られざる「LLM進化の歴史」
併せて読みたいお薦め記事
連載:押さえておきたいLLMの基礎
生成AIの最新動向を解説
1960年代、マサチューセッツ工科大学(MIT:Massachusetts Institute of Technology) が自然言語処理プログラム(NLP)「ELIZA」を発表した。ELIZAはNLPの初期の例で、現代のAIチャットbotの元祖とも言える。ELIZAは入力されたキーワードを認識し、あらかじめプログラムされた応答セットから返答を選択することで、ユーザーとの対話をシミュレーションした。
1970年代から1980年代にかけて「AIの冬」が訪れる。AI技術に対する世間の関心は薄れ、一時的に投資が停滞した。だがNLPへの関心は1980年代に復活する。
品詞タグ付け(Part Of Speech Tagging)や機械翻訳といった分野の研究が進んだことで、研究者たちは言語構造をより深く理解できるようになり、小規模言語モデルの開発に向けた基礎が築かれた。その後、GPU(グラフィックス処理装置)やAI技術の進化により、言語モデルはより複雑なタスクを処理できるようになった。
2010年代には、AI技術の研究がさらに進んだ。その中には、「GAN」(Generative Adversarial Network:敵対的生成ネットワーク)や「Transformer」など、現代の生成AI技術を支える深層学習モデルが含まれる。生成AIは大量のデータを学習し、コンテンツ生成の能力を進化させた。特に2017年以降に登場した、Transformerベースの言語モデルは膨大量のデータを扱うことができるため、「大規模言語モデル」と呼ばれるようになった。
初期のLLMとして、Googleが2018年に発表した「BERT」や、同年にOpenAIが発表した「GPT-1」がある。2022年にOpenAIのAIチャットbot「ChatGPT」が登場してからは、LLMのアップデートや新サービスが絶え間なく発表されている。2024年5月に発表された「GPT-4」は、テキストだけでなく画像や音声など複数の形式のデータを扱えるマルチモーダルなLLMだ。
他にも現代の代表例なLLMとして、以下が知られている。
- OpenAIの「GPT-3.5」「GPT-4」
- Googleの「PaLM」「Gemini」
- Meta Platformsが開発したオープンソースの「Llama」シリーズ
LLMは、テキスト生成や翻訳、要約、分類、別の言い回しの提案、感情分析、対話型チャットbotなどさまざまな用途に使用できる。マルチモーダルLLMの活用範囲はさらに広く、例えばGPT-4は画像生成にも使用できる。
次回は、生成AIとLLMの違いについて、大きく3つの視点から解説する。
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
技術文書・技術解説
[Tebiki株式会社] 製造現場の技術伝承を変える生成AI、勘と経験に頼らない業務標準化の仕組みとは -
製品資料
[Tebiki株式会社] 設備保全の脱・属人化ガイド “記録を予防保全に生かす”ための3ステップ -
市場調査・トレンド
[株式会社ハイパーギア] 製造業96社調査で判明 電子化が進まない理由とその対策 -
製品資料
[富士通株式会社] 分散する商流・物流データから価値を創出、サプライチェーンを変えるデータ基盤 -
製品資料
[rakumo株式会社] Microsoft 365で情報共有がうまくいかないのはなぜか?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
2
「Microsoft 365」障害はなぜ拡大? “安全装置”フェイルオーバーのわな
-
3
なぜ「WSUS」を捨てない? 非推奨でも35%が使い続けるワケ
-
4
「WSUS」更新終了で迫られる決断 8割が選んだ“本命”移行先ツールとは?
-
5
なぜ「Microsoft Teams」がランサムウェアの入り口になるのか?
-
6
「Microsoft 365 Copilot AIエージェントによる業務自動化」に関するアンケート
-
7
大和証券や日経も被害に 2026年秋のインシデント集中で崩れた「防御の前提」
-
8
なぜ「ChatGPT」連携の拡張機能が情報漏えいの入り口になるのか?
-
9
Java SEに「Java4Shell」、WebLogicも修正――今朝の情シスニュース
-
10
AIファースト企業が3年で5倍超に IDCが予測するAPACの「5つの書き換え」
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
4
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
5
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
6
自社のメール環境は本当に安全? チェックシートですぐ分かる“今必要な対策”
-
7
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
-
8
Microsoft 365 Copilotで実際何ができる? 回答の精度を高めるRAGとは?
-
9
AIに何を聞いても「汎用的な答え」しか返ってこないのはなぜか?
-
10
SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー