押さえておきたいLLMの基礎【中編】
「ELIZA」から「GPT-4」に至る、知られざる“LLM進化の歴史”
近年大きな注目を集めるようになった大規模言語モデル(LLM)だが、その歴史は半世紀前にまでさかのぼる。AI技術の歩みを振り返る。
テキストや画像を生成する人工知能(AI)技術である「生成AI」と、そのベースとなる「大規模言語モデル」(LLM)は、近年になって世間の関心を広く集めるようになった。だがその歴史は、現在の2020年代よりも半世紀ほど前にさかのぼる。LLMが登場した背景から直面した困難まで、半世紀の変遷を解説する。
知られざる「LLM進化の歴史」
併せて読みたいお薦め記事
連載:押さえておきたいLLMの基礎
生成AIの最新動向を解説
1960年代、マサチューセッツ工科大学(MIT:Massachusetts Institute of Technology) が自然言語処理プログラム(NLP)「ELIZA」を発表した。ELIZAはNLPの初期の例で、現代のAIチャットbotの元祖とも言える。ELIZAは入力されたキーワードを認識し、あらかじめプログラムされた応答セットから返答を選択することで、ユーザーとの対話をシミュレーションした。
1970年代から1980年代にかけて「AIの冬」が訪れる。AI技術に対する世間の関心は薄れ、一時的に投資が停滞した。だがNLPへの関心は1980年代に復活する。
品詞タグ付け(Part Of Speech Tagging)や機械翻訳といった分野の研究が進んだことで、研究者たちは言語構造をより深く理解できるようになり、小規模言語モデルの開発に向けた基礎が築かれた。その後、GPU(グラフィックス処理装置)やAI技術の進化により、言語モデルはより複雑なタスクを処理できるようになった。
2010年代には、AI技術の研究がさらに進んだ。その中には、「GAN」(Generative Adversarial Network:敵対的生成ネットワーク)や「Transformer」など、現代の生成AI技術を支える深層学習モデルが含まれる。生成AIは大量のデータを学習し、コンテンツ生成の能力を進化させた。特に2017年以降に登場した、Transformerベースの言語モデルは膨大量のデータを扱うことができるため、「大規模言語モデル」と呼ばれるようになった。
初期のLLMとして、Googleが2018年に発表した「BERT」や、同年にOpenAIが発表した「GPT-1」がある。2022年にOpenAIのAIチャットbot「ChatGPT」が登場してからは、LLMのアップデートや新サービスが絶え間なく発表されている。2024年5月に発表された「GPT-4」は、テキストだけでなく画像や音声など複数の形式のデータを扱えるマルチモーダルなLLMだ。
他にも現代の代表例なLLMとして、以下が知られている。
- OpenAIの「GPT-3.5」「GPT-4」
- Googleの「PaLM」「Gemini」
- Meta Platformsが開発したオープンソースの「Llama」シリーズ
LLMは、テキスト生成や翻訳、要約、分類、別の言い回しの提案、感情分析、対話型チャットbotなどさまざまな用途に使用できる。マルチモーダルLLMの活用範囲はさらに広く、例えばGPT-4は画像生成にも使用できる。
次回は、生成AIとLLMの違いについて、大きく3つの視点から解説する。
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[発注ナビ株式会社] AI活用を成功させる企業とそうでない企業の違いとは? -
製品レビュー
[発注ナビ株式会社] システム開発「はじめの一歩」 押さえておきたい基礎知識と失敗を防ぐ方法 -
事例
[発注ナビ株式会社] アンケート調査で見えた「脱Excelの実態」 成功企業が選んだ課題解決方法は? -
市場調査・トレンド
[発注ナビ株式会社] システム開発を失敗させないための「発注先」の見つけ方 -
市場調査・トレンド
[発注ナビ株式会社] データで見る「システム発注」のリアル “見積もり”より大切な5つの要素とは
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
SAP移行で1900億円の赤字 「ベンダー任せ」が招くERP崩壊と回避策
-
2
「GPT-6.1 Terra」は半額 それでもなぜ企業はAIモデルを選べないのか?
-
3
AIに長文を入力する際の「コンテキストウィンドウ」の適切な扱い方はどれ?
-
4
「Windows Server 2028」、初のIntune対応をプレビュー PCとサーバを一元管理へ
-
5
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
6
PHPはそもそも必要か? 脆弱性で問われる自社サイト安全性と保守負担のバランス
-
7
なぜ「ChatGPT」連携の拡張機能が情報漏えいの入り口になるのか?
-
8
AI利用時に情報漏えいが起きた場合の適切な対応はどれ?
-
9
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
10
「プロンプトインジェクション」の適切なリスク対策はどれ?
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
4
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
5
すぐ分かる「AWS WAF」ガイド:特徴・運用課題・メリットを解説
-
6
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
7
自社のメール環境は本当に安全? チェックシートですぐ分かる“今必要な対策”
-
8
Microsoft 365 Copilotで実際何ができる? 回答の精度を高めるRAGとは?
-
9
「Microsoft 365」徹底解説ガイド テレワーク時代のセキュリティ対策編
-
10
AIに何を聞いても「汎用的な答え」しか返ってこないのはなぜか?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー