押さえておきたいLLMの基礎【中編】
「ELIZA」から「GPT-4」に至る、知られざる“LLM進化の歴史”
近年大きな注目を集めるようになった大規模言語モデル(LLM)だが、その歴史は半世紀前にまでさかのぼる。AI技術の歩みを振り返る。
テキストや画像を生成する人工知能(AI)技術である「生成AI」と、そのベースとなる「大規模言語モデル」(LLM)は、近年になって世間の関心を広く集めるようになった。だがその歴史は、現在の2020年代よりも半世紀ほど前にさかのぼる。LLMが登場した背景から直面した困難まで、半世紀の変遷を解説する。
知られざる「LLM進化の歴史」
併せて読みたいお薦め記事
連載:押さえておきたいLLMの基礎
生成AIの最新動向を解説
1960年代、マサチューセッツ工科大学(MIT:Massachusetts Institute of Technology) が自然言語処理プログラム(NLP)「ELIZA」を発表した。ELIZAはNLPの初期の例で、現代のAIチャットbotの元祖とも言える。ELIZAは入力されたキーワードを認識し、あらかじめプログラムされた応答セットから返答を選択することで、ユーザーとの対話をシミュレーションした。
1970年代から1980年代にかけて「AIの冬」が訪れる。AI技術に対する世間の関心は薄れ、一時的に投資が停滞した。だがNLPへの関心は1980年代に復活する。
品詞タグ付け(Part Of Speech Tagging)や機械翻訳といった分野の研究が進んだことで、研究者たちは言語構造をより深く理解できるようになり、小規模言語モデルの開発に向けた基礎が築かれた。その後、GPU(グラフィックス処理装置)やAI技術の進化により、言語モデルはより複雑なタスクを処理できるようになった。
2010年代には、AI技術の研究がさらに進んだ。その中には、「GAN」(Generative Adversarial Network:敵対的生成ネットワーク)や「Transformer」など、現代の生成AI技術を支える深層学習モデルが含まれる。生成AIは大量のデータを学習し、コンテンツ生成の能力を進化させた。特に2017年以降に登場した、Transformerベースの言語モデルは膨大量のデータを扱うことができるため、「大規模言語モデル」と呼ばれるようになった。
初期のLLMとして、Googleが2018年に発表した「BERT」や、同年にOpenAIが発表した「GPT-1」がある。2022年にOpenAIのAIチャットbot「ChatGPT」が登場してからは、LLMのアップデートや新サービスが絶え間なく発表されている。2024年5月に発表された「GPT-4」は、テキストだけでなく画像や音声など複数の形式のデータを扱えるマルチモーダルなLLMだ。
他にも現代の代表例なLLMとして、以下が知られている。
- OpenAIの「GPT-3.5」「GPT-4」
- Googleの「PaLM」「Gemini」
- Meta Platformsが開発したオープンソースの「Llama」シリーズ
LLMは、テキスト生成や翻訳、要約、分類、別の言い回しの提案、感情分析、対話型チャットbotなどさまざまな用途に使用できる。マルチモーダルLLMの活用範囲はさらに広く、例えばGPT-4は画像生成にも使用できる。
次回は、生成AIとLLMの違いについて、大きく3つの視点から解説する。
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社インターネットイニシアティブ] 人材不足と属人化が深刻に 「攻められない情シス」を変革する一手とは? -
製品資料
[株式会社イトーキ] 会議室が「空いてるのに使えない」問題の解決策とは? -
事例
[株式会社イトーキ] 製造現場を取り巻く経営課題 「持続的な現場力」を強化する方法とは? -
製品資料
[株式会社イトーキ] 社員の力を引き出す、「ABW(Activity Based Working)」を実現する秘訣とは? -
製品資料
[株式会社BREXA Technology] 「インシデント初動対応」が遅れる3つの構造的要因とは?
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
-
2
Claude Codeで開発生産性は本当に上がったか? 3社の取り組みに学ぶ次なる手段
-
3
「オフィス移転・刷新に伴うネットワーク環境の実態」に関するアンケート
-
4
「セキュリティ運用と侵入後の初動防御」に関するアンケート
-
5
IT製品の導入に関するアンケート「セキュリティ」編
-
6
「業務PC/ワークステーション」に関するアンケート
-
7
社員一人一人が「データの民主化」の恩恵を得られる環境の構築には何が必要?
-
8
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
9
なぜノートPCの更新が「4年→6年」に? AIインフラ急拡大の余波
-
10
ソフトウェア開発の成果は人とAIでどう違う? DMM.comの実測データから学ぶ
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
AIが苦手な「汚いデータ」になっていない? AI投資を無駄にしないための注意点
-
3
急増する高度なフィッシング詐欺 先回りしてブロックするには何が必要?
-
4
法人向け光回線のプランはどう選ぶ? 機能面/保守体制/コストを一覧で比較
-
5
三井ホームに学ぶ「無線LAN環境」構築 快適なオフィスと高度なIT運用の両立法
-
6
SNMPより詳細で、パケット解析より簡単な「トラフィック可視化・分析」の方法
-
7
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
8
「RPA導入の成果が出ない」を防ぐ、成果につながる自動化対象業務の選び方
-
9
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
10
サイバー脅威「トップ50」完全解説ガイド、新たな攻撃手法に対抗するには
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー