「ELIZA」から「GPT-4」に至る、知られざる“LLM進化の歴史”押さえておきたいLLMの基礎【中編】

近年大きな注目を集めるようになった大規模言語モデル(LLM)だが、その歴史は半世紀前にまでさかのぼる。AI技術の歩みを振り返る。

2024年08月01日 05時00分 公開
[Lev Craig, Olivia WisbeyTechTarget]

関連キーワード

人工知能 | 機械学習


 テキストや画像を生成する人工知能(AI)技術である「生成AI」と、そのベースとなる「大規模言語モデル」(LLM)は、近年になって世間の関心を広く集めるようになった。だがその歴史は、現在の2020年代よりも半世紀ほど前にさかのぼる。LLMが登場した背景から直面した困難まで、半世紀の変遷を解説する。

知られざる「LLM進化の歴史」

会員登録(無料)が必要です

 1960年代、マサチューセッツ工科大学(MIT:Massachusetts Institute of Technology) が自然言語処理プログラム(NLP)「ELIZA」を発表した。ELIZAはNLPの初期の例で、現代のAIチャットbotの元祖とも言える。ELIZAは入力されたキーワードを認識し、あらかじめプログラムされた応答セットから返答を選択することで、ユーザーとの対話をシミュレーションした。

 1970年代から1980年代にかけて「AIの冬」が訪れる。AI技術に対する世間の関心は薄れ、一時的に投資が停滞した。だがNLPへの関心は1980年代に復活する。

 品詞タグ付け(Part Of Speech Tagging)や機械翻訳といった分野の研究が進んだことで、研究者たちは言語構造をより深く理解できるようになり、小規模言語モデルの開発に向けた基礎が築かれた。その後、GPU(グラフィックス処理装置)やAI技術の進化により、言語モデルはより複雑なタスクを処理できるようになった。

 2010年代には、AI技術の研究がさらに進んだ。その中には、「GAN」(Generative Adversarial Network:敵対的生成ネットワーク)や「Transformer」など、現代の生成AI技術を支える深層学習モデルが含まれる。生成AIは大量のデータを学習し、コンテンツ生成の能力を進化させた。特に2017年以降に登場した、Transformerベースの言語モデルは膨大量のデータを扱うことができるため、「大規模言語モデル」と呼ばれるようになった。

 初期のLLMとして、Googleが2018年に発表した「BERT」や、同年にOpenAIが発表した「GPT-1」がある。2022年にOpenAIのAIチャットbot「ChatGPT」が登場してからは、LLMのアップデートや新サービスが絶え間なく発表されている。2024年5月に発表された「GPT-4」は、テキストだけでなく画像や音声など複数の形式のデータを扱えるマルチモーダルなLLMだ。

 他にも現代の代表例なLLMとして、以下が知られている。

  • OpenAIの「GPT-3.5」「GPT-4」
  • Googleの「PaLM」「Gemini」
  • Meta Platformsが開発したオープンソースの「Llama」シリーズ

 LLMは、テキスト生成や翻訳、要約、分類、別の言い回しの提案、感情分析、対話型チャットbotなどさまざまな用途に使用できる。マルチモーダルLLMの活用範囲はさらに広く、例えばGPT-4は画像生成にも使用できる。


 次回は、生成AIとLLMの違いについて、大きく3つの視点から解説する。

TechTarget発 先取りITトレンド

米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。

Copyright © ITmedia, Inc. All Rights Reserved.

新着ホワイトペーパー

製品資料 アドビ株式会社

生成AIで業務改革、PDFツールの“AIアシスタント”で何がどう変わる?

ビジネスにおける生成AI活用が進む中、日々の業務で活用するPDFツールに搭載されたAIアシスタント機能への注目度が高まっている。その活用で、どのように業務を改善できるのか。機能や特徴、期待される効果を紹介する。

製品資料 ニュータニックス・ジャパン合同会社

PoC段階で30%の企業が導入を断念、生成AIプロジェクトを成功に導くためには?

企業にとって生成AIは、生産性向上や収益性増加をもたらす重要な技術だが、導入には多くの課題が存在する。PoC(概念実証)段階で約30%の企業が導入を断念するといわれる生成AIプロジェクトを成功に導くための方法を紹介する。

製品資料 グーグル・クラウド・ジャパン合同会社

約80%の企業でAIが定着していない? その理由と成功させるためのポイントとは

生成AIを活用して業務や顧客体験の再構築を進める動きが活性化しているが、その多くが、PoCやラボ環境の段階にとどまっている。なぜなら、生成AIの可能性を最大限に引き出すための、インフラのパフォーマンスが不十分だからだ。

市場調査・トレンド グーグル・クラウド・ジャパン合同会社

ソフトウェア開発ライフサイクルにおける、生成AI活用のポイントを考察する

昨今のソフトウェア開発では、AIコーディングアシスタントの活用が主流になっている。しかし、最適なコーディングアシストツールは、開発者や企業によって異なるという。導入の際は、どのようなポイントに注意すればよいのか。

製品資料 グーグル・クラウド・ジャパン合同会社

データベースをモダナイズし、生成AIを最大限に活用する方法とは?

生成AIの活用にはデータベースが重要となるが、従来のデータベースは最新テクノロジーに対応できないなどの課題がある。本資料では、データベースをモダナイズし、生成AIを用いてビジネスイノベーションを生み出すための方法を探る。

From Informa TechTarget

いまさら聞けない「仮想デスクトップ」と「VDI」の違いとは

いまさら聞けない「仮想デスクトップ」と「VDI」の違いとは
遠隔のクライアント端末から、サーバにあるデスクトップ環境を利用できる仕組みである仮想デスクトップ(仮想PC画面)は便利だが、仕組みが複雑だ。仮想デスクトップの仕組みを基礎から確認しよう。

ITmedia マーケティング新着記事

news025.png

「マーケティングオートメーション」 国内売れ筋TOP10(2025年5月)
今週は、マーケティングオートメーション(MA)ツールの売れ筋TOP10を紹介します。

news014.png

「サイト内検索」&「ライブチャット」売れ筋TOP5(2025年4月)
今週は、サイト内検索ツールとライブチャットの国内売れ筋TOP5をそれぞれ紹介します。

news046.png

「ECプラットフォーム」売れ筋TOP10(2025年4月)
今週は、ECプラットフォーム製品(ECサイト構築ツール)の国内売れ筋TOP10を紹介します。