「ELIZA」から「GPT-4」に至る、知られざる“LLM進化の歴史”：押さえておきたいLLMの基礎【中編】

近年大きな注目を集めるようになった大規模言語モデル（LLM）だが、その歴史は半世紀前にまでさかのぼる。AI技術の歩みを振り返る。

[Lev Craig, Olivia Wisbey，TechTarget]

　テキストや画像を生成する人工知能（AI）技術である「生成AI」と、そのベースとなる「大規模言語モデル」（LLM）は、近年になって世間の関心を広く集めるようになった。だがその歴史は、現在の2020年代よりも半世紀ほど前にさかのぼる。LLMが登場した背景から直面した困難まで、半世紀の変遷を解説する。

知られざる「LLM進化の歴史」

併せて読みたいお薦め記事

連載：押さえておきたいLLMの基礎

• 前編：GAN、VAE、Transformerとは？　生成AIがよく分かる「深層学習モデル」5選

生成AIの最新動向を解説

• GPT、Geminiだけじゃない　押さえておきたい「主要LLM」8選はこれだ
• Microsoftが「スマホで使える小型AI」を開発した理由　なぜLLMでは駄目なのか？

　1960年代、マサチューセッツ工科大学（MIT：Massachusetts Institute of Technology） が自然言語処理プログラム（NLP）「ELIZA」を発表した。ELIZAはNLPの初期の例で、現代のAIチャットbotの元祖とも言える。ELIZAは入力されたキーワードを認識し、あらかじめプログラムされた応答セットから返答を選択することで、ユーザーとの対話をシミュレーションした。

　1970年代から1980年代にかけて「AIの冬」が訪れる。AI技術に対する世間の関心は薄れ、一時的に投資が停滞した。だがNLPへの関心は1980年代に復活する。

　品詞タグ付け（Part Of Speech Tagging）や機械翻訳といった分野の研究が進んだことで、研究者たちは言語構造をより深く理解できるようになり、小規模言語モデルの開発に向けた基礎が築かれた。その後、GPU（グラフィックス処理装置）やAI技術の進化により、言語モデルはより複雑なタスクを処理できるようになった。

　2010年代には、AI技術の研究がさらに進んだ。その中には、「GAN」（Generative Adversarial Network：敵対的生成ネットワーク）や「Transformer」など、現代の生成AI技術を支える深層学習モデルが含まれる。生成AIは大量のデータを学習し、コンテンツ生成の能力を進化させた。特に2017年以降に登場した、Transformerベースの言語モデルは膨大量のデータを扱うことができるため、「大規模言語モデル」と呼ばれるようになった。

　初期のLLMとして、Googleが2018年に発表した「BERT」や、同年にOpenAIが発表した「GPT-1」がある。2022年にOpenAIのAIチャットbot「ChatGPT」が登場してからは、LLMのアップデートや新サービスが絶え間なく発表されている。2024年5月に発表された「GPT-4」は、テキストだけでなく画像や音声など複数の形式のデータを扱えるマルチモーダルなLLMだ。

　他にも現代の代表例なLLMとして、以下が知られている。

• OpenAIの「GPT-3.5」「GPT-4」
• Googleの「PaLM」「Gemini」
• Meta Platformsが開発したオープンソースの「Llama」シリーズ

　LLMは、テキスト生成や翻訳、要約、分類、別の言い回しの提案、感情分析、対話型チャットbotなどさまざまな用途に使用できる。マルチモーダルLLMの活用範囲はさらに広く、例えばGPT-4は画像生成にも使用できる。

---

　次回は、生成AIとLLMの違いについて、大きく3つの視点から解説する。

TechTarget発 先取りITトレンド

米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。