1960年代、マサチューセッツ工科大学（MIT：Massachusetts Institute of Technology） が自然言語処理プログラム（NLP）「ELIZA」を発表した。ELIZAはNLPの初期の例で、現代のAIチャットbotの元祖とも言える。ELIZAは入力されたキーワードを認識し、あらかじめプログラムされた応答セットから返答を選択することで、ユーザーとの対話をシミュレーションした。

　1970年代から1980年代にかけて「AIの冬」が訪れる。AI技術に対する世間の関心は薄れ、一時的に投資が停滞した。だがNLPへの関心は1980年代に復活する。

　品詞タグ付け（Part Of Speech Tagging）や機械翻訳といった分野の研究が進んだことで、研究者たちは言語構造をより深く理解できるようになり、小規模言語モデルの開発に向けた基礎が築かれた。その後、GPU（グラフィックス処理装置）やAI技術の進化により、言語モデルはより複雑なタスクを処理できるようになった。

　2010年代には、AI技術の研究がさらに進んだ。その中には、「GAN」（Generative Adversarial Network：敵対的生成ネットワーク）や「Transformer」など、現代の生成AI技術を支える深層学習モデルが含まれる。生成AIは大量のデータを学習し、コンテンツ生成の能力を進化させた。特に2017年以降に登場した、Transformerベースの言語モデルは膨大量のデータを扱うことができるため、「大規模言語モデル」と呼ばれるようになった。

　初期のLLMとして、Googleが2018年に発表した「BERT」や、同年にOpenAIが発表した「GPT-1」がある。2022年にOpenAIのAIチャットbot「ChatGPT」が登場してからは、LLMのアップデートや新サービスが絶え間なく発表されている。2024年5月に発表された「GPT-4」は、テキストだけでなく画像や音声など複数の形式のデータを扱えるマルチモーダルなLLMだ。

　他にも現代の代表例なLLMとして、以下が知られている。

• OpenAIの「GPT-3.5」「GPT-4」
• Googleの「PaLM」「Gemini」
• Meta Platformsが開発したオープンソースの「Llama」シリーズ

　LLMは、テキスト生成や翻訳、要約、分類、別の言い回しの提案、感情分析、対話型チャットbotなどさまざまな用途に使用できる。マルチモーダルLLMの活用範囲はさらに広く、例えばGPT-4は画像生成にも使用できる。

　次回は、生成AIとLLMの違いについて、大きく3つの視点から解説する。