近年大きな注目を集めるようになった大規模言語モデル(LLM)だが、その歴史は半世紀前にまでさかのぼる。AI技術の歩みを振り返る。
テキストや画像を生成する人工知能(AI)技術である「生成AI」と、そのベースとなる「大規模言語モデル」(LLM)は、近年になって世間の関心を広く集めるようになった。だがその歴史は、現在の2020年代よりも半世紀ほど前にさかのぼる。LLMが登場した背景から直面した困難まで、半世紀の変遷を解説する。
1960年代、マサチューセッツ工科大学(MIT:Massachusetts Institute of Technology) が自然言語処理プログラム(NLP)「ELIZA」を発表した。ELIZAはNLPの初期の例で、現代のAIチャットbotの元祖とも言える。ELIZAは入力されたキーワードを認識し、あらかじめプログラムされた応答セットから返答を選択することで、ユーザーとの対話をシミュレーションした。
1970年代から1980年代にかけて「AIの冬」が訪れる。AI技術に対する世間の関心は薄れ、一時的に投資が停滞した。だがNLPへの関心は1980年代に復活する。
品詞タグ付け(Part Of Speech Tagging)や機械翻訳といった分野の研究が進んだことで、研究者たちは言語構造をより深く理解できるようになり、小規模言語モデルの開発に向けた基礎が築かれた。その後、GPU(グラフィックス処理装置)やAI技術の進化により、言語モデルはより複雑なタスクを処理できるようになった。
2010年代には、AI技術の研究がさらに進んだ。その中には、「GAN」(Generative Adversarial Network:敵対的生成ネットワーク)や「Transformer」など、現代の生成AI技術を支える深層学習モデルが含まれる。生成AIは大量のデータを学習し、コンテンツ生成の能力を進化させた。特に2017年以降に登場した、Transformerベースの言語モデルは膨大量のデータを扱うことができるため、「大規模言語モデル」と呼ばれるようになった。
初期のLLMとして、Googleが2018年に発表した「BERT」や、同年にOpenAIが発表した「GPT-1」がある。2022年にOpenAIのAIチャットbot「ChatGPT」が登場してからは、LLMのアップデートや新サービスが絶え間なく発表されている。2024年5月に発表された「GPT-4」は、テキストだけでなく画像や音声など複数の形式のデータを扱えるマルチモーダルなLLMだ。
他にも現代の代表例なLLMとして、以下が知られている。
LLMは、テキスト生成や翻訳、要約、分類、別の言い回しの提案、感情分析、対話型チャットbotなどさまざまな用途に使用できる。マルチモーダルLLMの活用範囲はさらに広く、例えばGPT-4は画像生成にも使用できる。
次回は、生成AIとLLMの違いについて、大きく3つの視点から解説する。
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
お知らせ
米国TechTarget Inc.とInforma Techデジタル事業が業務提携したことが発表されました。TechTargetジャパンは従来どおり、アイティメディア(株)が運営を継続します。これからも日本企業のIT選定に役立つ情報を提供してまいります。
生成AIへの期待値の変化 DeepSeek台頭がマーケターに突きつける課題とは?
AI 生成の広告に対する反発が続いた1年を経て、マーケターはパフォーマンス結果重視で非...
2024年に視聴者が検索したテレビCM 2位は中国のあのEVメーカー、1位は?
2024年にテレビCMを通して視聴者が気になりWeb検索したものは何だったのか。ノバセルが発...
Googleの広告収益成長が鈍化、中国のアレが原因?
YouTubeなどのプラットフォームの成長率は、米国の選挙関連支出の急増にもかかわらず低迷...