LLMの徹底理解に欠かせない「ELIZA」「Seq2Seq」「Transformer」とは?代表的なLLM19選を徹底解説【中編】

大規模言語モデル(LLM)が注目を集めるようになるまで、AI(人工知能)技術の分野ではさまざまな進化があった。その中から、LLMの進化との関わりが特に深い自然言語処理(NLP)モデルを紹介する。

2024年06月22日 08時30分 公開
[Ben LutkevichTechTarget]

 大規模言語モデル(LLM)が世間の注目を浴びるようになったのはつい最近のことだが、その歴史は半世紀以上前にまでさかのぼる。半世紀以上前に登場したものを含めて、現代のLLMの基礎となった自然言語処理(NLP)モデルを3つ紹介する。

LLMの前身となった3つの自然言語処理モデル

ELIZA

 1960年代に開発された自然言語処理プログラム「ELIZA」は、AI(人工知能)チャットbotの元祖とも言える。開発者であるジョセフ・ワイゼンバウム氏は、マサチューセッツ工科大学(MIT:Massachusetts Institute of Technology)の教授を務め、計算とAIの限界に関する書籍「Computer Power and Human Reason: From Judgement to Calculation」を執筆している。

 ELIZAは簡単な「パターンマッチング」(データから文字列といったパターンを特定し、似ているパターンを探す方式)技術と置換規則を用いて回答を出力する。ユーザーが入力した文章の特定のワードに重み(重要性)付けを適用し、それに応じた回答を出力することで、あたかもユーザーと会話しているような印象を与える。患者役のユーザーと、セラピスト役のELIZAが診断形式で対話するシミュレーションが有名だ。

Seq2Seq

 Googleが2014年に発表した「Seq2Seq」(Sequence-to-Sequence)は、系列データを別の系列データに変換するモデルだ。自然言語処理の手法におけるブレイクスルーを果たした存在して評価されている。機械翻訳や画像説明、自然言語処理などに使われる。

 Seq2Seqは、「エンコーダー」(データを数値表現に変換して意味を理解する仕組み)と「デコーダー」(エンコーダーで変換したデータを別形式のデータに変換する仕組み)を組み合わせて使用する。オープンソースLLM「LaMDA」やAmazon .comのLLM「AlexaTM 20B」などの基盤になっている。

Transformer

 2014年、機械学習手法「アテンションメカニズム」が登場する。これは、人間が何かに集中するように、コンピュータも重要な部分に注意を向けられるようにする方法だ。

 2017年には、アテンションメカニズムの改良版である深層学習(ディープラーニング)モデルTransformerを、Googleの研究者が開発した。GPT(Generative Pre-trained Transformer)やBERT(Bidirectional Encoder Representations from Transformers)など、代表的なLLMのベースとなっている。


 後編は、主要LLM19個のうち12〜19個目を紹介する。

TechTarget発 先取りITトレンド

米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。

ITmedia マーケティング新着記事

news075.png

Z世代の告白手段は「直接」が大多数 理由は?
好きな人に思いを伝える手段として最も多く選ばれるのは「直接」。理由として多くの人は...

news100.jpg

日本はなぜ「世界の旅行者が再訪したい国・地域」のトップになったのか 5つの視点で理由を解き明かす
電通は独自調査で、日本が「観光目的で再訪したい国・地域」のトップとなった要因を「期...

news023.jpg

誰も見ていないテレビ番組にお金を払って露出する意味はあるのか?
無名のわが社でもお金を出せばテレビに出してもらえる? 今回は、広報担当者を惑わせる...