LLMの徹底理解に欠かせない「ELIZA」「Seq2Seq」「Transformer」とは？

大規模言語モデル（LLM）が注目を集めるようになるまで、AI（人工知能）技術の分野ではさまざまな進化があった。その中から、LLMの進化との関わりが特に深い自然言語処理（NLP）モデルを紹介する。

公開 2024年06月22日 08時30分

著者

Ben Lutkevich

[TechTarget]

印刷する連載新着通知を受け取る

　大規模言語モデル（LLM）が世間の注目を浴びるようになったのはつい最近のことだが、その歴史は半世紀以上前にまでさかのぼる。半世紀以上前に登場したものを含めて、現代のLLMの基礎となった自然言語処理（NLP）モデルを3つ紹介する。

LLMの前身となった3つの自然言語処理モデル

併せて読みたいお薦め記事

連載：代表的なLLM19選を徹底解説

前編：BERT、GeminiからGPT-3.5、GPT-4oまで「主要LLM11種」の特徴は？

LLMをどう比較する？

ELIZA

　1960年代に開発された自然言語処理プログラム「ELIZA」は、AI（人工知能）チャットbotの元祖とも言える。開発者であるジョセフ・ワイゼンバウム氏は、マサチューセッツ工科大学（MIT：Massachusetts Institute of Technology）の教授を務め、計算とAIの限界に関する書籍「Computer Power and Human Reason: From Judgement to Calculation」を執筆している。

　ELIZAは簡単な「パターンマッチング」（データから文字列といったパターンを特定し、似ているパターンを探す方式）技術と置換規則を用いて回答を出力する。ユーザーが入力した文章の特定のワードに重み（重要性）付けを適用し、それに応じた回答を出力することで、あたかもユーザーと会話しているような印象を与える。患者役のユーザーと、セラピスト役のELIZAが診断形式で対話するシミュレーションが有名だ。

Seq2Seq

　Googleが2014年に発表した「Seq2Seq」（Sequence-to-Sequence）は、系列データを別の系列データに変換するモデルだ。自然言語処理の手法におけるブレイクスルーを果たした存在して評価されている。機械翻訳や画像説明、自然言語処理などに使われる。

　Seq2Seqは、「エンコーダー」（データを数値表現に変換して意味を理解する仕組み）と「デコーダー」（エンコーダーで変換したデータを別形式のデータに変換する仕組み）を組み合わせて使用する。オープンソースLLM「LaMDA」やAmazon .comのLLM「AlexaTM 20B」などの基盤になっている。

Transformer

　2014年、機械学習手法「アテンションメカニズム」が登場する。これは、人間が何かに集中するように、コンピュータも重要な部分に注意を向けられるようにする方法だ。

　2017年には、アテンションメカニズムの改良版である深層学習（ディープラーニング）モデルTransformerを、Googleの研究者が開発した。GPT（Generative Pre-trained Transformer）やBERT（Bidirectional Encoder Representations from Transformers）など、代表的なLLMのベースとなっている。

　後編は、主要LLM19個のうち12～19個目を紹介する。