代表的なLLM19選を徹底解説【中編】
LLMの徹底理解に欠かせない「ELIZA」「Seq2Seq」「Transformer」とは？
大規模言語モデル（LLM）が注目を集めるようになるまで、AI（人工知能）技術の分野ではさまざまな進化があった。その中から、LLMの進化との関わりが特に深い自然言語処理（NLP）モデルを紹介する。
大規模言語モデル（LLM）が世間の注目を浴びるようになったのはつい最近のことだが、その歴史は半世紀以上前にまでさかのぼる。半世紀以上前に登場したものを含めて、現代のLLMの基礎となった自然言語処理（NLP）モデルを3つ紹介する。
LLMの前身となった3つの自然言語処理モデル
併せて読みたいお薦め記事
連載：代表的なLLM19選を徹底解説
LLMをどう比較する？
ELIZA
1960年代に開発された自然言語処理プログラム「ELIZA」は、AI（人工知能）チャットbotの元祖とも言える。開発者であるジョセフ・ワイゼンバウム氏は、マサチューセッツ工科大学（MIT：Massachusetts Institute of Technology）の教授を務め、計算とAIの限界に関する書籍「Computer Power and Human Reason: From Judgement to Calculation」を執筆している。
ELIZAは簡単な「パターンマッチング」（データから文字列といったパターンを特定し、似ているパターンを探す方式）技術と置換規則を用いて回答を出力する。ユーザーが入力した文章の特定のワードに重み（重要性）付けを適用し、それに応じた回答を出力することで、あたかもユーザーと会話しているような印象を与える。患者役のユーザーと、セラピスト役のELIZAが診断形式で対話するシミュレーションが有名だ。
Seq2Seq
Googleが2014年に発表した「Seq2Seq」（Sequence-to-Sequence）は、系列データを別の系列データに変換するモデルだ。自然言語処理の手法におけるブレイクスルーを果たした存在して評価されている。機械翻訳や画像説明、自然言語処理などに使われる。
Seq2Seqは、「エンコーダー」（データを数値表現に変換して意味を理解する仕組み）と「デコーダー」（エンコーダーで変換したデータを別形式のデータに変換する仕組み）を組み合わせて使用する。オープンソースLLM「LaMDA」やAmazon .comのLLM「AlexaTM 20B」などの基盤になっている。
Transformer
2014年、機械学習手法「アテンションメカニズム」が登場する。これは、人間が何かに集中するように、コンピュータも重要な部分に注意を向けられるようにする方法だ。
2017年には、アテンションメカニズムの改良版である深層学習（ディープラーニング）モデルTransformerを、Googleの研究者が開発した。GPT（Generative Pre-trained Transformer）やBERT（Bidirectional Encoder Representations from Transformers）など、代表的なLLMのベースとなっている。
後編は、主要LLM19個のうち12～19個目を紹介する。
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品資料
[株式会社うるる] 「入札市場」攻略ガイド：効率的に落札するためのポイントを徹底解説 -
製品資料
[株式会社うるる] 入札情報に特化した「販路拡大」「効率化」のためのサポートツールとは？ -
市場調査・トレンド
[株式会社うるる] 公共入札に成功する企業と失敗する企業の「5つの違い」 -
製品資料
[日本ビジネスシステムズ株式会社] 専門家が教える、Microsoft 365の「テナント統合／分離」を成功に導く秘訣 -
製品資料
[rakumo株式会社] Microsoft 365での情報埋没を防ぐ、社内ナレッジを資産化する情報ポータル活用
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
「Microsoft 365」が乗っ取られる MFAを破る“本物の画面”の恐怖
-
2
PHP脆弱性「PHP2Shell」で2260万件に影響 情シスの緊急チェックリスト
-
3
半数がブルーカラー転向を視野に？ ベテランエンジニアを追い込む“54歳の壁”
-
4
「Windows」の不要なファイルを安全に消して容量を空ける方法
-
5
なぜ「Gemini 4 Argon」は出遅れたのか？ Googleが狙う“逆転のシナリオ”
-
6
「有線LAN環境」に関するアンケート
-
7
データセンター事業者が「脱VMware」をした“例のライセンス問題”じゃない理由
-
8
積水化学工業が「SAP S/4HANA Cloud」の“全グループ導入”に踏み切った訳
-
9
生成AIが普及しても「技術書」を手放せないエンジニアの本音
-
10
「テザリング依存」に潜む落とし穴 “遅いVPN”を解消するネット構築術
ホワイトペーパーランキング PR
-
1
AI駆動攻撃にどう対抗する？ 超速の攻撃からエンドポイントを保護する方法
-
2
2026年のサイバーセキュリティには何が必要か？ 最新データに学ぶ傾向と対策
-
3
経験豊富な即戦力人材に直接アプローチできる、「攻めの採用」への転換術
-
4
「IT史に名を残すシステム障害」8選
-
5
最速72分でデータが流出？ 最新の脅威トレンドや侵入手法から分かった防衛策
-
6
不審メールの経路や見せ方に変化？ 2026年夏の3事例から見えた動向と対処方法
-
7
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
8
AI駆動開発のスピードと安全性を両立 「品質・セキュリティ管理」の実践ガイド
-
9
HDDを使わない「SSDオンリー」が無謀なのはなぜ？
-
10
「標的型攻撃メール」事例・サンプル集
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー