代表的なLLM19選を徹底解説【中編】
LLMの徹底理解に欠かせない「ELIZA」「Seq2Seq」「Transformer」とは？
大規模言語モデル（LLM）が注目を集めるようになるまで、AI（人工知能）技術の分野ではさまざまな進化があった。その中から、LLMの進化との関わりが特に深い自然言語処理（NLP）モデルを紹介する。
大規模言語モデル（LLM）が世間の注目を浴びるようになったのはつい最近のことだが、その歴史は半世紀以上前にまでさかのぼる。半世紀以上前に登場したものを含めて、現代のLLMの基礎となった自然言語処理（NLP）モデルを3つ紹介する。
LLMの前身となった3つの自然言語処理モデル
併せて読みたいお薦め記事
連載：代表的なLLM19選を徹底解説
LLMをどう比較する？
ELIZA
1960年代に開発された自然言語処理プログラム「ELIZA」は、AI（人工知能）チャットbotの元祖とも言える。開発者であるジョセフ・ワイゼンバウム氏は、マサチューセッツ工科大学（MIT：Massachusetts Institute of Technology）の教授を務め、計算とAIの限界に関する書籍「Computer Power and Human Reason: From Judgement to Calculation」を執筆している。
ELIZAは簡単な「パターンマッチング」（データから文字列といったパターンを特定し、似ているパターンを探す方式）技術と置換規則を用いて回答を出力する。ユーザーが入力した文章の特定のワードに重み（重要性）付けを適用し、それに応じた回答を出力することで、あたかもユーザーと会話しているような印象を与える。患者役のユーザーと、セラピスト役のELIZAが診断形式で対話するシミュレーションが有名だ。
Seq2Seq
Googleが2014年に発表した「Seq2Seq」（Sequence-to-Sequence）は、系列データを別の系列データに変換するモデルだ。自然言語処理の手法におけるブレイクスルーを果たした存在して評価されている。機械翻訳や画像説明、自然言語処理などに使われる。
Seq2Seqは、「エンコーダー」（データを数値表現に変換して意味を理解する仕組み）と「デコーダー」（エンコーダーで変換したデータを別形式のデータに変換する仕組み）を組み合わせて使用する。オープンソースLLM「LaMDA」やAmazon .comのLLM「AlexaTM 20B」などの基盤になっている。
Transformer
2014年、機械学習手法「アテンションメカニズム」が登場する。これは、人間が何かに集中するように、コンピュータも重要な部分に注意を向けられるようにする方法だ。
2017年には、アテンションメカニズムの改良版である深層学習（ディープラーニング）モデルTransformerを、Googleの研究者が開発した。GPT（Generative Pre-trained Transformer）やBERT（Bidirectional Encoder Representations from Transformers）など、代表的なLLMのベースとなっている。
後編は、主要LLM19個のうち12～19個目を紹介する。
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
TechTarget発 先取りITトレンド
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
事例
[株式会社マクニカ] アイカ工業に学ぶ脆弱性対策 情シスが把握できずにいたアセットも正確に把握 -
製品資料
[株式会社マクニカ] 「脆弱性総まとめ」解説 被害事例から考える必須の対策ポイント -
製品資料
[Splunk Services Japan合同会社] サイバー脅威「トップ50」完全解説ガイド、新たな攻撃手法に対抗するには -
製品資料
[株式会社うるる] 「入札市場」完全ガイドブック：メリットから資格取得のポイントまで -
市場調査・トレンド
[株式会社うるる] はじめての「自治体／官公庁入札」 必要な知識がすぐに学べる入門ガイド
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
2
Oracle巨大ITプロジェクトはなぜつまずいたのか 8年で導入1割、追加で170億ドル
-
3
Microsoft製品でここまで自動化できる 情シスがやめられる手作業10選
-
4
「VMware離れ」は本当か 3000社がVCF 9にかじを切った現実的な理由
-
5
「Microsoft 365」が乗っ取られる 跡形もなくMFAを破る手口
-
6
AI全部入り「Microsoft 365 E7」に企業が二の足を踏む訳 移行意向はわずか4％
-
7
ISMSの“コンサル丸投げ”が招く数千万円の無駄 NTTドコモビジネスの脱出劇
-
8
Netflixのバックエンドは「ほぼJava」 3000超のアプリを支える開発基盤の裏側
-
9
「IoT通信環境の構築・運用」に関するアンケート
-
10
「技術屋」で終わらないために 情シスが今取るべき認定資格5選
ホワイトペーパーランキング PR
-
1
AIエージェントで多様な日常業務を効率化するための入門ガイド
-
2
AIが「わざわざ使うツール」になっていない？ 業務で自然に使う導線にする秘訣
-
3
5回聞くだけじゃ足りない？ トヨタ式「なぜなぜ分析」の正しい実践方法
-
4
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは？
-
5
「脱Excel」か「Excel快適化」か？ 現場にやさしい業務改善の進め方
-
6
インシデント対応工数を約3割削減、東京ガスの事例に学ぶ監視体制刷新のコツ
-
7
PostgreSQLの「機能」「性能」「運用」「拡張性」に関する悩みの解消法
-
8
5分で分かる「セキュア大容量ファイル転送サービス」の機能とメリット
-
9
Macの安全神話は崩壊？ 最新の脅威動向から見えた攻撃のトレンドと有効な対策
-
10
情報セキュリティ対策早分かりガイド：25の自社診断で弱点と解決策を理解
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー