大規模言語モデル（LLM）が注目を集めるようになるまで、AI（人工知能）技術の分野ではさまざまな進化があった。その中から、LLMの進化との関わりが特に深い自然言語処理（NLP）モデルを紹介する。
大規模言語モデル（LLM）が世間の注目を浴びるようになったのはつい最近のことだが、その歴史は半世紀以上前にまでさかのぼる。半世紀以上前に登場したものを含めて、現代のLLMの基礎となった自然言語処理（NLP）モデルを3つ紹介する。
1960年代に開発された自然言語処理プログラム「ELIZA」は、AI（人工知能）チャットbotの元祖とも言える。開発者であるジョセフ・ワイゼンバウム氏は、マサチューセッツ工科大学（MIT：Massachusetts Institute of Technology）の教授を務め、計算とAIの限界に関する書籍「Computer Power and Human Reason: From Judgement to Calculation」を執筆している。
ELIZAは簡単な「パターンマッチング」（データから文字列といったパターンを特定し、似ているパターンを探す方式）技術と置換規則を用いて回答を出力する。ユーザーが入力した文章の特定のワードに重み（重要性）付けを適用し、それに応じた回答を出力することで、あたかもユーザーと会話しているような印象を与える。患者役のユーザーと、セラピスト役のELIZAが診断形式で対話するシミュレーションが有名だ。
Googleが2014年に発表した「Seq2Seq」（Sequence-to-Sequence）は、系列データを別の系列データに変換するモデルだ。自然言語処理の手法におけるブレイクスルーを果たした存在して評価されている。機械翻訳や画像説明、自然言語処理などに使われる。
Seq2Seqは、「エンコーダー」（データを数値表現に変換して意味を理解する仕組み）と「デコーダー」（エンコーダーで変換したデータを別形式のデータに変換する仕組み）を組み合わせて使用する。オープンソースLLM「LaMDA」やAmazon .comのLLM「AlexaTM 20B」などの基盤になっている。
2014年、機械学習手法「アテンションメカニズム」が登場する。これは、人間が何かに集中するように、コンピュータも重要な部分に注意を向けられるようにする方法だ。
2017年には、アテンションメカニズムの改良版である深層学習（ディープラーニング）モデルTransformerを、Googleの研究者が開発した。GPT（Generative Pre-trained Transformer）やBERT（Bidirectional Encoder Representations from Transformers）など、代表的なLLMのベースとなっている。
後編は、主要LLM19個のうち12～19個目を紹介する。
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
顧客体験（CX）を向上させるための手段として、広く注目されつつあるAIだが、実際にFAQやチャット／チャットbotにAIを導入することで、CXはどれだけ高まるのか。次世代のカスタマーサービスの作り方と、そのメリットを探る。
営業資料や議事録といった資料作成において、生成AIへの期待が高まっている。中でも注目したいのがZoomの生成AI機能だ。会議データからの資料作成は、生成AI活用でどのように効率化されるのか。動画で紹介する。
ビジネスパーソンが直面する課題としてしばしば挙げられるのがオンライン会議における内容のキャッチアップだ。その解消に向け生成AIアシスタントへの期待が高まっている。そこでZoomに搭載されたAI機能を基に、その活用方法を紹介する。
イノベーションの加速とともに、セキュリティやレジリエンスの維持などさまざまな課題が顕在化している金融サービス業界。課題の中身を確認しながら、その解決策として期待されるAI活用の有効性や実装方法を紹介する。
金融業界においてAIツールの活用が進んでいる。一方で、セキュリティ面の不安を抱えている金融サービス企業は少なくない。このような懸念は、リスクとメリットを考慮して、AIと機械学習の戦略を策定することで解消できる。
お知らせ
米国TechTarget Inc.とInforma Techデジタル事業が業務提携したことが発表されました。TechTargetジャパンは従来どおり、アイティメディア（株）が運営を継続します。これからも日本企業のIT選定に役立つ情報を提供してまいります。
「パーソナライゼーション」＆「A／Bテスト」ツール売れ筋TOP5（2025年4月）
今週は、パーソナライゼーション製品と「A／Bテスト」ツールの国内売れ筋各TOP5を紹介し...
Cookieを超える「マルチリターゲティング」 広告効果に及ぼす影響は？
Cookieレスの課題解決の鍵となる「マルチリターゲティング」を題材に、AI技術によるROI向...
「マーケティングオートメーション」 国内売れ筋TOP10（2025年4月）
今週は、マーケティングオートメーション（MA）ツールの売れ筋TOP10を紹介します。
ITmediaはアイティメディア株式会社の登録商標です。
