近年大きな注目を集めるようになった大規模言語モデル（LLM）だが、その歴史は半世紀前にまでさかのぼる。AI技術の歩みを振り返る。
テキストや画像を生成する人工知能（AI）技術である「生成AI」と、そのベースとなる「大規模言語モデル」（LLM）は、近年になって世間の関心を広く集めるようになった。だがその歴史は、現在の2020年代よりも半世紀ほど前にさかのぼる。LLMが登場した背景から直面した困難まで、半世紀の変遷を解説する。
1960年代、マサチューセッツ工科大学（MIT：Massachusetts Institute of Technology） が自然言語処理プログラム（NLP）「ELIZA」を発表した。ELIZAはNLPの初期の例で、現代のAIチャットbotの元祖とも言える。ELIZAは入力されたキーワードを認識し、あらかじめプログラムされた応答セットから返答を選択することで、ユーザーとの対話をシミュレーションした。
1970年代から1980年代にかけて「AIの冬」が訪れる。AI技術に対する世間の関心は薄れ、一時的に投資が停滞した。だがNLPへの関心は1980年代に復活する。
品詞タグ付け（Part Of Speech Tagging）や機械翻訳といった分野の研究が進んだことで、研究者たちは言語構造をより深く理解できるようになり、小規模言語モデルの開発に向けた基礎が築かれた。その後、GPU（グラフィックス処理装置）やAI技術の進化により、言語モデルはより複雑なタスクを処理できるようになった。
2010年代には、AI技術の研究がさらに進んだ。その中には、「GAN」（Generative Adversarial Network：敵対的生成ネットワーク）や「Transformer」など、現代の生成AI技術を支える深層学習モデルが含まれる。生成AIは大量のデータを学習し、コンテンツ生成の能力を進化させた。特に2017年以降に登場した、Transformerベースの言語モデルは膨大量のデータを扱うことができるため、「大規模言語モデル」と呼ばれるようになった。
初期のLLMとして、Googleが2018年に発表した「BERT」や、同年にOpenAIが発表した「GPT-1」がある。2022年にOpenAIのAIチャットbot「ChatGPT」が登場してからは、LLMのアップデートや新サービスが絶え間なく発表されている。2024年5月に発表された「GPT-4」は、テキストだけでなく画像や音声など複数の形式のデータを扱えるマルチモーダルなLLMだ。
他にも現代の代表例なLLMとして、以下が知られている。
LLMは、テキスト生成や翻訳、要約、分類、別の言い回しの提案、感情分析、対話型チャットbotなどさまざまな用途に使用できる。マルチモーダルLLMの活用範囲はさらに広く、例えばGPT-4は画像生成にも使用できる。
次回は、生成AIとLLMの違いについて、大きく3つの視点から解説する。
米国TechTargetの豊富な記事の中から、最新技術解説や注目分野の製品比較、海外企業のIT製品導入事例などを厳選してお届けします。
Copyright © ITmedia, Inc. All Rights Reserved.
イノベーションの加速とともに、セキュリティやレジリエンスの維持などさまざまな課題が顕在化している金融サービス業界。課題の中身を確認しながら、その解決策として期待されるAI活用の有効性や実装方法を紹介する。
金融業界においてAIツールの活用が進んでいる。一方で、セキュリティ面の不安を抱えている金融サービス企業は少なくない。このような懸念は、リスクとメリットを考慮して、AIと機械学習の戦略を策定することで解消できる。
AI技術は進化を続け、人間の仕事の一部はAIによって代替可能になる。AI技術に代替されにくいITエンジニアの職種とは何か。ITエンジニアはどのようなキャリアを歩むべきなのか。
AI活用には処理スピードが重要となる。特に、大規模言語モデルのトレーニングでは、長期的に稼働できる強力なコンピュート性能も求められる。そこで注目したいのが、AIモデルのトレーニングを加速させるスーパーコンピューティングだ。
AIを使ったイノベーションの推進が期待されているが、組織全体にAIを導入するためにはいくつかの課題を解消することが必要だ。開発や分析を担うエンジニアやデータサイエンティストのニーズに応えながら、組織全体にAIを導入する方法とは？
お知らせ
米国TechTarget Inc.とInforma Techデジタル事業が業務提携したことが発表されました。TechTargetジャパンは従来どおり、アイティメディア（株）が運営を継続します。これからも日本企業のIT選定に役立つ情報を提供してまいります。
「パーソナライゼーション」＆「A／Bテスト」ツール売れ筋TOP5（2025年4月）
今週は、パーソナライゼーション製品と「A／Bテスト」ツールの国内売れ筋各TOP5を紹介し...
Cookieを超える「マルチリターゲティング」 広告効果に及ぼす影響は？
Cookieレスの課題解決の鍵となる「マルチリターゲティング」を題材に、AI技術によるROI向...
「マーケティングオートメーション」 国内売れ筋TOP10（2025年4月）
今週は、マーケティングオートメーション（MA）ツールの売れ筋TOP10を紹介します。
ITmediaはアイティメディア株式会社の登録商標です。
