LLMは大規模という言葉の通り、膨大な量のテキストデータを使って学習した機械学習モデルを指す。

　現在主流のLLMは、深層学習モデル「Transformer」を基に設計されている。Transformerの特徴は、テキストをトークン（言語の最小単位）に変換し、複数のトークンを同時に解析できる点だ。プロンプト（指示）のどの部分に重点を置くべきかを動的に判断する仕組み「アテンションメカニズム」を用いて、文章内の単語やその他のトークンの重要度を判断する。この仕組みは、データを逐次処理することで文章を生成する従来のLLMとは一線を画す。

　AIベンダーOpenAIの「GPT」、Anthropicの「Claude」、Meta Platformsの「Llama」といったLLMはいずれもTransformerを採用している。ただし、異なるアプローチを採用したLLMも存在する。AIベンダーMistral AIの「Codestral Mamba」はTransformerではなく「Mamba」というモデルをベースとしている。

　LLMには、曖昧な部分も存在する。どれほどのデータ量を使えば「大規模」と言えるのか、明確な基準はない。著名なLLMは、インターネットで公開されている情報をはじめとした大規模なデータを用いて学習していると考えられている。

　比較的小規模な学習データのモデルをLLMと呼ぶべきか、あるいは小規模言語モデル（SLM）と呼ぶべきかという点には、議論の余地がある。この点において、LLMという言葉は「ビッグデータ」という言葉に似ており、「どこからが大規模なのか」という明確な線引きは存在しない。

LLMの課題

　LLMは、自然言語の指示や内容を解釈し、新たなコンテンツを生成するなどの優れた能力を持つ。言語だけではなく画像や音声、動画といった異なる形式（モダリティー）のデータを理解、処理できる「マルチモーダルLLM」もある。

　一方で、LLMには課題や欠点もある。以下がその例だ。

課題1．ハルシネーションが発生するリスクがある

　幻覚（ハルシネーション）は、LLMが事実を検証するのではなく、学習データ内の膨大なパターンを元にして、統計的に「最もそれらしい」応答を生成するという仕組みに起因する。この仕組み上、現状のLLMではハルシネーションを完全に防止することは難しい。

課題2．膨大な計算リソースが必要

　LLMの中には、計算効率に優れたタイプも存在するが、トレーニングと推論には膨大な計算リソースが必要だ。

課題3．対話内容を長期的に保持できない

　LLMは動作の原理上、学習に使用したデータを短期的には記憶できるが、推論中に新たに入力されたデータを保持したり、新しいプロンプトを処理する際に過去に入力されたプロンプトを参照したりすることはできない。「ChatGPT」をはじめとした一部の生成AIツールは、過去のプロンプトを考慮して新しい応答を生成できるが、これは基盤となるLLM自体の機能ではなく、外部の仕組みによって実現している可能性がある。

課題4．継続的な学習ができない

　LLMは、自動的に新しい情報を学習し続ける能力を持たない。つまり、LLMの知識を常に最新に保つための信頼性の高い手法は、まだ確立されていない。

課題5．人間のように推論できない

　LLMは、人間のような論理的な推論能力を持っていない。学習データとは無関係な情報に対して、論理を組み立てて解釈し、回答できないためだ。LLMは、入力データを自身の学習データ内のパターンと照らし合わせ、それらの関係性に基づいて出力を生成することしかできない。

　これらの課題が、特定の場面で足を引っ張る場合がある。ある弁護士が業務での調査でChatGPTを補助的に使用した結果、罰金を科せられた事例が存在する。

　公開直後のニュース記事を検索するためにLLMを利用するのもお薦めしない。LLMの知識は、リアルタイムで変化するデータを完全に反映していないためだ。

　次回は、LLMに代わる選択肢を紹介する。