大規模言語モデル(LLM)は、人工知能(AI)モデルの一種だ。ディープラーニング(深層学習)技術と大規模なデータセットを用いて、新しいコンテンツの生成や要約をしたり、次に起こることを予測したりする。(続きはページの末尾にあります)
AIの活用が広がるとともに、データプライバシーや法令順守への懸念が高まっている。そうした中で、ローカル処理が可能な小規模言語モデル(SLM)が企業にとって現実的な選択肢となり始めている。
「シャドーAI」の防止策が有効に機能しているかどうかを測る際に、指標となる4つの質問がある。これらに明確に答えることができるならば、シャドーAIによるリスクを確実に軽減できる。どのような質問なのか。
従業員がIT部門の許可なしにAIツールを使う「シャドーAI」は、企業にとって深刻なリスクだ。IT部門はどうすればシャドーAIを防げるのか。すぐに実施できる4つの対策を説明する。
LLMが生成する完璧な文章には、もっともらしい偽情報が含まれていることがある。文法や表現の自然さといった従来の手掛かりが通用しなくなったいま、専門家が提唱する新たな対抗策とは何か。
LLMの信頼性や業務適用性を高める技術として注目される「RAG」。その効果を最大限に引き出すための6つのベストプラクティスとは。
LLMの性能をまとめて評価したい場合に有用なのが、リーダーボードだ。さまざまなLLMの性能を評価した情報が公開されている。LLM選びの参考にできる、主要なリーダーボードを紹介する。
自分が使っているLLMの性能はどの程度なのか。そもそもLLMの性能を評価するにはどうすればよいのか。そうした疑問を解消する、LLMの「ベンチマーク」や実施方法を紹介する。
AI技術の活用が進む今、企業は顧客体験の向上にAI技術をどう役立てていけばいいのか。CXデザインに15年以上携わった経験を持つ専門家に、AIコミュニケーションツール活用のポイントを聞いた。
プロンプトエンジニアは、生成AIツールに望ましい回答を出力させるためのプロンプトを作成する職種だ。プロンプトエンジニアとして活躍するためには、どのようなスキルが必要なのか。5つ紹介する。
技術革新が進み、LLMをクラウドサービスや自社データセンターではなく、手元のPCで動かすことが技術的に可能になった。何をすれば実現できるのか。複数人での利用時に発生する問題点を解消できるツールとは。
生成AI(ジェネレーティブAI)技術は、LLMと密接な関係がある。LLMはテキストベースのコンテンツを生成するために特別に設計されたジェネレーティブAIの一種だからだ。
言語は、あらゆるコミュニケーションの中核となる概念だ。人間が事実や自分の考えを他人に伝えるために、言葉や文法は不可欠だ。AIシステムでも、言語モデルが同様の役割を果たす。言語モデルはAIシステムが新しい言葉を生み出すための仕組みとなる。
言語モデルのルーツは、1966年にさかのぼる。1966年にマサチューセッツ工科大学(MIT)で完成した「ELIZA」は、言語モデルの最初期の例だ。
現代の言語モデルを利用可能にするにはまず、学習データ群を言語モデルに取り込む。次に、取り込んだ学習データから言葉同士の関連性やパターンを推測できるようにする。その後、学習されたデータに基づいて新しい文章や画像といったコンテンツを生成できるようにする。
言語モデルは一般的に、ユーザーが自然言語で命令を入力して結果を生成するAIアプリケーションで使用される。LLMは、AIにおける言語モデルが進化した概念だ。トレーニングと推論に使用するためにより多くの学習データを使用することで、AIモデルの能力が大幅に向上する。
AI技術が成長し続けるにつれ、ビジネスでAI技術を活用することはますます重要になる。機械学習モデルを作成し、ビジネスに適用するプロセスでは、単純さと一貫性を維持することがポイントになる。解決しなければならない課題を明確にすることも、機械学習モデルの正確さを確保することと同様に不可欠だ。
LLMの学習は、複数のステップを踏む。LLMはまず、コーパス(AIモデルが分析可能な形式に構造化された自然言語のデータ)を参照しながら、PB(ペタバイト)規模の学習データで学習する。この際、通常は教師なし学習(例題とその答えを組み合わせた「教師データ」を利用しない学習手法)を用いる。教師なし学習には、構造化されていないデータ とラベル付けされていないデータを利用する。ラベル付けされていないデータでトレーニングすることの利点の一つは、利用可能なデータを用意する負荷を軽減できることだ。この段階で、モデルは異なる単語や概念同士を関係付けられるようになる。
次の学習ステップは、自己教師あり学習(前のステップでトレーニングしたLLMを新しい学習データで再学習させる手法)によるLLMの微調整だ。ここではデータのラベリングをして、モデルがより正確に異なる概念同士を識別できるようにする。その後の工程では、深層学習によってLLMが単語や概念間の関係や結び付きを理解し、認識できるようにする。
訓練したLLMにプロンプト(指示)を入力することで、プロンプトに対して回答したり、新しくテキストを生成したりできるようになる。
LLMは、自然言語処理タスクに幅広く適用できるため、ますます人気が高まっている。以下で利用例を説明する。