LLM可観測性の柱【前編】
AIモデルの性能を高め、「幻覚」を防ぐ「オブザーバビリティ」を実現するには
AIモデルの不具合を防ぐにはパフォーマンス監視が重要だ。その手法としてLLMの「オブザーバビリティ」（可観測性）がある。どうやって実現できるかを解説する。
「オブザーバビリティ」（可観測性）は、大規模言語モデル（LLM）のパフォーマンスを評価し、いち早く不具合に対処するために重要だ。最初に学習したデータと実運用で扱うデータにずれが生じることから、LLMは時間や時代の変化とともに応答の正確性が下がる「ドリフト」という現象を起こす可能性がある。AIモデルが誤った情報を真実であるかのように生成する「幻覚」（ハルシネーション）を起こしていないかどうか特定するためにも、オブザーバビリティは欠かせない。どうやって実現できるのか。本稿はLLMオブザーバビリティの「5つの柱」を紹介する。
5つの柱で分かる LLMオブザーバビリティの実現方法
LLMオブザーバビリティの実現に当たり、監視システムを自社で構築する他、ベンダーによるオブザーバビリティ用ツールを用いる選択肢もある。どちらが最適かは、企業の規模やITリソースによって異なる。
従来のシステム監視は、CPUやメモリの使用率などを追跡し、問題を特定したり、必要なリソースを当てたりするものだ。LLMオブザーバビリティはこれらに加え、AIモデルの出力品質や、AIモデルの利用がビジネス目的に合っているかどうかといったことを把握できるようにする必要がある。以下でLLMオブザーバビリティの5つの柱を見てみよう。
1．評価
最初に重要になるのは、明確なLLMの評価基準を定めることだ。これには、技術的な観点の他、ユーザーの行動や運用に掛かるコストなどの観点も含まれる。技術的な観点では、LLMの問題がなぜ発生したのかを理解することが大切だ。評価基準を明確にすることで、問題の原因特定もしやすくなると考えられる。
LLMオブザーバビリティに取り組む際、専用のフレームワークを用いることが有効だ。LLMオブザーバビリティのフレームワークはプロンプトの品質や回答の正確性、処理にかかったトークン数など、LLM独自のパラメータを取り入れて、より深い洞察を得られるようにしている。LLMオブザーバビリティのフレームワークを利用すれば、LLMのユーザー体験（UX）についてもヒントを得て、改善につなげられる。
2．「トレース」と「スパン」
2つ目の柱は、トレースとスパンを用いることだ。トレースとは、あるリクエストに対してAIモデルがどのようなプロセスで回答を生成したかを追跡する仕組みを指す。スパンは、LLMの動作を詳細に追跡し分析する。AIモデルが回答を生成するプロセスを小さな「単位」に分割することで、プロセスを細かく把握できるようにする。
3．RAG
RAG（検索拡張生成）は学習データ以外に外部のデータベースから情報を取得し、LLMの回答精度を高める手法だ。RAGを使えば、外部情報に基づいてAIモデルのパフォーマンス評価の正確さを高められる。LLMは複数のコンポーネントで構成され、それらには外部APIも含まれる。企業はRAGによって、外部APIも含めてLLMのパフォーマンスを包括的に評価できる。
4．微調整の監視
企業はLLMの微調整（ファインチューニング）によって、特定のデータセットを用いてLLMをカスタマイズし、より自社のタスクに合わせられる。ただし微調整がLLMのパフォーマンスに悪影響を与える恐れがある。LLMオブザーバビリティに基づき微調整による影響を監視すれば、迅速に問題を把握し修正できる。
5．プロンプトエンジニアリング
プロンプトエンジニアリングは、望ましい回答を生成させるためのプロンプト設計プロセスだ。LLMに対する質問や指示に関して工夫を凝らすことで、LLMのパフォーマンス改善につなげられる。
後編は、LLMオブザーバビリティ用ツールに求められる機能を考える。
Copyright © ITmedia, Inc. All Rights Reserved.
本記事は制作段階でChatGPT等の生成系AIサービスを利用していますが、文責は編集部に帰属します。
TechTarget グローバルインサイト
米国Informa TechTargetが発信する記事を翻訳し、国内向けに分かりやすく紹介します。最新の海外動向や先進事例を取り上げ、グローバルなITトレンドを把握できる連載です。
この記事の著者
関連記事
新着ホワイトペーパー PR
-
製品レビュー
[ヴィーム・ソフトウェア株式会社] SCS評価制度を導入するだけで十分？ 組織の防御力を高める活用方法とは -
技術文書・技術解説
[フォーティネットジャパン合同会社] AIランサムウェアに勝つ 自律型エンドポイント管理導入で確認すべき条件4つ -
技術文書・技術解説
[フォーティネットジャパン合同会社] LLMが兵器化？ 元FBI高官が鳴らす警鐘とセキュリティツール統合のポイント -
製品レビュー
[ネットアップ合同会社] 研究分野でAI活用が進まない？ 真の成果につなげるデータ管理の在り方とは -
製品レビュー
[ヴィーム・ソフトウェア株式会社] SCS評価制度を導入するだけで十分？ 組織の防御力を高める活用方法とは
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
情シスの約8割が転職や退職を意識 調査で分かった“辞めたくなる最大の理由”
-
2
VMware離れの決め手は“機能”以外だった 情シス109人が選んだ新基準と死角は
-
3
なぜ情シスは評価されにくい？ 読者調査で見えた「成果が見えない仕事」第1位は
-
4
脱VMwareか、継続か？ 仮想化ソフト主要6製品の機能とスペックを徹底比較
-
5
年収700万超エンジニアに共通するスキルと「もっと勉強すべきだった分野」
-
6
「データストレージの活用方法」に関するアンケート
-
7
「ITインフラとデータ保護・バックアップ対策」に関するアンケート
-
8
「企業におけるAIの運用」に関するアンケート
-
9
100億円の「Linux更新」を回避 みずほ銀行が選んだ“おきて破り”のRHEL延命策
-
10
二極化する生成AI活用 「一部の社員しか使いこなせない」をどう解消すべきか
ホワイトペーパーランキング PR
-
1
登録セキスぺが語る「SCS評価制度」の舞台裏 星を取得すべき理由と対応のコツ
-
2
JR西日本ITソリューションズが「監視業務の属人化」を解消した方法とは？
-
3
OSSでは困難 100超のサービスを持つマネーフォワードが実践した統合監視術
-
4
「改正物流効率化法対策」徹底解説 総物流費を抑制するサプライチェーン戦略
-
5
月1000枚の紙を削減 9年動けなかった組織が、業務改革のその先に得たもの
-
6
ネットワーク遅延の原因、「パケットロス」の基礎知識と効果的な解決策
-
7
ドラマで分かる、標的型攻撃メールの被害を受ける企業と回避できる企業の分岐点
-
8
Windows PCとMacの選択制で生産性向上 LINEヤフーが実践する運用管理方法とは
-
9
「Google Workspace」活用事例34選、先進の生成AIによる組織変革の全貌
-
10
ソフトウェア開発の属人化と手戻りをどう防ぐ？ 速さと品質を両立させる方法
TechTargetジャパン SNS
@techtarget_itmをフォロー
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー