LLM可観測性ツールを利用すれば使える「5つのうれしい機能」は：LLM可観測性の柱【後編】

AIの利用を進める上で、その中核をなす大規模言語モデル（LLM）のパフォーマンスを把握することが大切だ。多彩な機能を備えた可観測性ツールが、LLM運用の新たな基盤として注目を集めている。

[Kerry Doyle，TechTarget]

　大規模言語モデル（LLM）のパフォーマンスを評価し、いち早く不具合に対処するための有効なツールが、「オブザーバビリティ」（可観測性）ツールだ。LLMの可観測性を実現する、オブザーバビリティツールはどのような機能を備えていて、何ができるのか。

LLM可観測性ツールの「5つの機能」

併せて読みたいお薦め記事

連載：LLM可観測性の柱

• 前編：AIモデルの性能を高め、「幻覚」を防ぐ「オブザーバビリティ」を実現するには

オブザーバビリティを高めるには

• AI安定稼働の鍵は「可観測性」（オブザーバビリティ）　主要ツールを紹介
• 基礎から始める「オブザーバビリティ」（可観測性）　まずやるべきことは？

　LLMの可観測性ツールにはオープンソースソフトウェア（OSS）や商用のものがある。LLMの可観測性ツールが備えている主な機能は以下の通りだ。

機能1．パフォーマンス監視

　LLMのパフォーマンス監視には、メトリクス（指標）の可視化、ダッシュボードの作成、アラートの通知が不可欠だ。ダッシュボードには、LLMのレイテンシー（遅延）やリクエストの処理能力、エラーレート、リソース使用率などが示されている。ダッシュボードを持つツールには「Prometheus」「Grafana」「Datadog」などがある。

機能2．デバッグ

　LLMには、RAG（検索拡張生成）で扱うデータパイプライン（データの抽出から分割、検索、生成モデルへの入力までの一連の流れ）や高度な推論チェーンに関わる変数があり、非常に複雑な仕組みのため、デバッグ（不具合の特定や修正）は簡単ではない。LLM可観測性ツールのデバッグ機能を使えば、障害の原因特定に加え、プロンプトの最適化やプライバシー侵害防止機能の設定など、エラーを防ぐための対策も講じやすくなる。デバッグ機能を備えているツールは「OpenLLMetry」などがある。

機能3．エラーのトラッキング

　エラーのトラッキング（追跡）は、LLM管理の重要な要素だ。エラートラッキングを使うことで、プロンプト、LLMの出力や入力、RAGの機能などを監視し、トラブルシューティングやパフォーマンスの最適化につなげる。

機能4．問題の検知と可視化

　ログやエラー管理の機能を使用して問題の原因を特定し、異常やそのパターンを検出できる。その際、エラーレートを監視したりトレース（あるリクエストに対してAIモデルがどのようなプロセスで回答を生成したかを追跡する仕組み）を実行したりすることが重要だ。可視性を高めるための機能を持つツールは「Langfuse」「LangSmith」「Arize Phoenix」「Helicone」などがある。

機能5．評価データとベンチマークの提供

　LLMは意図せずバイアス（偏った情報）を含んだ回答を生成することがある。LLMのオブザーバビリティツールの中には、生成された回答の信頼性を判断し、事実に基づいているかどうかを判断するためにバイアスを評価するベンチマークを備えるものがある。「Arize AI」「Comet ML」「Giskard」といったツールは、バイアスのベンチマークに特化した機能を備えている。