2025年にAmazon Web Services（AWS）が開催した年次テクノロジーカンファレンス「AWS re:Invent 2025」のセッションにおいて、TMNAの担当者が登壇した。そこでは、複数の生成AIモデルを効率的に管理・運用できる共通システム「Amazon Bedrock」の新機能である「Amazon Bedrock AgentCore」（以下、AgentCore）を活用した、次世代システムへの移行計画が明かされた。

　TMNAが最初に構築したRAGベースのシステム（バージョン1）は、非常に緻密なデータ連携によって成り立っていた。エンドユーザーからの質問が入力されると、まずAIモデルへの不正な指示を検出・遮断する独自のセキュリティツールを通過する。その後、AIモデルが車両を特定し、Webの通信規格であるWebソケットを介して画面とのリアルタイムな接続を確立。会話履歴はデータベースに蓄積される仕組みだ。

　データ検索では、AIモデルが直近5ターンの会話履歴から、機械学習でデータを数値化した「埋め込み」（エンベディング）を生成。直近の質問をより重視する加重平均アルゴリズムを用いて、サーバ構築が不要な検索システム「OpenSearch Serverless」内のベクトルデータベースから、車両ごとに30件の関連文書を抽出していた。法務部門からの厳格な要件によって、文脈に応じた適切な免責事項の表示と、AIモデルによって改変されない正確な画像表示が義務付けられている。これに対し、プロンプトエンジニアリングを活用して出力データを「メインの回答」「免責事項コード」「画像ID」の3つに分離するストリーム分割手法を採用。AIモデルの不確実な出力を防ぎ、抽出したコードやIDを基にシステムが正しいテキストや画像を付与することで、コンプライアンスを確保したのだ。

　データの正確性を維持するため、データ更新時には自動評価エンジンを走らせていた。ソフトウェアの自動テストを実行する「GitLab Runner」でスクリプトを動かし、過去の正確な問答集（ゴールデンデータセット）をベースに合成テストデータを生成。単一モデルの偏りや誤評価を防ぐため、複数のAIモデルを審査員に見立てて総合的に判断する「合議制」アプローチによってシステムの性能を測定し、基準をクリアした場合のみ、エンドユーザーに影響を与えず瞬時にデータを切り替える仕組みを運用していた。

　しかし、従来のアーキテクチャでは、データ更新のたびにこの複雑なETL処理と評価をやり直す必要があり、データ鮮度の維持にかかる手間が大きな負担となっていた。

　これを解決するのが、セッション登壇時点で開発中のバージョン2だ。最大のポイントは、ETL処理と従来のRAGシステムを完全に廃止することだ。代わりに、AgentCoreの実行環境（ランタイム）上でAIエージェントを稼働させ、AIエージェントと外部データを安全に接続するオープン標準プロトコル「Model Context Protocol」（MCP）に準拠したサーバを介して、アプリケーション同士を連携させる仕組みである公式データAPIに直接アクセスする構成を採用した。

　これによって、外部のデータソースが更新されれば即座に最新の情報が引き出せるようになり、データの鮮度問題は根本から解消される。同時に、インフラの維持管理にかかる費用や手間も劇的に軽減された。

　本番システムでエージェントを安定稼働させるため、TMNAはAgentCoreの記憶機能（メモリ）を分散キャッシュとして活用する手法を考案した。MCPサーバのツール呼び出し時に、関数の定義情報とパラメータから、データを不規則な文字列に変換する暗号ハッシュ関数「SHA-256」を用いてキャッシュキーを生成する。このキーを基にイベントメタデータから検索し、キャッシュにヒットすればその情報を返し、ミスした場合は外部APIへアクセスして結果を保存する仕組みだ。低レベルクライアントを利用してメタデータによるフィルタリングを行うことで、効率的なレスポンスキャッシュを実現した。

　バージョン2では、システムの入り口に「オーケストレーター」と、利用可能なエージェントを管理する「エージェントレジストリ」を配置。クライアントからのリクエストを受け取ったオーケストレーターは、レジストリを参照して適切なエージェントを特定し、動的にルーティングを実施する。これによって、商品知識に特化した「プロダクトエキスパートエージェント」や、顧客対応を担う「プロダクトサポートエージェント」など、複数の自律型エージェントが協調して動作するシステムに進化する。

　AgentCoreの機能群は、セキュリティとガバナンスの強化にも寄与している。安全に隔離された仮想空間を高速に起動する軽量仮想マシン技術「Firecracker」を組み込んだランタイムによって処理の実行状態を保護し、ID管理機能によって認証・認可を簡素化する。オープンなデータ収集規格である「OpenTelemetry」に準拠した可視化機能を利用して、システムの稼働状況を一元的に監視する「Datadog」にログを転送し、全体の透過性を確保する。

　生成AIの業務適用は、自律的に外部システムと連携してタスクを処理するエージェント型へと進化しつつある。TMNAの取り組みは、企業の大規模システムにおいてエージェントをいかに安全かつ効率的にスケールさせるかを示す事例だと言える。

本稿は、AWSが2025年12月11日に公開した動画「AWS re:Invent 2025 -How Toyota Built an AI Platform that Revolutionizes the Dealer Experience-IND320」を基に作成しました。