本記事は、ITエンジニア向け技術カンファレンス「YOW! Brisbane 2025」におけるセッション「Mission-Critical Generative AI in Action: Delivering Safety, Reliability, and Customer Value」の内容を基に構成している。登壇者は、CBAで生成AIシステム開発を率いる生成AIプラットフォームクルーリードのスコット・ショー氏だ。

　ショー氏は、生成AIを安全に本番稼働させるための仕組みとして、以下の3つの要素で構成される最小限のシステム構成の導入を主導した。

1. ゲートウェイ
   • 通信を中継、管理するシステム
2. ガードレール
   • 不適切な入出力を防ぐ安全装置
3. 評価システム
   • AIモデルの性能を定量的に測定する仕組み

1．一元管理と負荷分散を実現する「ゲートウェイ」

　CBAは、全ての行内の生成AI利用リクエストを、単一の窓口であるゲートウェイを経由させる構成を取っている。これによって、管理部門は利用状況を完全に可視化し、監査に必要な記録を保持できる。ベンダーの処理能力上限によるシステム停止を防ぐため、ゲートウェイが複数の通信を適切に振り分け、負荷を分散（ロードバランシング）させる。

　利用中の生成AIサービスが終了したり仕様変更されたりしても、ゲートウェイの設定を変更するだけで、新しいAIモデルにすぐ切り替えられる拡張性を備えている。ショー氏によれば、「GPT-4o」のような主要AIモデルであっても、わずか1年程度で廃止がスケジュールされる傾向にあり、AIモデルの迅速な切り替え能力は本番運用に不可欠だ。

2．規制に適合する「ガードレール」

　ガードレールは、システムの入出力を監視し、悪意のある指示の挿入（プロンプトインジェクション）や誤った回答を防ぐ仕組みとして機能する。

　CBAは、金融業界の厳格な規制に対処するため、言葉の品質や情報の関連性、事実確認（ファクトチェック）など、12種類の独自の監視基準を定めており、これらを行内の全プロジェクトに必須の仕組みとして一律に適用している。ただし業務ごとに許容される回答の範囲は異なるため、開発者が要件に合わせて基準を微調整できる、自由度の高い構造を採用している。

3．評価主導開発を実現する「評価システム」

　CBA独自の工夫として最も重要なのが、評価システムを用いた開発手法の転換だ。従来のソフトウェア開発は「同じ入力に対して常に同じ出力が得られるかどうか」を確認する決定論的なテストが主流だったが、出力が毎回異なる（非決定論的な）生成AIには適さない。そこでCBAは、大量の合成データを用いて生成AIの振る舞いを統計的に測定する「評価主導開発」に移行した。

　ショー氏は「いきなり高性能なAIモデルを使うのではなく、まずは評価基準を定め、要件を満たす安価な小規模モデルから始めるべきだ」と指摘する。高性能なAIモデルは非常に優れた性能を持つものの、費用や利用枠の観点から常に最適とは限らない。明確な統計的評価基準をあらかじめ定めておくことで、過剰な性能に頼らなくても、費用を抑えながら安全に本番稼働へと進めることが可能になる。AIモデルの性能不足や過負荷が発生した場合でも、蓄積した評価データを用いて即座に別のAIモデルを検証できる。

次世代エンジニアに求められる要件

　生成AIを活用したシステム開発において、エンジニアの役割は大きく変わる。入力と出力の因果関係を論理で記述する従来のアプローチに加え、統計的な分布に基づいてシステムの妥当性を判断する手法が不可欠だ。本番環境で収集したデータを開発環境に還元し、改善サイクルを回し続ける必要がある。

　ショー氏は今後のエンジニアに必要な要素として、モデルのトラッキングと評価の厳格さ、安全性に対するリスク意識、確率・統計などの数学的リテラシーを挙げる。

　「現場から生まれた熱意あるアイデアを、確率や統計に基づく客観的な評価の枠組みで制御することこそが、生成AIを安全に拡大させるための鍵だ。生成AIシステムは稼働後も常に監視し続ける必要があり、現時点では人間が関与して安全性を確保することが欠かせない」（同氏）

本稿は、Triforkが2026年6月16日に公開した動画「Mission-Critical Generative AI in Action・Scott Shaw・YOW! 2025」を基に作成しました。