本記事は、2025年11月に開催されたITカンファレンス「KubeCon + CloudNativeCon North America 2025」において、Red Hatのダニエル・オー氏と、IBMに所属するケビン・デュボワ氏が登壇したセッション「Scaling Generative AI: Building Production-Ready LLM Applications」の解説を基に構成されている。

　JavaによるAIアプリケーション開発において核となるのが、クラウドネイティブ向けフレームワークQuarkusと、JavaアプリケーションとLLMの接続を容易にするライブラリLangChain4j、LLMと外部ツール間の通信規格を標準化するプロトコル「Model Context Protocol」（MCP）の組み合わせだ。

　Quarkusはクラウドネイティブ構成に最適化されたシステムであり、LangChain4jを利用することで、OpenAIをはじめとする各提供元のLLMとの接続を標準化し、簡易化する。MCPを導入することで、LLMが外部ツールと自律的に通信し、アクションを実行する「エージェント型AI」を構築できるようになる。

　セッションのデモでは、数行のインタフェース定義とアノテーションを記述するだけで、自然言語のプロンプトからコンテナオーケストレーションツール「Kubernetes」のデプロイメントマニフェスト（実行定義ファイル）を生成し、クラスタにアプリケーションの構成要素を立ち上げる様子が示された。

　開発者は、複雑なAPI連携処理や状態管理を一から実装する手間がなくなる。これによって、インフラの接続設定ではなく、アプリケーションが本来果たすべきビジネスロジックの構築に時間を割くことが可能になる。

エンタープライズ水準を満たすための仕組み

　単にLLMを呼び出せるだけでは、企業の実運用に耐えるシステムとは呼べない。本番環境で稼働させるためには、以下の機能要件を組み込む必要がある。

• プロンプトエンジニアリングとRAG（検索拡張生成）
  • プロンプトの最適化と、RAGによる社内データに基づいた精度の向上。
• ガードレール（安全装置）
  • 不適切な入力の遮断や、データベース削除など予期しない破壊的動作の防止。
• オブザーバビリティー（可観測性）と耐障害性
  • メトリクス（指標）取得やトレーシング（処理経路の追跡）による運用状態の可視化

　これらの機能を集約して提供し、安定稼働を実現するインフラとしてKubernetesが不可欠だ。AIアプリケーションも多数存在するワークロードの1つとして扱うことで、トラフィックに応じた適応力のあるスケーリングやオーケストレーションが実現する。

本番環境稼働に向けた3つのステップ

　セッションでは、スケーラブルなAIアプリケーションを本番環境に円滑に移行するための手順として、以下の3ステップが提示された。

1. ローカルマシンでの学習と実験
   • 開発者の手元のシステムで、QuarkusやLangChain4j、MCPを使用する。ローカルマシンでLLMを実行できるツール「Ollama」を活用し、プロンプトの動作やデータ連携の手法を実験する。
2. サーバでの高スループットな推論システムの構築
   • サーバや仮想マシンに移し、高速なLLM推論を実現するオープンソースエンジン「vLLM」などの推論に特化したシステムを導入する。
   • メモリ領域を細かくブロック化して効率的に割り当てる「ページドアテンション」などのメモリ管理技術を活用することで、高スループットかつ低遅延な、本番水準の推論処理を実現する。
3. Kubernetesクラスタでのオーケストレーションと運用
   • アプリケーションをKubernetesクラスタに展開し、システム全体のスケーリングと自動化を本格稼働させる。

　ここで課題となるのが、機械学習やデータ処理に関連する無数のオープンソースツール群の存在だ。機械学習などのAI技術、データに関するツールは極めて複雑化している。

　この複雑さを解消する手段として、AIシステムを一元管理するオープンソースツール「Open Data Hub」がある。各オープンソースプロジェクトを集約し、データパイプラインの構築やAIモデルの継続的な監視・管理を一元化することで、AI開発者とアプリケーション開発者が協調して動けるシステムを提供している。

今後の展望

　生成AIを取り巻く技術は急速に進化を続けている。クラウドネイティブなインフラと適切なフレームワークを選定することで、Java開発者はこれまで培ってきた知見を生かしながら、高度なAIアプリケーションを迅速に構築できる。オープンソースツール群が成熟する中、アプリケーションにAI機能を組み込むアプローチは、次世代のエンタープライズシステム開発における標準的な手法になるだろう。

本稿は、CNCF（Cloud Native Computing Foundation）が2025年11月25日に公開した動画「Scaling Generative AI: Building Production-Ready LLM Applications - Daniel Oh & Kevin Dubois, IBM」を基に作成しました。