Amazon Web Services（AWS）が2024年10月31日に都内で開催した「AWS AI Day」で、Works Human IntelligenceはRAG実装の取り組みを発表した。同社が提供するERPシステムCOMPANYは、人事・給与・申請ワークフロー・勤怠管理・雇用手続き管理など、人事領域向けのモジュール群で構成されている。その中の、従業員の人事データを一元管理し、人的資本マネジメントを支援する「タレントマネジメントモジュール」にRAGを実装することで、社内人材を簡単に検索できる機能を構築している最中だ。

　ユーザーが自然言語で条件を入力すると、条件に近い従業員リストアップしてくれる仕組みだ。条件とのマッチ度や、マッチしたポイント、従業員プロファイルの要約も併せて提示する（図1）。

図1　希望条件を入力して検索すると、条件に合致した従業員のプロフィールや、マッチしたポイントが表示される（出典：Works Human Intelligence資料）《クリックで拡大》

　RAGの仕組みは次の通り。まずサーバレスコンピューティングサービス「AWS Lambda」を用いてCOMPANYのAPI（アプリケーションプログラミングインタフェース）を呼び出し、月次など定期的に従業員リストを取得する。

Works Human Intelligenceの加藤文章氏

　従業員データを集約した後は、AWSの生成AIサービス「Amazon Bedrock」上でLLM「Claude 3.5 Sonnet」を使い、各従業員のプロファイルを要約する。生成した要約文はLLM「Cohere」でベクトル（数値のリストや配列）形式に変換し、データベースに格納する。ユーザーが自然言語で条件を入力すると、検索クエリをベクトル化し、ベクトル間の類似性を計算して条件に近い従業員をリストアップする仕組みだ。

　Works Human Intelligenceで製品・サービスへの生成AI実装を手掛ける加藤文章氏は、COMPANYへのRAG実装において、大きく3つの課題に取り組んだと話す。

1．アクセス権限の制御

　他の従業員の給与や評価などの情報が誰にでも閲覧されてしまうのを防ぐために、アクセス制御の仕組みが必要だった。そのため「権限レベルを4段階に分け、検索者の権限に応じて違う検索結果を表示する仕組みを導入した」と加藤氏は説明する。

　具体的には、権限レベルごとに参照できる情報だけを含むように、1人につき4つの異なる要約文を作成してベクトル化した。当初は1人当たり1つの要約文を生成する予定だったが、それでは権限レベルごとに情報を制御するのが難しかったため、要約文を権限ごとに分けて作る方法に変更したという。

2．生成コンテンツの改善

　当初、生成した内容が冗長かつ曖昧で分かりづらく、事実とは違う内容も含まれたという。対策として、以下のプロンプトエンジニアリングの手法を実践した。

• 役割の指定（Role Prompting）
  • 役割を定義し、LLM対して特定の役割を与える手法。

• 明確で具体的な指示（Be clear, direct, and detailed）
  • 各項目を一つ一つ明確に、そして詳細に指定していく方法。

• LLMによる判定（LLM as a Judge）
  • LLMを判定者として利用する方法。

• 出力フォーマッティング（Output formatting）
  • 特定の形式や構造に従って回答を出力するようにLLMに指示する手法。意味のある単位で行を区切って出力するよう指定することで、文章の冗長性を排除した。

3．検索精度の向上

　RAGシステムではベクトル検索の仕組みを採用しているものの、特定の特徴をうまく反映できず、意図しない結果が出ることがあったと加藤氏は話す。例えば、強弱の判定が難しく、「データベースに強い人」と検索をかけた結果、データベースに関する十分な知識を持たない人が出てきてしまうことがあった。

　検索精度を高めるために、加藤氏は次のような改善策を実践したという。

• 生成されたプロファイルを1行ごとにチャンク（小さい区切り）にしてベクトル化する。
• 検索結果を多めに取得して、そのマッチ度をLLMに判定させてさらに絞り込む。

　今後はAmazon BedrockのRAG向け機能「Knowledge Base」を活用し、セマンティック検索（エンドユーザーの意図をくみ取って情報を探す検索手法）など他の検索手法を組み合わせることで、さらなる検索精度改善を図る計画だという。

　他の取り組みとしては、Amazon Bedrockのガードレール機能「Guardrails」を活用することで、「責任あるAI」（公平性や透明性、安全性の確保を考慮したAI技術）の強化を進める計画だ。ガードレール機能とは、ユーザーのアクセスを制限する機能を指す。「コンテンツフィルターや機密情報フィルターを自前で実装するのは難しい」と加藤氏は話す。

　加えて、人事領域に特化した小規模言語モデル（SLM）のファインチューニングにも取り組んでいるという。「プロンプトだけでLLMに情報を渡すのは限界があり、COMPANYの仕様やマニュアルの内容を事前に学習させることで、精度はさらに高くなると考えている」（加藤氏）