　しかし一部の企業は、業務プロセスにAIエージェントを組み込むことが困難な場合がある。小規模事業者向けにEコマース（EC：電子商取引）プラットフォームを提供するPax8のグローバルCIO、サイモン・グリーン氏は「一部の企業はマニュアルを書面に記録していたり、従業員の暗黙知に依存したりしている」と指摘する。こうした暗黙知をデータ化し、AIエージェントが活用できるようにする必要がある。

　その際、業務プロセスを詳しく検討することが有用だ。従業員が割り当てたタスクをAIエージェントが適切に遂行できるようにするために、タスクの要件を定義した文書の作成も必要だとグリーン氏は述べる。

2．生成AIの評価指標を見直す

　2024年、生成AIを試験的に導入したCIOは、生成AIを使った価値の創出やコストの測定に注力した。2025～2026年は、生成AIの活用を評価するための指標やROI（投資対効果）の分析が加速する動きがある。AIエージェントに対する評価もより厳密になるという見方もある。

　クラウド監視ツール「PagerDuty」を手掛けるPagerDutyのCIO、エリック・ジョンソン氏は、「生成AIやAIエージェントの価値を明示すること、測定できるようにすることがCIOの課題となっている」と指摘する。「AIを使って収益をどのように増大させるのか、コストをどのように削減するのか。これらを理解したり示したりできるようにするための知識が不足している経営層もいる」（ジョンソン氏）

　ライティングアシスタントツール「Grammarly Business」を展開するGrammarlyのCISO（最高情報セキュリティ責任者）スハ・カン氏も同様の意見を示す。同氏は、調査会社Gartnerが2024年10月に開催したカンファレンス「Gartner IT Symposium/Xpo」で、生成AIツールの評価方法の限界を指摘した。生成AIツールを試験的に導入した企業は、ITベンダーが限られたエンドユーザーを対象に実施した調査結果を参考に、導入を進めてしまう場合がある。

　カン氏は「ITベンダーがユーザー企業の従業員にアンケートを送り、数人が回答したとする。ITベンダーはその結果を基に『これがツールを評価した結果だ。数十万ドルでこのツールを購入してほしい』と宣伝する可能性がある」と述べる。「数人が満足したからといって、数十万ドルを支払うわけにはいかない。ツールを導入する正当性を判断するには、そうした調査結果だけでは不十分だ」（カン氏）

　Grammarlyは、生成AIツールを評価するためのフレームワークを作成した。フレームワークは以下の項目で構成されている。

コンプライアンスとセキュリティ
品質
従業員体験
組織のKPIへの影響

　ITサービス管理ツールのベンダーServiceNowのCDIO（最高デジタルイノベーション責任者）、ケリー・ロマック氏も、AIの評価方法を見直している。同氏が重視するのは「より広範な指標を考慮すること」だ。

　ロマック氏は「業務の生産性を指標として重視するあまり、品質の低下を見落とすと、生成AIが業務にもたらした影響の全体像を把握することはできない」とし、「生成AIツールを使って業務時間を短縮できても、実は質の低い業務処理のスピードを速めているだけという場合がある」と説明する。

　この考えに基づき、ServiceNowは業務の生産性に着目しながらも、生成AIを使って作成した成果物の品質確認には人間が関与することにしている。

　ServiceNowは、生成AIの挙動を管理するツールも展開している。社内で利用するさまざまな生成AIツールの一元管理や効果測定が可能だ。生成AIツールを日次で監視し、稼働状況、障害発生箇所などを追跡できる。生成AIツールを使うエンドユーザーの感情評価も収集している。ロマック氏は、従業員や顧客の満足度も、生成AIを評価する際の重要な指標だと言い添える。

　次回も引き続き、CIOが取り組むべき課題を紹介する。

TechTarget.AIとは

TechTarget.AI編集部は生成AIなどのサービスを利用し、米国Informa TechTargetの記事を翻訳して国内向けにお届けします。

TechTargetジャパントップ経営とIT