AIの本格実装で人間が「承認マン」になるという致命的な死角

AI実装の難所は導入後の「制御」だ。ガバナンス欠如や形骸化した承認はコスト増を招き価値を毀損する。情シスが直面する「AI労働」の管理と責任、組織の壁を突破する具体的な処方箋を解き明かす。

公開 2026年07月02日 05時01分

著者

Liz Hughes

[TechTarget]

印刷する連載新着通知を受け取る

　AIシステムが単なるコンテンツ生成以上の役割を担うようになる中、大半の企業が重要な事実に気付き始めている。それは、AIモデルを導入した後に制御することの方が、構築することよりもはるかに難しいということだ。

　運用中のAIエージェントが処理の無限ループに陥ることもあれば、人間が気付く前にエラーがワークフロー全体に波及することもある。さらに問題が発生した際、何が起きたのか、なぜ起きたのかを正確に特定できず、苦慮する企業も少なくない。その結果、業界の関心は「AI制御レイヤー」へと急速にシフトしている。これには、AIシステムを安全に稼働させるために必要な、オーケストレーション、モニタリング、評価、ガバナンス、権限管理、監査可能性、説明責任、エスカレーションパス、そして人間による監視が含まれる。

　Market HoldingsおよびSquark AIで最高AI・製品責任者を務めるジュダ・フィリップス氏は、「エンタープライズAIの最大の難所は、もはやモデルの選択や構築ではない」と指摘する。「真の課題は、モデルがビジネスに導入された後に発生する全ての事象にある。どのようなデータに触れ、どのようなアクションが可能か。誤りがあった際に誰が責任を負い、組織としてどのように価値を証明するのか、といった点だ」

重要なのは「制御」

「エンタープライズAI」に関連する編集部お薦め記事

情シスが知るべき「AIランタイムセキュリティ」の現実的な対策

受信トレイ全削除の“怪談”も AgenticOpsを阻む「信頼」の壁

　AIシステムは、自律性を高めていく過程で段階的に信頼を獲得していく必要がある。「まずは『支援』から始まり、次に『推奨』、そして『承認済みのアクション』へと進む。システムが信頼性、説明責任、そして経済的価値を証明して初めて、範囲を限定した『自律稼働』へと移行できる」とフィリップス氏は説明する。

　ビジネスプロセスにAIを組み込む際、課題は「アウトプットの生成」から「意思決定、ワークフロー、説明責任の管理」へと変化する。問われているのは、モデルが回答を出せるかどうかではない。システムを横断するAIのアクションを、企業が理解し、統制し、制御できるかどうかである。

　Gartnerのバイスプレジデント兼アナリストであるトリ・ポールマン氏は、自律型システムを最小限の人的介入で運用するためには、膨大なワークフローの再設計が必要だが、その規模は過小評価されていると指摘する。規制上の要件、意思決定構造、例外処理のプロセスなどが障壁となり、人間を完全にプロセスから排除することは困難だからだ。

　「人間がエージェントのレビュー、エスカレーション、修正に追われる『人間による承認工場』は、高コストなボトルネックでしかない。これでは人間がより付加価値の高い仕事に集中できなくなる」とポールマン氏は語る。その結果、企業は自律型システムの価値を十分に引き出せずに苦しむことになる。

　AIシステムが複数のアプリケーションやツール、データソースと相互作用するようになると、ガバナンスの対象はモデルの性能を超え、可視性、説明責任、制御へと広がる。ポールマン氏は、「真の価値を引き出すためには、ワークフローを分解し、意思決定権を設定し、監督者の役割を定義した上で、エージェントの動きを可視化し、監査可能にしなければならない」と助言する。

インフラが性能と説明責任の鍵を握る

　企業は長年AIモデルの能力向上に注力してきたが、AIワークフロープラットフォームを提供するLanaiのCEO兼共同創設者で、元Googleバイスプレジデントのレキシ・リース氏は、「モデル自体が難所だったことは一度もない」と断言する。「難しいのはAIが実際の組織に触れる瞬間で、大半の企業はその準備が全くできていない」

　AIが本番環境に入った直後に発生する管理面や運用面の課題に企業は翻弄されているとリース氏は言う。「モデルは機能するが、管理が機能していない。もはや『AIは機能するか』という段階は過ぎた。今の真の問いは『誰のために、何のために機能し、それをどうやって把握するのか』ということだ」

　リース氏によれば、大半の企業には、本番環境でのAIシステムの動きや、それがビジネス成果にどう寄与しているかを把握するためのインフラが欠けている。「企業はAIを労働力のように活用しているが、会計上はソフトウェアとして処理している」と同氏は指摘する。

　AIツールの支出額は把握していても、そのシステムが何を生産し、誰が成果に責任を持ち、テクノロジーが測定可能なビジネス価値を生んでいるかを判断する明確なメカニズムがないケースが多い。「損益計算書にAIによる労働力の項目はなく、組織図にエージェントの枠もなく、要員計画に監督下のマシン労働という列もない」とリース氏は現状を危惧する。

　システム導入後、AIのパフォーマンスや所有権についての基本的な問いに答えられず行き詰まる企業は多い。リース氏はこう予測する。「2026年のエンタープライズAIの真の問題は、モデルの性能ではない。AIという労働力が何をしており、誰がそれを管理し、実際に価値を生んでいるのかを明らかにするインフラの欠如だ」

　AI導入の成否は、基盤となるテクノロジーだけでなく、企業のプロセスやコミュニケーションにも大きく左右される。クラウドネイティブサービスを提供するCaylentのCTO、ランドール・ハント氏は「今なお根強い最大の誤解は、AIが組織的な壁を回避できるというものだ」と話す。「実装で直面する問題のほとんどは、技術的な障壁というよりも、コミュニケーションやプロセスの障壁だ」

　AIモデルを導入する前に、明確な所有権を確立し、プロセスを再設計し、意思決定権を定義し、自律型システムを安全に拡張するために必要な制御策を構築しなければならない。フィリップス氏は最後にこう結んだ。「勝利を収めるのは、AIを単なるツールではなく、組織の『運用能力』として捉える企業だ」

印刷する