「AIとガバナンス」に関連する編集部お薦め記事

まだ手作業でコンプラ対応？　Alationが描くAIガバナンスの不可避な進化

野良AI時代の「AIガバナンス」とは何か？　悪質なプロンプトの改善も

　欠点があるにもかかわらず、企業が従来のITフレームワークに頼る理由は幾つかある。バンサル氏は、ITプロフェッショナルの多くが持つ「ツール導入メンタリティ」をその1つに挙げる。

　「企業はまるでツールを導入するかのようにAIを採用し始めた。適切なツールを買えば問題の半分は解決すると考えている」とバンサル氏は言う。しかし、ツール導入とエンタープライズAIの準備は全くの別物だ。ツールベースの手法で自律型エージェントを実装することは、全社的な採用の妨げになると同氏は説明する。

　ITリーダーやビジネスリーダーが、この新しいAI技術を既存インフラにどう適合させるか模索している段階では、さらなる問題が生じ得る。新技術のスピードに追い付こうとするあまり、企業は安易な方法を選びがちだ。既存のフレームワークを流用すれば俊敏性や競争優位性を維持できるという錯覚に陥る。しかし、不十分な倫理・ガバナンスポリシーは、後々大きな問題を引き起こす。

　ヘルスケア企業向けに管理サービスを提供するAvaility（アベイリティ）の最高データエンジニアリング責任者、マイケル・プリバット氏は、企業が「画一的なアプローチ」でガバナンスに臨もうとしている点も障害だと指摘する。

　「多くのチームが、従来のAIガバナンスの枠組みを自律的な振る舞いにまで広げようとしているが、それでは適合しない。ポリシーが1世代遅れている」（プリバット氏）

　バンサル氏もこの意見に同意する。「自律型エージェントのガバナンスはまだ実験段階だ。セキュリティ、ガバナンス、監査の仕組みが後回しにされている」と警鐘を鳴らしている。

自律型エージェントのガバナンスは何が違うのか

　自律型エージェントは、備えのない組織に新たな脅威をもたらす。従来のAIやITシステムとの最大の違いは、エージェントが自律的に「予測し、行動する」点にある。従来のシステムは、特に意思決定で人間の入力を必要とする。

　「自律型エージェントのガバナンスは、より『行動』に焦点を当てたものだ。行動には副作用が伴う。これは従来のITとは全く異なる領域だ」とプリバット氏は説明する。

　同氏によれば、自律型エージェントには「意思決定の連鎖」という問題がある。従来のシステムが単一の出力に焦点を当てるのに、AIエージェントは目標達成のために連続的かつ創発的に意思決定を行う。このため、システムの出力だけでなく、エージェントの意思決定プロセスの全ステップを精査する広範なガバナンスが必要になる。

　自律型エージェントで、失敗のポイントは個別のステップではなく、一連のプロセスにあることが多い。「一つ一つの決定は妥当に見えても、それらを組み合わせた連鎖が大きな問題を引き起こす」とプリバット氏は付け加える。

ガバナンスの空白を埋める方法

　ガバナンスの欠如は、企業を被害や法的責任にさらす。システムを厳格に管理するために、企業は「所有権」「説明責任（説明可能性）」「監視」の3点に注力すべきだ。

• 不明確な所有権

　ほとんどの企業には、自律型エージェントの所有権についての明確な権限がない。プリバット氏によれば、組織内の全員が断片的に責任を負っているケースが多いという。「それはエンジニアリングの問題か、法務、コンプライアンス、あるいは運用の問題か。私が話を聞く多くの組織では、答えは『その全て』だ」とプリバット氏は語る。

　しかし、こうした考え方は場当たり的な所有権を生み、ガバナンスの調整を難しくする。「全員が所有している状態は、誰も所有していないのと同じだ。責任を持つ主体がなければ、強力なガバナンスは実現しない」とプリバット氏は強調する。

　倫理的なミスが発生した場合の責任の所在も重要だ。プロバイダーとユーザーのどちらが責任を負うのか。エージェントがスコープを逸脱したり、誤ったデータに基づいて行動したりした場合、それは従業員の責任か、会社の責任か。AIモデルの出力は企業が所有するが、基礎となるインフラやトレーニングの責任はモデルプロバイダーにある。

　バンサル氏は、倫理的なAIについてはプロバイダー側の責任が重いと主張する。「フロンティアモデルやアプリケーションを構築する側に、倫理的な実装の義務がある。バイアスのない責任ある方法で構築されなければ、技術を利用するユーザーが制御できない範囲で多大な悪影響を及ぼす可能性があるからだ」

• 説明可能性の課題

　バンサル氏は、ポリシーの「説明可能性」の重要性を強調する。「説明可能性を設計原則として組み込む必要がある」と同氏は言う。

　AIがどのように業務を完了したかを正確に理解するのは、依然として困難だ。だからこそ、自律型システムの意思決定プロセスを説明できるようにすることが必要だ。エラーを防ぎ、問題を解決するためにも、設計段階から「ヒューマン・イン・ザ・ループ（人間が介在する仕組み）」を採用するのが有効だとバンサル氏は助言する。

• 監査メカニズム

　組織的な監視とモニタリングも必要だ。プリバット氏によれば、多くの組織は自律型エージェントを管理するためのゲート設定やガードレール、監査証跡が不足しているという。「監査のために、あらゆる行動、ツールの呼び出し、状態の変化を記録することが重要だ」とプリバット氏は付け加える。

「ガバナンスの空白」がもたらす危険性

　ガバナンスを放置する企業は、法的責任、レピュテーションリスク、ワークフローの崩壊を招く。一部の企業は既に、自律型システムによる倫理的問題に直面している。

　Workdayは、AI採用ツールの差別的な慣行を理由に集団訴訟を起こされている。また、大手ホテルチェーンがAI価格設定プラットフォームを利用したことが「価格調整」にあたるとして、米司法省（DOJ）と連邦取引委員会（FTC）が調査に乗り出した事例もある。司法省は、不動産管理会社のAIエージェントが法律を無視して不当な価格設定を行ったとして、独占禁止法違反の疑いで提訴した。

　これらの訴訟は、企業が直面している現実の問題だ。強力なガバナンスがなければ、エージェントは差別的な行動を取ったり、法的・倫理的な考慮なしに目標を追求してスコープを逸脱したりする恐れがある。

　これらは、所有権の不明確さ、説明責任の欠如、監査機能の不在という「3つの欠陥」がもたらした結果だ。所有権があいまいなら、失敗時に誰が責任を取るのか。監査や説明の原則がなければ、エージェントが暴走して不当な価格つり上げなどの違法行為を行うのをどう防ぐのか。こうした問いへの答えが求められている。

自律型エージェントガバナンスの今後

　テクノロジーが普及するにつれ、ガバナンスの優先度はかつてないほど高まっている。従来のIT手法は単一の出力を出すシステムには適しているが、複雑な思考プロセスを持つ自律型システムには不十分だ。

　「私たちはAIができることの初期段階にいる」と、法律事務所クラークヒルのシニア弁護士、ピーター・バーク氏は語る。「AIが進化し、自律型エージェントが普及するにつれて、企業も自社のポリシーを進化させなければならない」

　バーク氏によれば、リスクを十分に認識して慎重に取り組むリーダーがいる一方で、情報や経験が不足しているにもかかわらず導入を迫られている者もいるという。

　自律型エージェントへの理解を深めることが、効果的な戦略を立てる鍵となる。この責任はリーダーだけでなく、全従業員にある。組織全体で取り組まなければ、いかに優れたポリシーであっても形骸化してしまうだろう。「ポリシーの価値は、従業員と会社がそれをいかに実行し、定着させるかにかかっている」とバーク氏は結んだ。