AIエージェントが誤った情報を吐き出した場合、責任は誰にどのように問えばいいのか。IBMのディスティングイッシュトエンジニア、ジェフ・クルム氏は、AIリスクを管理するためのフレームワークを紹介する。
銀行に融資を申し込んだところ、AIの判断で拒否された。しかし、理由は説明されず、異議を申し立てる方法もない――。このような事態が起きたとき、AIモデルの妥当性を誰が検証し、運用開始後の挙動を誰が監視するのか。誤った判断によって損害が生じた場合、誰が責任を負うのか。
AIを業務に導入する企業が増える一方、こうした問いに明確に答えられない組織は少なくない。IBMのディスティングイッシュトエンジニアであるジェフ・クルム氏は、必要なのは、AIモデルを開発する技術だけではなく、AIに伴うリスクを組織として継続的に管理する仕組みだと指摘する。
そこで紹介するのが、AIマネジメントシステムの国際規格「ISO/IEC 42001」だ。本稿では、ISO/IEC 42001がどのような仕組みでAIリスク管理に寄与するのか、米国国立標準技術研究所（NIST）の「NIST AIリスクマネジメントフレームワーク」（以下、AI RMF）や欧州連合（EU）の「AI法」（Artificial Intelligence Act、AI Act）と何が異なるのかを紹介する。
ISO/IEC 42001は、国際標準化機構（International Organization for Standardization）が定める。AI管理システムの確立や実装、維持、継続的な改善を通じて、AI技術の透明性と倫理的利用を確保するための国際標準規格だ。情報セキュリティマネジメントシステムの国際規格「ISO/IEC 27001」に近い考え方をAI分野に適用している。
ISO/IEC 27001は、組織が情報セキュリティの管理体制を構築し、運用、維持、継続的な改善を実施するための仕組みを定めている。ISO/IEC 42001も同様に、AIの開発や利用に伴うリスクを組織として管理し、改善を続けるためのマネジメントシステムを規定する。
重要なのは、ISO/IEC 42001が、個々のAIシステムに適用する対策項目を並べただけのチェックリストではない点だ。
AIシステムは、導入時に安全性を確認すれば管理が完了するわけではない。運用中に利用データや利用方法が変化すれば、AIの精度が低下したり、偏りが拡大したりする可能性がある。想定していなかった用途に使われ、予期しない影響が生じることもある。
ISO/IEC 42001は、こうした変化を前提に、AIのライフサイクル全体を通じてリスクを管理する。第三者による監査や認証にも対応しており、組織が一定の管理体制を整えていることを社外に示す手段にもなる。
ISO/IEC 42001は、他のISOマネジメントシステム規格と同様に、「Plan」（計画）、「Do」（実行）、「Check」（評価）、「Act」（改善）のPDCAサイクルに基づいている。
計画段階では、AIに関する方針や管理対象の範囲、リスクを判断するための基準を定める。AIをどの業務に利用し、どの程度のリスクを許容するのかを明確にする段階だ。
実行段階では、計画に沿ってAIシステムを開発、導入し、必要な管理策を適用する。データの品質管理やアクセス制御、人間による確認、ユーザーへの説明など、システムの性質に応じた対策を組み込む。
評価段階では、AIの性能や運用状況を継続的に監視する。精度の低下だけでなく、判断の偏りやデータ分布の変化、意図しない影響が生じていないかどうかも確認する。
改善段階では、監視や監査で判明した問題に対して是正措置を講じる。必要に応じてAIモデルやデータ、運用ルールを変更し、その結果を次の計画に反映する。このサイクルを繰り返すことで、AIリスクへの対応を一度限りの施策にせず、継続的に改善する。
ISO/IEC 42001の中核となるのが、リスクベースのアプローチだ。全てのAIシステムに一律の管理策を適用するのではなく、用途や影響度に応じて管理の強さを変える。
例えば、社内文書の下書きを作成するAIと、融資の可否や採用候補者の選考を支援するAIでは、誤った判断がもたらす影響が異なる。後者では、判断根拠の説明や人間による再確認、継続的な偏りの検証など、より厳格な管理が求められる。
クルム氏によると、ISO/IEC 42001で検討するリスクは、大きく次の層に分けられる。
企業はこれらのリスクを評価した上で、回避、低減、移転、受容といった対応方針を決定する。全てのリスクを完全に排除するのではなく、事業上の目的やリスク許容度を踏まえて、どのリスクをどこまで管理するかを判断する。
ISO/IEC 42001では、AIを管理するための取り組みを、組織の状況、リーダーシップ、計画、支援、運用、評価、改善といった領域に分けている。
最初に必要となるのが、管理対象を明確にすることだ。どのAIシステムを対象にするのか、ユーザーや顧客、取引先など、誰が影響を受けるのかを整理する。業界や国、地域によって異なる法規制上の義務も確認する。
次に、AIに関する責任と権限を定める。責任者が明確でなければ、問題が発生しても対応が進まない可能性がある。経営層を含むガバナンス体制を構築し、AIに関する方針や意思決定の手続きを定める必要がある。
計画段階では、AIリスクの評価方法や組織のリスク許容度、リスクへの対応計画を決定する。併せて、「判断精度を一定水準以上に保つ」「重大なインシデントへの対応時間を短縮する」といった、測定可能な目標を設定する。
AIを運用する従業員に対する教育も欠かせない。必要な文書を整備し、担当者に役割やリスクを理解させるとともに、組織内外の関係者へ方針を伝える。
運用開始後は、AIシステムの変更管理やサプライヤー管理も必要になる。外部企業が提供するAIモデルやクラウドサービスを利用する場合、自社が直接開発していないことを理由に管理対象から外すことはできない。提供元の変更やモデル更新が自社業務に与える影響も監視する必要がある。
ISO/IEC 42001では、AIの性能監視に加え、内部監査や経営層によるレビューを実施する。管理策が文書上存在するだけでなく、実際に機能しているかどうかを確認するためだ。
問題が発生した場合は、インシデントとして記録し、原因を調査する。その上で、AIモデルの修正やデータの見直し、利用手順の変更などの是正措置を講じる。
例えば、特定の属性を持つユーザーに不利な判断が集中していることが判明した場合、単に該当する出力を修正するだけでは不十分だ。学習データや評価方法、承認プロセス、監視指標に問題がなかったかを検証し、同じ問題が繰り返されないように管理体制そのものを改善する必要がある。
このように、監視、監査、インシデント対応、是正措置を一つのサイクルとして運用することが、AIマネジメントシステムの特徴である。
AIリスクを管理する仕組みには、ISO/IEC 42001以外にもAI RMFやAI Actがある。三者は似た課題を扱っているが、目的や位置付けが異なる。
AI RMFは、AIリスクを特定、評価、管理するための自主的なフレームワークだ。柔軟性が高く、組織が自社の状況に合わせて利用方法を決められる。AIリスク管理における望ましい考え方や実践例を示すガイドとして活用できる。
一方、ISO/IEC 42001は、AIを継続的に管理するための組織的な仕組みを規定する。責任体制や文書管理、内部監査、経営層によるレビュー、継続的改善といった管理プロセスを整備し、第三者による認証を取得できる点が特徴だ。
AI Actは、EU域内でAIを提供、導入、利用する事業者などに適用される法規制である。AIシステムをリスクに応じて分類し、対象となる事業者に法的な義務を課す。違反した場合には制裁の対象になる可能性がある。
三者の関係は、次のように整理できる。
これらは、いずれか1つを選んで他を排除するものではない。AI RMFを使ってリスクを整理し、ISO/IEC 42001に基づいて管理体制を構築しながら、AI Actなどの法規制に対応するといった組み合わせが考えられる。
AIガバナンスを、導入前にチェック項目を確認するだけの作業として扱えば、運用開始後の変化に対応できない。
AIモデルやデータ、利用環境は継続的に変わる。ユーザーが増えれば、当初は想定していなかった使い方が生まれる可能性もある。外部のAIサービスを利用している場合、提供企業によるモデル更新が、自社のAIシステムの挙動を変えることもある。
AIを安全に拡大するには、個々のモデルを管理するだけでなく、責任者、意思決定手続き、リスク評価、監視、監査、インシデント対応を含む管理システムを構築する必要がある。
ISO/IEC 42001は、そのための共通の枠組みを提供する。企業がAIの活用範囲を広げるほど、「AIを導入するかどうか」だけでなく、「導入したAIを誰が、どのように管理し続けるのか」が重要になる。
本稿は、IBM Technologyが2026年7月12日に公開した動画「How to Manage Your AI Before It Makes the Wrong Decision」を基に作成しました。
Copyright © ITmedia, Inc. All Rights Reserved.
瞬時にM365が乗っ取られる――全社員に周知すべき“新フィッシング”の教訓
MFA（多要素認証）を入れたから安心という常識が崩れ去っている。フィッシング集団「Tycoon2FA」が摘発されたが、脅威が完全になくなったというわけではない。
「サイト内検索」＆「ライブチャット」売れ筋TOP5（2025年5月）
今週は、サイト内検索ツールとライブチャットの国内売れ筋TOP5をそれぞれ紹介します。
「ECプラットフォーム」売れ筋TOP10（2025年5月）
今週は、ECプラットフォーム製品（ECサイト構築ツール）の国内売れ筋TOP10を紹介します。
「パーソナライゼーション」＆「A／Bテスト」ツール売れ筋TOP5（2025年5月）
今週は、パーソナライゼーション製品と「A／Bテスト」ツールの国内売れ筋各TOP5を紹介し...
ITmediaはアイティメディア株式会社の登録商標です。
