AIの誤判断は誰の責任?
AIの誤判断は誰の責任? 「導入して終わり」にしないための国際規格をIBMが伝授
AIエージェントが誤った情報を吐き出した場合、責任は誰にどのように問えばいいのか。IBMのディスティングイッシュトエンジニア、ジェフ・クルム氏は、AIリスクを管理するためのフレームワークを紹介する。
銀行に融資を申し込んだところ、AIの判断で拒否された。しかし、理由は説明されず、異議を申し立てる方法もない――。このような事態が起きたとき、AIモデルの妥当性を誰が検証し、運用開始後の挙動を誰が監視するのか。誤った判断によって損害が生じた場合、誰が責任を負うのか。
AIを業務に導入する企業が増える一方、こうした問いに明確に答えられない組織は少なくない。IBMのディスティングイッシュトエンジニアであるジェフ・クルム氏は、必要なのは、AIモデルを開発する技術だけではなく、AIに伴うリスクを組織として継続的に管理する仕組みだと指摘する。
そこで紹介するのが、AIマネジメントシステムの国際規格「ISO/IEC 42001」だ。本稿では、ISO/IEC 42001がどのような仕組みでAIリスク管理に寄与するのか、米国国立標準技術研究所(NIST)の「NIST AIリスクマネジメントフレームワーク」(以下、AI RMF)や欧州連合(EU)の「AI法」(Artificial Intelligence Act、AI Act)と何が異なるのかを紹介する。
AI導入後のリスク管理を続けるには
ISO/IEC 42001は、国際標準化機構(International Organization for Standardization)が定める。AI管理システムの確立や実装、維持、継続的な改善を通じて、AI技術の透明性と倫理的利用を確保するための国際標準規格だ。情報セキュリティマネジメントシステムの国際規格「ISO/IEC 27001」に近い考え方をAI分野に適用している。
ISO/IEC 27001は、組織が情報セキュリティの管理体制を構築し、運用、維持、継続的な改善を実施するための仕組みを定めている。ISO/IEC 42001も同様に、AIの開発や利用に伴うリスクを組織として管理し、改善を続けるためのマネジメントシステムを規定する。
重要なのは、ISO/IEC 42001が、個々のAIシステムに適用する対策項目を並べただけのチェックリストではない点だ。
AIシステムは、導入時に安全性を確認すれば管理が完了するわけではない。運用中に利用データや利用方法が変化すれば、AIの精度が低下したり、偏りが拡大したりする可能性がある。想定していなかった用途に使われ、予期しない影響が生じることもある。
ISO/IEC 42001は、こうした変化を前提に、AIのライフサイクル全体を通じてリスクを管理する。第三者による監査や認証にも対応しており、組織が一定の管理体制を整えていることを社外に示す手段にもなる。
「計画、実行、評価、改善」のサイクルで管理する
ISO/IEC 42001は、他のISOマネジメントシステム規格と同様に、「Plan」(計画)、「Do」(実行)、「Check」(評価)、「Act」(改善)のPDCAサイクルに基づいている。
計画段階では、AIに関する方針や管理対象の範囲、リスクを判断するための基準を定める。AIをどの業務に利用し、どの程度のリスクを許容するのかを明確にする段階だ。
実行段階では、計画に沿ってAIシステムを開発、導入し、必要な管理策を適用する。データの品質管理やアクセス制御、人間による確認、ユーザーへの説明など、システムの性質に応じた対策を組み込む。
評価段階では、AIの性能や運用状況を継続的に監視する。精度の低下だけでなく、判断の偏りやデータ分布の変化、意図しない影響が生じていないかどうかも確認する。
改善段階では、監視や監査で判明した問題に対して是正措置を講じる。必要に応じてAIモデルやデータ、運用ルールを変更し、その結果を次の計画に反映する。このサイクルを繰り返すことで、AIリスクへの対応を一度限りの施策にせず、継続的に改善する。
全てのAIに同じ管理策を適用するわけではない
ISO/IEC 42001の中核となるのが、リスクベースのアプローチだ。全てのAIシステムに一律の管理策を適用するのではなく、用途や影響度に応じて管理の強さを変える。
例えば、社内文書の下書きを作成するAIと、融資の可否や採用候補者の選考を支援するAIでは、誤った判断がもたらす影響が異なる。後者では、判断根拠の説明や人間による再確認、継続的な偏りの検証など、より厳格な管理が求められる。
クルム氏によると、ISO/IEC 42001で検討するリスクは、大きく次の層に分けられる。
- データのリスク
- 学習データや入力データに偏り、誤り、品質上の問題があり、AIの判断に影響するリスク
- モデルのリスク
- AIの出力精度が不十分だったり、判断の根拠を説明できなかったりするリスク
- システムのリスク
- 他システムとの連携やセキュリティ上の不備によって問題が生じるリスク
- 利用上のリスク
- 想定外の目的で利用されたり、誤用によって意図しない結果が生じたりするリスク
企業はこれらのリスクを評価した上で、回避、低減、移転、受容といった対応方針を決定する。全てのリスクを完全に排除するのではなく、事業上の目的やリスク許容度を踏まえて、どのリスクをどこまで管理するかを判断する。
AIの責任者を決め、ライフサイクル全体を統制する
ISO/IEC 42001では、AIを管理するための取り組みを、組織の状況、リーダーシップ、計画、支援、運用、評価、改善といった領域に分けている。
最初に必要となるのが、管理対象を明確にすることだ。どのAIシステムを対象にするのか、ユーザーや顧客、取引先など、誰が影響を受けるのかを整理する。業界や国、地域によって異なる法規制上の義務も確認する。
次に、AIに関する責任と権限を定める。責任者が明確でなければ、問題が発生しても対応が進まない可能性がある。経営層を含むガバナンス体制を構築し、AIに関する方針や意思決定の手続きを定める必要がある。
計画段階では、AIリスクの評価方法や組織のリスク許容度、リスクへの対応計画を決定する。併せて、「判断精度を一定水準以上に保つ」「重大なインシデントへの対応時間を短縮する」といった、測定可能な目標を設定する。
AIを運用する従業員に対する教育も欠かせない。必要な文書を整備し、担当者に役割やリスクを理解させるとともに、組織内外の関係者へ方針を伝える。
運用開始後は、AIシステムの変更管理やサプライヤー管理も必要になる。外部企業が提供するAIモデルやクラウドサービスを利用する場合、自社が直接開発していないことを理由に管理対象から外すことはできない。提供元の変更やモデル更新が自社業務に与える影響も監視する必要がある。
監査とインシデント対応を一連の仕組みにする
ISO/IEC 42001では、AIの性能監視に加え、内部監査や経営層によるレビューを実施する。管理策が文書上存在するだけでなく、実際に機能しているかどうかを確認するためだ。
問題が発生した場合は、インシデントとして記録し、原因を調査する。その上で、AIモデルの修正やデータの見直し、利用手順の変更などの是正措置を講じる。
例えば、特定の属性を持つユーザーに不利な判断が集中していることが判明した場合、単に該当する出力を修正するだけでは不十分だ。学習データや評価方法、承認プロセス、監視指標に問題がなかったかを検証し、同じ問題が繰り返されないように管理体制そのものを改善する必要がある。
このように、監視、監査、インシデント対応、是正措置を一つのサイクルとして運用することが、AIマネジメントシステムの特徴である。
NIST AI RMF、ISO/IEC 42001、EU AI Actの違い
AIリスクを管理する仕組みには、ISO/IEC 42001以外にもAI RMFやAI Actがある。三者は似た課題を扱っているが、目的や位置付けが異なる。
AI RMFは、AIリスクを特定、評価、管理するための自主的なフレームワークだ。柔軟性が高く、組織が自社の状況に合わせて利用方法を決められる。AIリスク管理における望ましい考え方や実践例を示すガイドとして活用できる。
一方、ISO/IEC 42001は、AIを継続的に管理するための組織的な仕組みを規定する。責任体制や文書管理、内部監査、経営層によるレビュー、継続的改善といった管理プロセスを整備し、第三者による認証を取得できる点が特徴だ。
AI Actは、EU域内でAIを提供、導入、利用する事業者などに適用される法規制である。AIシステムをリスクに応じて分類し、対象となる事業者に法的な義務を課す。違反した場合には制裁の対象になる可能性がある。
三者の関係は、次のように整理できる。
- AI RMF
- AIリスク管理における望ましい考え方や実践方法を示す
- ISO/IEC 42001
- AIガバナンスを組織の管理プロセスとして構築し、監査や認証を可能にする
- AI Act
- 企業が満たさなければならない法的な要件を定める
これらは、いずれか1つを選んで他を排除するものではない。AI RMFを使ってリスクを整理し、ISO/IEC 42001に基づいて管理体制を構築しながら、AI Actなどの法規制に対応するといった組み合わせが考えられる。
AIガバナンスを「導入時の確認」で終わらせない
AIガバナンスを、導入前にチェック項目を確認するだけの作業として扱えば、運用開始後の変化に対応できない。
AIモデルやデータ、利用環境は継続的に変わる。ユーザーが増えれば、当初は想定していなかった使い方が生まれる可能性もある。外部のAIサービスを利用している場合、提供企業によるモデル更新が、自社のAIシステムの挙動を変えることもある。
AIを安全に拡大するには、個々のモデルを管理するだけでなく、責任者、意思決定手続き、リスク評価、監視、監査、インシデント対応を含む管理システムを構築する必要がある。
ISO/IEC 42001は、そのための共通の枠組みを提供する。企業がAIの活用範囲を広げるほど、「AIを導入するかどうか」だけでなく、「導入したAIを誰が、どのように管理し続けるのか」が重要になる。
本稿は、IBM Technologyが2026年7月12日に公開した動画「How to Manage Your AI Before It Makes the Wrong Decision」を基に作成しました。
Copyright © ITmedia, Inc. All Rights Reserved.
関連記事
新着ホワイトペーパー PR
-
製品資料
[富士フイルムビジネスイノベーション株式会社] データ入力業務のDXを実現 工数削減や業務品質向上に効くアプローチとは? -
製品資料
[日本ヒューレット・パッカード合同会社] AI活用で競争力を高める「最適にデザインされたAI基盤」の在り方とは? -
製品資料
[日本ヒューレット・パッカード合同会社] 「人がAIを使う時代」の次は―― “AI Ready”なIT環境が切り開く新たなAI時代 -
製品レビュー
[MNTSQ株式会社] 法務部門のための「AI導入」ロードマップ -
技術文書・技術解説
[SAPジャパン株式会社] 人手だけでは守り切れない、AI時代のERPを守る「仕組み」とは
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
Microsoft 365侵害企業の9割はMFA導入済み 1002人調査で見えた盲点
-
2
「収入ゼロの恐怖」におびえながらも正社員に戻らない? フリーランスのリアル
-
3
Microsoft 365統一で「SharePoint」が1日2TB増 富士フイルムはどう管理した?
-
4
「企業内サーバ環境の利用実態」に関するアンケート
-
5
「Kubernetesプラットフォーム」に関するアンケート
-
6
IBM iのブラックボックス化を打破 資産継承と進化を実現する「IBM Bob」の実力
-
7
「AI活用を前提とした業務PCへの移行」に関するアンケート
-
8
なぜMicrosoftは「Rust」を標準言語に? AIで進むC/C++書き換えの課題
-
9
迫る“データセンターの危機” 「液冷」への移行は避けられないのか?
-
10
テレワークやBYODでリスクが拡大、デバイスの多様化を弱点としない管理方法とは
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
本当に使える「会議翻訳ツール」を見極める4つの選定基準
-
3
有識者が語る、中堅中小企業に求められる最新のサイバーセキュリティ対策とは
-
4
パスワードレスへの移行で失敗しないためには? 導入・運用上の注意点を解説
-
5
10G回線の真価をフルに享受するには? 導入前にチェックしたいポイント
-
6
自社のセキュリティ対策は大丈夫? 自己診断リストで対策の優先順位が分かる
-
7
「テスト内製化&自動化」事例集:ディー・エヌ・エーなど9社に学ぶ実践のコツ
-
8
Microsoft 365を安全に運用 うっかりミスやサイバー攻撃に備えるデータ保護術
-
9
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
10
ランサムウェア攻撃“究極の対策”はこれだ
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー