その上でシャーキー教授は、医薬品の実用化が承認されるような形で安全性が証明されるまで、人生を変えさせるような判断に機械学習を応用することはやめるよう提言した。

　この脅威に目覚めたIT業界に、次の大きな出費の波が押し寄せている。

　シャーキー氏と言い方は異なるものの、機械学習ツール企業H2O.aiのデータサイエンス製品担当上級ディレクターのパトリック・ホール氏は、説明できない判断は消費者に強い「不快感」を覚えさせると語る。

　「人の好奇心を満たすためには、説明可能なAI（Explainable AI）を作り出す必要があると企業が認識し始めている。われわれは、このクールで新しく、非常にパワフルな技術をビジネスに普及させようと試み、『コンピュータに否定された』というこの不快な感覚を防ごうとしている」とホール氏は言う。

　4400人の消費者を対象に実施されたCapgeminiの面接調査では、倫理とAIに対する見方が企業の評判と業績の両方を脅かすという結果が出た。41％はAIの介入が倫理問題につながった場合は苦情を言うと回答し、36％は説明を要求すると回答。34％はその会社との付き合いをやめると回答した。

　この調査結果は、機械学習倫理と説明可能性が別の問題でありながら、つながっていることを示すとホール氏は言う。

　「データと機械学習モデルの偏見をテストする方法は差別的効果分析と呼ばれる比較的よく知られたプロセスであり、技術的には説明可能なAIとは異なる。確かに両立は可能だが、私は説明可能なAIを第一線の公平性テストツールとしては決して利用しない」（ホール氏）

　機械学習の判断に関する組織の説明を支援する目的でH2O.aiが開発したツールは、独自のAIモデルが出した結果と、他のプロセスを通じて構築されたモデルが出した結果の両方について説明するためのダッシュボードを企業に提供する。

　IBMは2019年8月、同じような目的のツールを発表した。同社は「AI Explainability 360」を「機械学習モデルの解釈可能性と説明可能性に対応した最先端アルゴリズムの包括的なオープンソースツールキット」と説明する。IBMはオープンソースコミュニティーに対し、その拡張に貢献してほしいと呼び掛けている。

　AIを専門とするIBMフェローのサスカ・モイシロビッチ氏は、企業が説明可能なAIを採用すべき理由は消費者に信頼してもらう必要があるからだと説明する。

　「われわれが生活の中で非常に重要な判断を下す参考にする、あるいは判断を導く目的でそうした機械学習アルゴリズムを使おうとするのであれば、安心感や信頼性が真に必要とされる」（モイシロビッチ氏）

　ただし、機械学習による判断をデータサイエンティストに説明するのとはわけが違う。これを一般消費者に説明するためには、はるかに創造的な思考が求められると同氏は言う。

　「公正性は複雑な倫理問題かもしれないが、ある意味で説明可能性はそれ以上に難しい。人が物事をどう説明し、私たちが自分の周りの世界をどう切り抜けて、どのようにコミュニケーションしているかを考えてみてほしい。私たちがそうしている方法はあまりに多く、違いは大きい。私たちは実例と反例を探したり、物事を要約したりする。私たちは、人の交流のそうした表現力を取り入れて、（AIが結論を出すための）コミュニケーションの手段をどう創出するかを考えた」

　「そうした形で説明を引き出す手段はある。そこれでわれわれはこの1年から1年半の間に、人の説明のそうしたさまざまなモードを取り入れて複数のモデルを開発した」

　一例として、IBMが開発した「ProtoDash」と呼ばれるモデルはプロトタイプ（予測を引き出す筋書きの実例）を使ってAIの結果を説明する。「Boolean」決定ルールというモデルは、人が解釈可能な一連のルールを生成する。このモデルはFICO（Fair Isaac Corporation）の第1回「Explainable Machine Learning Challenge」で表彰された。

　最後に、欠けているものを見つけようとする「対照説明」のコンセプトに頼るアプローチもある。

　「例えば医師は、表れている症状と同じくらい、表れていない症状に基づいて患者を診断する傾向がある。もし何かが欠けていれば、それは重要な差別化の要因になる。もしもそれがあったとすれば、全く違う結論になっていたはずだ」。モイシロビッチ氏はそう話す。

不可欠なガバナンス

　グローバルコンサルタント企業EYのAI責任者ソフィア・イーサン氏によると、説明可能なAIの意思決定を創出するという課題は、ツールや技術だけの問題にはとどまらない。

　イーサン氏は言う。「私が自分の仕事をしているときは、真に優秀なデータサイエンティストの立場に立つことがある。彼らを動機付けるのは正確性だ。説明可能性は、彼らが考えていることではない。少なくとも、最初に検討することではない。それについて考えるときは、制約的要素として考えるかもしれない。彼らは制約を受けることは望まない」

　従って、最初からAIプロセスの説明可能性を含む全体的なガバナンス構造を作り出すことは、多くの組織にとって難しいとイーサン氏は言い、「データのトレーニングについて考えるのは、開発ライフサイクルを始めるときだ」と指摘した。

　説明可能性は最初から始める必要があると同氏は言う。「これは、後になってコントロールや確実性を持ち込もうとするようなものではない。開発ライフサイクルを通じてリスクの発見と管理を行い、モデルが使われている間にモニターして、想定通りに機能していることを確認する必要がある」

　AIの判断の公正さに対する一般の関心は高まっている。最初から説明可能性を構築することは、会社の社会的責任の範囲になるとイーサン氏は予想する。

　「社会に対して、精神や肉体の健康に対して、そして環境に対してどんな影響を与えるのか。一般人は全般的に賢くなっている。この問題はブランドの観点から考えられるようになる。人は自分が個人として公平に扱われているかどうかを知りたいと思うだけではなく、もっと広い範囲で物事が公平であり、偏見が入っていないことを知りたいと考える」

　AIが倫理的に受け入れられるようになるためには、単純に機械学習の判断理由を説明する以上のことが求められると指摘するのは、サンフランシスコ大学応用データ倫理センターのディレクター、レイチェル・トーマス氏だ。

　「AIが人々の生活に真に影響を与える判断を行う際は、説明がなければ人をひどくいら立たせる。だが説明だけでは不十分だ。例えば判断をアピールできる能力のような、何らかの頼れるシステムも必要とされる」

　説明可能なAIを最初から構築することの難しさ、そして問題を指摘されたときにそれを正当化することの難しさを考えると、一部組織はそうしたプロセスの一部を飛ばしたい誘惑に駆られるとトーマス氏は言う。

　「これは『フェアウォッシング』と呼ばれる。不公正なシステムを取り上げて、自分たちが下した判断をより公正に正当化できる理由を後付けする。もしも性別を理由にローンを断られた人がいたとすると、後に振り返って『これはクレジット信用スコアのせいだ』と言い聞かせる。人は常に、疑わしさが少ない説明を見つけることができる。なぜ説明可能性そのものが、（倫理的AIを作り出すために）不十分かというもう一つの理由だ」

　一部の組織は、採用に関する判断や犯罪予測の助けになるAIを約束しているが、トーマス氏は企業があらゆる用途のために一律にAIを採用することに対して警鐘を鳴らしている。

　「組織は自分たちの具体的な用途について考える必要がある。何もかもうまくやってくれる魔法のような存在としてAIを見るべきではない。特定の分野では確実な進歩があるかもしれないが、全く進歩がない分野もある。人がこれから何をするかの予想を試みることを前提とするアイデアそのものが、非常に疑わしい」

　AIの人気が高まるほど、その影響に対する一般の懸念も強まる。人が理解でき、受け入れることのできる方法で自分の判断について説明できるAIのみが、それを構築する組織にとっての長期的な価値をもたらす。

説明可能AI：用語集

　機械学習開発環境の「H2O Driverless AI」は、多数の技術を駆使して機械学習の仕組みに関する説明を支援する。以下にその一例を挙げる。

• LIME（Local Interpretable Model-agnostic Explanations）：入力するデータサンプルを変更し、予想がどう変化するかを理解することによってモデルの理解を試みる技術。
• シャープレイ値：ゲーム理論を使って機械学習機能に重要性を割り当て、どれが決定に結び付く公算が大きいかを示す。
• 部分的依存：1つの機能がモデル予測に与える微妙な影響を記述し、そのモデルの他機能の一貫性を保つ。