だが、答えに信頼性を持たせることが、AIを使用する際の大きな課題の一つになるとOC&Cは警告する。AIは通常、結果を見て「ルール」を学習する。つまり、AIはある結果を導き出した理由を説明できない可能性がある。これがAIの信頼性に対する深刻な問題につながる恐れがあるというのが同社の警告だ。人間のオペレーターが拒否されたり、規制順守に対する根本的な問題が起きたりすることも考えられる。

ビジネス上のメリットをもたらす説明可能なAI

　2018年、米アリゾナ州でUberの自動運転車に女性がひかれて死亡するという痛ましい事故が大きく報道された。事故の際、車載ソフトウェアは車両の前に物体があることを検知していた。だが、この物体をプラスチック製バッグや風に吹かれて転がる草のように扱ったという主張が匿名の情報源から寄せられた。

　2018年9月にIEEEが発行したレポート「Peeking Inside the Black-Box」（ブラックボックスの中身をのぞき見る）は、執筆者のコンピュータ科学者アミナ・アダディ氏とモハメド・ベラーダ氏が、そのような状況の曖昧な細部を明確にし、発生防止につなげられるのは説明可能なシステムだけだと記している。AIの説明可能性はビジネス上の差別化要素になり、競争力を高めると結論付けた。

　2019年2月にDomino Data Labが主催した期間限定のイベントで、Lloyds Banking Groupのトーラ・アラデ氏は次のように語った。「さまざまな企業がAIを使って決定を下している。だが企業にとっては、AIの決定を説明することが重要になる」

　規制が厳しい一部の業界では、下した決定について企業に説明が求められる（訳注）。AIが決定プロセスに関わっているのであれば、AIが使用したデータの各要素にAIが関わった程度を測定できなければならない。

訳注：「AIのブラックボックス化を許さないGDPRに注意」も参照。

教師あり学習

　AIは「教師あり」と「教師なし」のいずれかで学習される。名前の通り、教師なし学習は機械自体に全てを行わせる。AIは事実上ブラックボックスだ。トレーニングに既知のデータセットを使用する場合よりもデバッグや決定プロセスの理解がはるかに難しくなる。

　教師あり学習は、AIが未知の入力から出力を予測できるように、アルゴリズムのトレーニングに正解ラベル付きの入力データと出力データを使用する。正解ラベル付きのデータは既知なので、このAIアルゴリズムはホワイトボックスといわれる。

　XAI（Explainable AI：説明可能なAI）は、機械学習モデルの予測を説明することを目的とする。ホワイトボックス型AIとブラックボックス型AIが決定を下す方法を「理解」するための予測モデルを作成するツールが登場し始めている。こうしたツールは、AIアルゴリズムが予測した結果と実際の計測結果の誤差に基づいて、何らかの優れた数学演算を効果的に使用する。

　だが適用される領域によっては、AIが既知のデータでトレーニングされていたとしても最適な結果が得られないこともある。Airbusで電子機械工学とロボット工学の主任を務めるセバスチャン・ボリア氏が最近本誌に語ったところによると、特定の手動プロセスに従事する全ての人々のサンプルを取って働き方を理解するAIシステムは恐らく、サンプルが取得された人々の平均に基づいた機械学習モデルを導き出すという。「人口の50％が行っているからというだけで、それが正しい解決策になるわけではない」とボリア氏は話す。

　そのためXAIは、結果がとてつもなく良い場合または悪い場合、AIアルゴリズムに対する学習データの影響を評価しなければならない状況も存在する。この両極端の結果のバイアスは、XAIモデルにつきものだとして慎重に考慮しなければならない。

最終の答えを越えて

　XAIの説明可能性は、単に機械が答えにたどり着く方法を説明するだけでは十分ではない。IEEEのレポートの執筆者によると、人々は「方法」も「理由」も理解しなければならないという。

　このレポートには「モデルを説明できるだけでは不十分で、ユーザーがそれを理解しなければならない」と記されている。だが、正確な説明があったとしても、そうした理解を築き上げるためには「『銀河ヒッチハイク・ガイド』で『42』が意味するものは何か」（訳注）といった、ユーザーが抱えているであろう疑問への補足的な答えが必要になる可能性がある。

訳注：『銀河ヒッチハイク・ガイド』（ダグラス・アダムズのSF小説）の作中で、「生命、宇宙、そして万物についての究極の疑問の答え」を問われたスーパーコンピュータが750万年かけて出した答えが「42」だった。