AIエンジンに問題が発生したら？

――　AI技術の弱点とは、内部で起こっていることを把握しづらくなる場合がある、ということでしょうか。

タリー氏　AIエンジンの処理内容の解釈は、一つの大きなトピックになる。セキュリティのような厳密性が求められる分野では、特にそうだ。

　恐らく2019年か2020年には、AIエンジンの処理内容について、より詳しい「コンテキスト」（背景情報）を提供できるベンダーや専門家が現れるだろう。特定のデータが悪質かどうかだけでなく、悪質と判断した厳密な理由まで分かるようになる可能性がある。具体的には、悪質だと見なした厳密な根拠となるソーシャルメディアの投稿、改変、悪質なリンクなどを浮き彫りにできる。

　コンテキストに基づいてAIエンジンをトレーニングしようとしても、現在の主流であるディープラーニングベースのAIエンジンでは、すぐには実現できない可能性がある。他社に先駆けてそうした取り組みや製品化に着手した企業が、さらに詳しいコンテキストを引き出せるようになるとすれば、それを差異化要因として製品を売り出せるようになるだろう。現在はベンダーの間で「うちは機械学習を採用している。話は終わりだ」といった主張がまかり通っている。コンテキストの提供が特別なことではなくなれば、こうした主張の陰に隠れることはできなくなる。

――　AIエンジンに問題が発生したら、どのように解決しますか。

タリー氏　データサイエンティストの作業プロセスに、常にAIエンジンの再トレーニングを含める必要がある。特にセキュリティの分野では、対象となるデータ自体が頻繁に変化するため、AIエンジンは非常に動的な要素になる。特に新しいデータが登場した場合、再トレーニングは必須となる。

　古いデータは必ずしも破棄することはない。経験上、攻撃者の多くはあらゆる手口を再利用するからだ。5年前に発生した攻撃を再び目にすることもある。ただしAIエンジンのトレーニングに関しては、より新しいデータをAIエンジンにとって最も重要なデータだと捉えた方がよい。

――　IBMは最近、攻撃からAIエンジンを保護するオープンソースのツールボックスをリリースしました。AIエンジンの分類精度を下げる攻撃からの保護を目的としています。こうした攻撃の仕組みを説明してください。

タリー氏　こうした攻撃の代表例として「トレーニングセットポイズニング」がある。

　私も含め、多くの専門家はAIエンジンの強化に公開データを利用している。そうしたデータには既にラベルが付けられていることがあり、多少の近道になるからだ。AIエンジンを一から構築することを希望する場合でも、こうしたデータを出発点にできる。

　トレーニングセットポイズニングは、非常に理論的な攻撃だ。これが実際に実行された話は聞いたことがない。私がずる賢い攻撃者だとして、セキュリティベンダーや専門家がAIエンジンのトレーニングに使用すると分かっている公開データがあるとしたら、どうするだろうか。私なら意図的に誤りのあるデータをそこに埋め込むだろう。こうしたデータを使用してAIエンジンのトレーニングをしてしまうと、そのAIエンジンはデータを正しく分類できなくなる可能性がある。

　AIエンジンは、あきれるほどの間違いをすることがある。その好例は画像分野に見られる。バスの画像を用意し、それにわずかなノイズを加えるとしよう。実際には幾つかのピクセルが変更されるものの、人間にとって変更点は非常に分かりづらく、全く同じ画像に見えることもある。だがAIエンジンにとっては、そうはならない。その画像をバスではなくダチョウに分類してしまう可能性もゼロではないのだ。

　攻撃者の観点から見ると、特定の標的に狙いを定めた攻撃者は、その標的を守る要素には関心を向けない。機械学習、単語照合、シグネチャベース検出など、それが何であっても気にすることはないだろう。どちらにせよ攻撃者は攻撃を仕掛けることになる。金銭的な動機がある限り、攻撃者が手を休めることはない。