Cylanceの検出を回避する手口が判明　「AIセキュリティ」は本当に安全か

研究者が「純粋な人工知能（AI）活用型マルウェア対策製品」に、マルウェアを良性と誤認識させる方法を発見した。発見者は今回検証の対象となったCylance製品に限った話ではないと説明する。

公開 2019年08月20日 10時03分

更新 2019年08月22日 16時44分

著者

Michael Heller

[TechTarget]

印刷する

　セキュリティ研究者が、Cylance（2019年2月にBlackBerryが買収）の人工知能（AI）技術を活用したマルウェア対策製品（以下、AI活用型マルウェア対策製品）に関する発見をした。こうしたAI活用型マルウェア対策製品に、マルウェアを良性のファイルだと誤認識させて検出を回避する方法があるという。この方法が他のマルウェア対策製品にも有効かどうかは不明だ。

　この発見はセキュリティ対策支援企業Skylight Cyber Security（以下、Skylight）のCEOであるアディ・アシュケナージ氏と、最高技術責任者（CFO）であるシャハル・ジニ氏の分析に基づく。両氏はCylanceのAI活用型マルウェア対策製品「Cylance PROTECT」のAIエンジンを分析し、これらを「確実にすり抜ける普遍的な回避法」を発見したと発表した。

Cylanceだけの問題ではない

　Skylightのブログ記事にはこう記されている。

特徴抽出プロセス、およびそのプロセスにおける文字列への強い依存とバイアスを分析することで、シンプルかつ興味深い回避法を作成できた。有害ファイルの末尾に特定の文字列を追加すれば、AIエンジンの評価スコアを大幅に改変し、検出を回避できる。この方法は、サイバーセキュリティ推進団体Center for Internet Security（CIS）が発表した『Top 10 Malware May 2019』（2019年5月のトップ10マルウェア）に名を連ねるマルウェアで100％成功した。さらに、これより多い384件のマルウェアサンプルでも90％近い成功率を示した。

　アシュケナージ氏はTechTargetの取材に応じ、「分析と回避法の開発、ブログ記事の執筆に要した時間は約1週間だ」と語った。同氏とジニ氏は2019年7月18日のこの調査結果の公表前に、Cylanceと連絡を取っていなかった。それはこの問題を「ソフトウェアの脆弱（ぜいじゃく）性というより潜在的な回避法」であると考えているからだという。ブログ記事の表題は「Cylance, I Kill You!」（Cylanceを撃破！）にしたものの、「Cylance一社の話ではない」とアシュケナージ氏は言う。

　「私たちは“純粋なAI活用型マルウェア対策製品”の採用するアプローチが攻撃に有効かどうか調べるため、調査対象となるセキュリティベンダーを探した」とアシュケナージ氏は説明する。同氏らの調べによれば、Symantecとトレンドマイクロは“純粋なAI活用型マルウェア対策製品”を扱うベンダーではなかった。CrowdStrikeの製品は、入手を試みてはみたものの、技術的に困難だった。「Cylanceはダウンロードしやすい“純粋なAI活用型マルウェア対策製品”を扱うベンダーで、知名度と評判も十分に高かった」と同氏は理由を説明する。「私たちは今回の調査を、Cylanceの調査というより、“純粋なAI活用型マルウェア対策製品”による防御の調査と見なしている」（同）。Cylanceはたまたまテスト対象になっただけ、というスタンスだ。AI技術を「特効薬」と見なす考え方を検証し、明らかにすることを目的としていたという。

　アシュケナージ氏とジニ氏はこの調査結果の公表以降、「修正に必要なあらゆる技術情報をCylanceに提供した」。ただしアシュケナージ氏は、CylanceがAIエンジンを修正するには時間がかかると考えている。

　「どうなるかは解決方法次第だ」とアシュケナージ氏は述べる。マルウェアと見なすプログラムを定義する「ブラックリスト」を使った修正ならすぐに作成できるが、容易に突破されてしまう。「私たちが発見した核心的なバイアスを修正するには、大掛かりな変更が必要になる」というのが同氏の考えだ。特徴選択プロセスを修正し、文字列への強い依存を排除した上で、AIエンジン自体を再トレーニングし、綿密に検証しなければならない。何度もこの作業を繰り返し、ブラックリストとホワイトリストのメカニズムをなくすか、その比重を減らすことも必要になる。そうした修正は不可能ではないが、従来のマルウェア対策製品のように新しいウイルスシグネチャを送付する方式とは、比べものにならないほど手間がかかると同氏は見積もる。

併せて読みたいお薦め記事

AIセキュリティの弱点

AI技術を悪用する攻撃者

Cylanceはどう対処したのか

　Cylanceは2019年7月21日、Skylightの調査に対する見解を発表し、「数日以内に修正する用意ができている」と述べた。Cylanceは、Skylightが発見した方法は普遍的な回避法ではなく、CylanceのAIエンジンがはらむ脆弱性だと主張した。「アルゴリズムの分析対象である特徴の改変を可能にし、限定的な状況でAIエンジンが導き出す結論を誤ったものにする原因となった」と見解を示した。

　この脆弱性に対して、Cylanceは以下の3つの対策を実施したという。

特徴の改ざんを検出し、評価スコアに影響を与えないようにするため、特徴を抽出するパーサーに改ざん防止制御を追加した。
AIエンジン自体を強化し、特定の特徴の重みが大きくなることを検出できるようにした。
改ざんの影響を受けやすい特徴をAIエンジンから削除した。

　Cylanceによれば「当社のクラウドアーキテクチャの能力を利用してこうした機能強化を自動的に配布できるため、ユーザー企業への影響は最小限に抑えられる」という。同社は「AIマルウェア対策製品は進化するように作られている」と述べ、同社のマルウェア対策製品に機械学習をはじめとするAI技術を活用することの正当性を主張した。同社は公式ブログに以下の通り書いている。

私たちが脅威対策の水準を引き上げるのに対し、攻撃者はこうしたモデルを回避するために新しい脆弱性を探し続けるだろう。それでも、機械学習がマルウェアと戦う非常に効果的な手段であることに変わりはない。ほとんどのセキュリティベンダーがこの技術を採用しているのもそのためだ。（中略）機械学習モデルは第6世代まで進んでおり、これまでの進歩のおかげで業界の進展に素早く適応できるようになった

　Skylightは今回発見した手法をCylanceのAI活用型マルウェア対策製品に対する「普遍的な回避法」と呼んでいるが、この回避法が広い範囲で有効になるかどうかは「製品のAIエンジンへの依存度」次第だとアシュケナージ氏は説明する。Symantecやトレンドマイクロのマルウェア対策製品はそれほどAI技術に依存していないため危険は少ないが、Deep InstinctやEndgameのAI活用型マルウェア対策製品は同様のプロセスの影響を受ける可能性があるものの「その手法は完全に同じではないだろう」と同氏は推測する。

　本校執筆時点の2019年7月23日までで、Cylanceの修正に関する質問に対してアシュケナージ氏は回答していない。Skylightのブログ記事で、アシュケナージ氏とジニ氏は“純粋なAI活用型マルウェア対策製品”を単体で利用するよりも、複数の手法を併用することを勧めている。未知の攻撃にはAI活用型マルウェア対策製品を活用し、検証には実証済みの従来手法を使うというものだ。「“純粋なAI活用型マルウェア対策製品”だけではEPP（エンドポイント保護プラットフォーム）として十分ではなく、ベンダーは複数の検出システムを維持、更新しなければならない。一方で手法を組み合わせたハイブリッド製品はリソースの消費や更新頻度を減らすことはできないとしても、優れた保護能力を発揮できる」と同氏は指摘する。

印刷する