Cylanceの検出を回避する手口が判明 「AIセキュリティ」は本当に安全か：AIエンジンの判断基準を改ざんする

研究者が「純粋な人工知能（AI）活用型マルウェア対策製品」に、マルウェアを良性と誤認識させる方法を発見した。発見者は今回検証の対象となったCylance製品に限った話ではないと説明する。

[Michael Heller，TechTarget]

　セキュリティ研究者が、Cylance（2019年2月にBlackBerryが買収）の人工知能（AI）技術を活用したマルウェア対策製品（以下、AI活用型マルウェア対策製品）に関する発見をした。こうしたAI活用型マルウェア対策製品に、マルウェアを良性のファイルだと誤認識させて検出を回避する方法があるという。この方法が他のマルウェア対策製品にも有効かどうかは不明だ。

　この発見はセキュリティ対策支援企業Skylight Cyber Security（以下、Skylight）のCEOであるアディ・アシュケナージ氏と、最高技術責任者（CFO）であるシャハル・ジニ氏の分析に基づく。両氏はCylanceのAI活用型マルウェア対策製品「Cylance PROTECT」のAIエンジンを分析し、これらを「確実にすり抜ける普遍的な回避法」を発見したと発表した。

Cylanceだけの問題ではない

　Skylightのブログ記事にはこう記されている。

特徴抽出プロセス、およびそのプロセスにおける文字列への強い依存とバイアスを分析することで、シンプルかつ興味深い回避法を作成できた。有害ファイルの末尾に特定の文字列を追加すれば、AIエンジンの評価スコアを大幅に改変し、検出を回避できる。この方法は、サイバーセキュリティ推進団体Center for Internet Security（CIS）が発表した『Top 10 Malware May 2019』（2019年5月のトップ10マルウェア）に名を連ねるマルウェアで100％成功した。さらに、これより多い384件のマルウェアサンプルでも90％近い成功率を示した。

　アシュケナージ氏はTechTargetの取材に応じ、「分析と回避法の開発、ブログ記事の執筆に要した時間は約1週間だ」と語った。同氏とジニ氏は2019年7月18日のこの調査結果の公表前に、Cylanceと連絡を取っていなかった。それはこの問題を「ソフトウェアの脆弱（ぜいじゃく）性というより潜在的な回避法」であると考えているからだという。ブログ記事の表題は「Cylance, I Kill You!」（Cylanceを撃破！）にしたものの、「Cylance一社の話ではない」とアシュケナージ氏は言う。

　「私たちは“純粋なAI活用型マルウェア対策製品”の採用するアプローチが攻撃に有効かどうか調べるため、調査対象となるセキュリティベンダーを探した」とアシュケナージ氏は説明する。同氏らの調べによれば、Symantecとトレンドマイクロは“純粋なAI活用型マルウェア対策製品”を扱うベンダーではなかった。CrowdStrikeの製品は、入手を試みてはみたものの、技術的に困難だった。「Cylanceはダウンロードしやすい“純粋なAI活用型マルウェア対策製品”を扱うベンダーで、知名度と評判も十分に高かった」と同氏は理由を説明する。「私たちは今回の調査を、Cylanceの調査というより、“純粋なAI活用型マルウェア対策製品”による防御の調査と見なしている」（同）。Cylanceはたまたまテスト対象になっただけ、というスタンスだ。AI技術を「特効薬」と見なす考え方を検証し、明らかにすることを目的としていたという。

　アシュケナージ氏とジニ氏はこの調査結果の公表以降、「修正に必要なあらゆる技術情報をCylanceに提供した」。ただしアシュケナージ氏は、CylanceがAIエンジンを修正するには時間がかかると考えている。

　「どうなるかは解決方法次第だ」とアシュケナージ氏は述べる。マルウェアと見なすプログラムを定義する「ブラックリスト」を使った修正ならすぐに作成できるが、容易に突破されてしまう。「私たちが発見した核心的なバイアスを修正するには、大掛かりな変更が必要になる」というのが同氏の考えだ。特徴選択プロセスを修正し、文字列への強い依存を排除した上で、AIエンジン自体を再トレーニングし、綿密に検証しなければならない。何度もこの作業を繰り返し、ブラックリストとホワイトリストのメカニズムをなくすか、その比重を減らすことも必要になる。そうした修正は不可能ではないが、従来のマルウェア対策製品のように新しいウイルスシグネチャを送付する方式とは、比べものにならないほど手間がかかると同氏は見積もる。

併せて読みたいお薦め記事

AIセキュリティの弱点

• 「AIセキュリティ製品」を万能だと思ってはいけない、これだけの理由
• 「AI」（人工知能）はなぜセキュリティツールに必要なのか？
• AIを活用したセキュリティ対策　何に使える？　何が課題？

AI技術を悪用する攻撃者

• 人のように振る舞う「AIマルウェア」の脅威とは
• 「AIサイバー攻撃」とは何か？　Twitterの悪用を例に解説

Cylanceはどう対処したのか