侵害検知製品を手掛けるFireEyeの最高技術責任者（CTO）を務めるデーブ・マーケル氏は、同リポートが発表されるやいなや、こうした評価結果に猛反発し、FireEyeの製品は、2013年に悪用されたことが知られている13件のゼロデイ脆弱性のうち11件を検出したと述べた。

　マーケル氏は、NSS Labsのリポートを受けて「ラボのテストでは根本的に、手練手管に長けた犯罪ネットワークや国家が仕掛ける高度な標的型攻撃を再現できない」とメディアに声明を出した。

　FireEyeの製品担当上級副社長、マニッシュ・グプタ氏は4月初旬に公開したブログで、NSS Labsのリポートへの詳細な反論を展開した。FireEyeは2013年に実施されたNSSのテストプロセスに参加したが、その際に「テスト方法論の欠陥」を批判、直近のテストに関しては参加を断ったという。グプタ氏は、この2013年のテストでFireEyeの製品は、348件のマルウェアサンプルのうち201件を検知したが、FireEyeは、検知に失敗したと見なされた147件のうち、117件は重複したもので、19件は破損していたと考えていると主張。残りの11件は「無害」だったとしている。

　グプタ氏は特に、「NSS Labsは、既知マルウェアのサンプルに依存している」と批判。そのほとんどは無料マルウェアスキャンサービス「VirusTotal」から取られており、「FireEye製品が検出実績で知られているゼロデイ攻撃は、サンプルに全く含まれていない」と主張している。また、NSS Labsの調査担当者がFireEyeのクラウドサービス「Dynamic Threat Intelligence」を利用しなかったことから、「FireEye製品の効果は通常より低いものにとどまった」と述べている。

　「われわれはNSS Labsとその取り組み、特に、IPS（侵入防御システム）に関する取り組みに敬意を払っており、NSS LabsのBDSテスト方法論は、IPS製品のテストにも非常に適している」とグプタ氏。「しかし、今回のNSS Labsによる高度な脅威への評価が示すのは、セキュリティ業界において巧妙な攻撃に関する知識不足がまん延しているということだ」

NSS Labsは金もうけ優先？

　FireEyeによる批判は、主にNSS Labsのテスト方法に焦点が当てられていたが、ネットワークセキュリティベンダーの米Palo Alto NetworksのCTOを務めるニア・ズーク氏は、NSS Labsが「Pay to Play」（お金を払ってプレーする）モデルに依存して、こうしたリポートから利益を得ていると主張している。

　ズーク氏はニュースサイト米CRN.comの取材に対し、NSS Labsはリポートで取り上げたベンダーに、テスト結果を公表するための“再版権”を供与しており、交渉で決まるそのライセンス料は、テストが未公開の場合、時には10万ドルを超えることもあると語った。この慣行のせいで、「二流のベンダー」でも評価がかさ上げされてしまうという。

　「ベンダー2社だけのリポートを作ってもうまみがない。10社のリポートを作って1社につき10万ドルずつチャージしようということになる。そうやってもうけるわけだ」と、ズーク氏はCRN.comに語った。「テストのハードルをかなり高くして、1～2社のベンダーしかそれをクリアできなければ、他のベンダーはお金を出してくれないだろう」

　米TechTargetの取材に対しFireEyeの広報担当者は、グプタ氏のブログは「NSS Labsのテストに対して大きく異議を唱えたもの」だと述べ、それ以上のコメントを控えた。

　NSS Labsのビクラム・ファタックCEOはズーク氏の主張を一蹴し、ズーク氏は以前にも似たような発言をして、NSS Labsに謝罪せざるを得なくなったと語る。

　「われわれはやましいお金は一切受け取っていない。われわれがテスト結果を公にするときはいつも、その内容がどのようなものであれ、それはビジネスのために手心を加えたものではない」とファタック氏。「現在のところ、テスト対象企業の数にかかわらず、評価ランクで上位2～3社に入ったベンダーはどこも、われわれのテストが信頼されているからだろうが、そのコンテンツを宣伝するために再版権を購入してくれる。しかしそれは、米Consumer Reports誌や米Gartnerの『Magic Quadrant』で高く評価された場合と同じことだ」（ファタック氏）

　ファタック氏はFireEyeからの批判については、FireEyeは自社製品がテストされることを「百も承知していて」、同社のエンジニアは、NSS Labsの施設でのオンサイトインストールプロセスに実際に関与したと強調。さらに、テストで作成されたフォレンジック情報は全て、FireEyeを含め、リポートで取り上げられた全てのベンダーに提供されており、「全社ともリポートの発表前に、何か問題があると考えた場合に意見を述べる機会は豊富に与えられていた」と説明する。

　また、ファタック氏は、マルウェアサンプルについてのグプタ氏の批判に関しても、リポートで取り上げられた他のベンダーは、この問題を提起していないと語る。

セキュリティ製品の中立的なテストアプローチ

　ファタック氏によると、NSS Labsはリポートで、侵害検知システムについては、ウイルス対策システムや侵入防御システムなど、他のセキュリティ技術をすり抜ける攻撃の検知能力のみに基づいて評価したという。NSS Labsは、脆弱性の悪用プロセスには5段階あると考えており、「ベンダーはどの段階で攻撃を検知しても、プラスに評価される」と同氏は説明する。例えば、初期感染や、マルウェアからコマンド＆コントロール（C＆C）インフラへのコールバックといった段階があるという。

　ファタック氏は、テストプロセスは、NSS Labsの顧客企業の要望に基づいていると語る。顧客企業は、自社の環境における侵害の可能性を的確に把握することをひとえに望んでいるという。

　「実際、誰かがわれわれの知らない6つ目の切り口を生み出し、それによって何かを検知できれば、素晴らしいことだ」とファタック氏。「われわれとしては、感染を検知したことをログで示してくれさえすれば、評価の材料にする。このテストでは、技術的な方法については、非常に幅広く受け入れる中立的なアプローチを取った」

　Cisco Systemsは、買収したSourcefireの技術に基づく「AMP」製品がNSS Labsのリポートで取り上げられている。Cisco Systemsのセキュリティビジネス部門エンジニアリング担当シニアディレクターを務めるアル・ヒューガー氏は、NSS Labsのテストプロセスは、テストの終了前に結果を改善する機会をベンダーに提供することが多い他のテスト会社と比べると「広範囲にわたり主体的に運営されている」と語った。また、NSS Labsは、製品の初期セットアップが正しく行われるようにベンダーの力を借りるが、その後、ベンダーの出る幕はあまりないという。

　「NSS Labsの調査担当者が使用したマルウェアサンプルは、この種の評価用としては全く妥当なものだった」とヒューガー氏は指摘する。それらのサンプルは、テストの実施時にWebで実際に行われていた攻撃キャンペーンから取られたからだ。「このテストは、投入されたマルウェアの量の膨大さを別にすれば、実世界のシナリオを十二分に再現していた」と同氏は評価する。

　「ネットワークを経由した脆弱性の悪用から、エンドポイントへの侵入、そしてまたインターネット通信といった具合に、脅威のライフサイクル全体が再現されていた」とヒューガー氏。「これは今日の企業で見られるのと同じものだ。テストのために、マルウェアの量だけが通常の場合と違っていた」

　NSS Labsのファタック氏は、「結局のところ、FireEyeの製品がパフォーマンスの点で他のベンダーの製品に及ばなかったということだ」と語る。しかし、FireEyeチームの力量を踏まえ、同氏は、「同社が研究開発投資を拡大し、強力な製品を携えて将来のテストに復帰するだろう」と予想している。

　「率直に言って、FireEyeは上場企業だ。彼らが全く事実でないことを言うのは驚きだ」（ファタック氏）