公正で最適な製品評価とは
セキュリティベンダーが猛抗議した製品評価リポートの内容
NSS Labsが公表した製品比較リポートがベンダーの間で物議を醸している。情報セキュリティ製品における公正で最適な製品評価の方法とは。
独立系情報セキュリティ調査・アドバイザリー会社の米NSS Labsは2014年4月初旬、6つの主要な企業向け侵害検知システム(BDS:Breach Detection System)のテストを実施し、その結果をまとめたリポート「Breach Detection Systems Comparative Analysis and Security Value Map」(侵害検知システムの比較分析とセキュリティ価値マップ)を発表した。
このリポートでNSS Labsは、米Cisco Systemsのセキュリティ部門Sourcefire、日本のTrend Micro、米Fidelis、米Fortinetの製品に好評価を与えた。だが、米FireEye、韓国AhnLabの製品については「注意」に分類した。これは、両社の製品が、「3年間のTCO(総所有コスト)とセキュリティ効果の測定結果から見て、ROI(費用対効果)が限られている」と判定されたからだ。
侵害検知製品を手掛けるFireEyeの最高技術責任者(CTO)を務めるデーブ・マーケル氏は、同リポートが発表されるやいなや、こうした評価結果に猛反発し、FireEyeの製品は、2013年に悪用されたことが知られている13件のゼロデイ脆弱性のうち11件を検出したと述べた。
マーケル氏は、NSS Labsのリポートを受けて「ラボのテストでは根本的に、手練手管に長けた犯罪ネットワークや国家が仕掛ける高度な標的型攻撃を再現できない」とメディアに声明を出した。
FireEyeの製品担当上級副社長、マニッシュ・グプタ氏は4月初旬に公開したブログで、NSS Labsのリポートへの詳細な反論を展開した。FireEyeは2013年に実施されたNSSのテストプロセスに参加したが、その際に「テスト方法論の欠陥」を批判、直近のテストに関しては参加を断ったという。グプタ氏は、この2013年のテストでFireEyeの製品は、348件のマルウェアサンプルのうち201件を検知したが、FireEyeは、検知に失敗したと見なされた147件のうち、117件は重複したもので、19件は破損していたと考えていると主張。残りの11件は「無害」だったとしている。
グプタ氏は特に、「NSS Labsは、既知マルウェアのサンプルに依存している」と批判。そのほとんどは無料マルウェアスキャンサービス「VirusTotal」から取られており、「FireEye製品が検出実績で知られているゼロデイ攻撃は、サンプルに全く含まれていない」と主張している。また、NSS Labsの調査担当者がFireEyeのクラウドサービス「Dynamic Threat Intelligence」を利用しなかったことから、「FireEye製品の効果は通常より低いものにとどまった」と述べている。
「われわれはNSS Labsとその取り組み、特に、IPS(侵入防御システム)に関する取り組みに敬意を払っており、NSS LabsのBDSテスト方法論は、IPS製品のテストにも非常に適している」とグプタ氏。「しかし、今回のNSS Labsによる高度な脅威への評価が示すのは、セキュリティ業界において巧妙な攻撃に関する知識不足がまん延しているということだ」
NSS Labsは金もうけ優先?
FireEyeによる批判は、主にNSS Labsのテスト方法に焦点が当てられていたが、ネットワークセキュリティベンダーの米Palo Alto NetworksのCTOを務めるニア・ズーク氏は、NSS Labsが「Pay to Play」(お金を払ってプレーする)モデルに依存して、こうしたリポートから利益を得ていると主張している。
ズーク氏はニュースサイト米CRN.comの取材に対し、NSS Labsはリポートで取り上げたベンダーに、テスト結果を公表するための“再版権”を供与しており、交渉で決まるそのライセンス料は、テストが未公開の場合、時には10万ドルを超えることもあると語った。この慣行のせいで、「二流のベンダー」でも評価がかさ上げされてしまうという。
「ベンダー2社だけのリポートを作ってもうまみがない。10社のリポートを作って1社につき10万ドルずつチャージしようということになる。そうやってもうけるわけだ」と、ズーク氏はCRN.comに語った。「テストのハードルをかなり高くして、1~2社のベンダーしかそれをクリアできなければ、他のベンダーはお金を出してくれないだろう」
米TechTargetの取材に対しFireEyeの広報担当者は、グプタ氏のブログは「NSS Labsのテストに対して大きく異議を唱えたもの」だと述べ、それ以上のコメントを控えた。
NSS Labsのビクラム・ファタックCEOはズーク氏の主張を一蹴し、ズーク氏は以前にも似たような発言をして、NSS Labsに謝罪せざるを得なくなったと語る。
「われわれはやましいお金は一切受け取っていない。われわれがテスト結果を公にするときはいつも、その内容がどのようなものであれ、それはビジネスのために手心を加えたものではない」とファタック氏。「現在のところ、テスト対象企業の数にかかわらず、評価ランクで上位2~3社に入ったベンダーはどこも、われわれのテストが信頼されているからだろうが、そのコンテンツを宣伝するために再版権を購入してくれる。しかしそれは、米Consumer Reports誌や米Gartnerの『Magic Quadrant』で高く評価された場合と同じことだ」(ファタック氏)
ファタック氏はFireEyeからの批判については、FireEyeは自社製品がテストされることを「百も承知していて」、同社のエンジニアは、NSS Labsの施設でのオンサイトインストールプロセスに実際に関与したと強調。さらに、テストで作成されたフォレンジック情報は全て、FireEyeを含め、リポートで取り上げられた全てのベンダーに提供されており、「全社ともリポートの発表前に、何か問題があると考えた場合に意見を述べる機会は豊富に与えられていた」と説明する。
また、ファタック氏は、マルウェアサンプルについてのグプタ氏の批判に関しても、リポートで取り上げられた他のベンダーは、この問題を提起していないと語る。
セキュリティ製品の中立的なテストアプローチ
ファタック氏によると、NSS Labsはリポートで、侵害検知システムについては、ウイルス対策システムや侵入防御システムなど、他のセキュリティ技術をすり抜ける攻撃の検知能力のみに基づいて評価したという。NSS Labsは、脆弱性の悪用プロセスには5段階あると考えており、「ベンダーはどの段階で攻撃を検知しても、プラスに評価される」と同氏は説明する。例えば、初期感染や、マルウェアからコマンド&コントロール(C&C)インフラへのコールバックといった段階があるという。
ファタック氏は、テストプロセスは、NSS Labsの顧客企業の要望に基づいていると語る。顧客企業は、自社の環境における侵害の可能性を的確に把握することをひとえに望んでいるという。
「実際、誰かがわれわれの知らない6つ目の切り口を生み出し、それによって何かを検知できれば、素晴らしいことだ」とファタック氏。「われわれとしては、感染を検知したことをログで示してくれさえすれば、評価の材料にする。このテストでは、技術的な方法については、非常に幅広く受け入れる中立的なアプローチを取った」
Cisco Systemsは、買収したSourcefireの技術に基づく「AMP」製品がNSS Labsのリポートで取り上げられている。Cisco Systemsのセキュリティビジネス部門エンジニアリング担当シニアディレクターを務めるアル・ヒューガー氏は、NSS Labsのテストプロセスは、テストの終了前に結果を改善する機会をベンダーに提供することが多い他のテスト会社と比べると「広範囲にわたり主体的に運営されている」と語った。また、NSS Labsは、製品の初期セットアップが正しく行われるようにベンダーの力を借りるが、その後、ベンダーの出る幕はあまりないという。
「NSS Labsの調査担当者が使用したマルウェアサンプルは、この種の評価用としては全く妥当なものだった」とヒューガー氏は指摘する。それらのサンプルは、テストの実施時にWebで実際に行われていた攻撃キャンペーンから取られたからだ。「このテストは、投入されたマルウェアの量の膨大さを別にすれば、実世界のシナリオを十二分に再現していた」と同氏は評価する。
「ネットワークを経由した脆弱性の悪用から、エンドポイントへの侵入、そしてまたインターネット通信といった具合に、脅威のライフサイクル全体が再現されていた」とヒューガー氏。「これは今日の企業で見られるのと同じものだ。テストのために、マルウェアの量だけが通常の場合と違っていた」
NSS Labsのファタック氏は、「結局のところ、FireEyeの製品がパフォーマンスの点で他のベンダーの製品に及ばなかったということだ」と語る。しかし、FireEyeチームの力量を踏まえ、同氏は、「同社が研究開発投資を拡大し、強力な製品を携えて将来のテストに復帰するだろう」と予想している。
「率直に言って、FireEyeは上場企業だ。彼らが全く事実でないことを言うのは驚きだ」(ファタック氏)
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
新着ホワイトペーパー PR
-
プレミアムコンテンツ
[アイティメディア株式会社] AI活用を成功に導く「オブジェクトストレージ」 NAS/SANの限界を突破するには -
プレミアムコンテンツ
[アイティメディア株式会社] 「性能ならSSD」「大容量ならHDD」はもう古い? 変わるストレージの常識 -
プレミアムコンテンツ
[アイティメディア株式会社] 「オンプレミス回帰」がまさかの失敗に クラウドをやめずに安くする最適化手法 -
事例
[発注ナビ株式会社] AI活用を成功させる企業とそうでない企業の違いとは? -
製品レビュー
[発注ナビ株式会社] システム開発「はじめの一歩」 押さえておきたい基礎知識と失敗を防ぐ方法
こんなメディアも見られています
TechTargetジャパンに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
ベンダーコンテンツ PR
From Informa TechTarget
SpecialPR
アクセスランキング
-
1
SAP移行で1900億円の赤字 「ベンダー任せ」が招くERP崩壊と回避策
-
2
「VMware vCenter」でゼロデイ悪用、PHPも修正――今朝の情シスニュース
-
3
「Copilot利用率99%」デンソー驚異の定着術 3万人を動かした“社長賞”の舞台裏
-
4
「GPT-6.1 Terra」は半額 それでもなぜ企業はAIモデルを選べないのか?
-
5
「nginx」のHTTP/2脆弱性(CVSS 9.2)、パッチ適用までの緊急チェックリスト
-
6
積水化学工業が「SAP S/4HANA Cloud」の“全グループ導入”に踏み切った訳
-
7
AIに長文を入力する際の「コンテキストウィンドウ」の適切な扱い方はどれ?
-
8
“アジャイルの壁”に挑むオリックス生命がIBMの開発管理ツールを選んだ理由
-
9
「Chrome」「Edge」「Firefox」のメモリ使用量はどれだけ違う? 測定してみた
-
10
「Active Directory」復旧で“詰む”企業が続出 ランサムウェアに備える4対策
ホワイトペーパーランキング PR
-
1
「IT史に名を残すシステム障害」8選
-
2
SCS評価制度時代の「SASE選定」ガイド
-
3
Microsoft 365 Copilotを安全&効果的に活用するために必要な「2つの準備」
-
4
Microsoft 365のメールセキュリティ、3つの“死角”と追加で検討すべき対策とは
-
5
パスワード管理だけで十分? 特権アクセスを脅かす暗号鍵の放置リスクとは
-
6
すぐ分かる「AWS WAF」ガイド:特徴・運用課題・メリットを解説
-
7
マンガで解説:情シスの負担を減らす「MDRサービスのインシデント対応」の中身
-
8
「Copilot Cowork」でこう変わる AIエージェント時代の新たな働き方とは
-
9
AI活用で激化する外部・内部リスク、取引先へ波及する脅威から守る対策とは?
-
10
Microsoft 365 Copilotで実際何ができる? 回答の精度を高めるRAGとは?
TechTargetジャパン SNS
インフォメーション
注目情報をチェック
TechTargetジャパンをフォロー