真假权威!说说安全软件评测和认证那点儿事

企业动态
说起安全软件评测和认证,大家想必都不陌生, VB100、AV-TEST、AV-C、西海岸实验室都是大家耳熟能详的名字,经常见诸于媒体。严格的评测是对安全软件的监督和认可,而能获得认证的产品无一例外将其作为莫大的荣誉。然而当这些评测机构开始与中国特色结合,有时就会产生一些具有中国味道的结果。

说起安全软件评测和认证,大家想必都不陌生, VB100、AV-TEST、AV-C、西海岸实验室都是大家耳熟能详的名字,经常见诸于媒体。严格的评测是对安全软件的监督和认可,而能获得认证的产品无一例外将其作为莫大的荣誉。然而当这些评测机构开始与中国特色结合,有时就会产生一些具有中国味道的结果。

笔者闲来无事,研究了一下目前常常被安全软件厂商拿来作为背书的几家国际评测机构,以帮助大家更好地认识一下这些安全软件评测和认证那些事。

专事认证的西海岸和VB100

两家来自英国的老牌安全软件认证机构西海岸和VB100历史悠久,为安全软件提供认证服务,如果安全软件达到其评测相关的标准,就发给通过证书。

有“安全领域的奥林匹克”之称的VB100,至今已有20年的历史,是在英国著名的反病毒测试机构Virus Bulletin建立的测试认证标准下进行的,以世界性组织Wild List病毒资料库作为病毒来源,对世界各国防病毒软件进行测试后,诊断率100%、误诊率0%时赋予的奖项,是全球性反病毒产品的权威认证。

VB100是老资格的认证机构,严谨客观,能力达不到就无法通过。VB100认证主要以安全软件的病毒检出率、扫描速度以及误报率作为标准,而参加评测的软件诊断率100%、误诊率0%时赋予的奖项,只有通过和失败两个结果。而且VB100秉承造福大众的宗旨,根据安全软件企业的总体收入规模来确定收费标准,基本在1~2万美元之间;对于VB100的评测结果和收费方式,安全软件厂商也能接受并且认同。

WestCoastLabs(西海岸实验室)位于英国,其从1996年推出Checkmark认证方案,测试各类信息安全产品与国际统一认可的最基本标准及规范的符合性表现。Checkmark一级认证(Level1)是“Anti-Virus Desktop”(查毒能力认证);Checkmark二级认证(Level2)就是 “Anti-Virus Disinfection”(杀毒能力认证);Checkmark木马认证(Trojan)就是“Anti-Trojan”(反木马能力认证)。这3项认证都是Checkmark最基础的认证,只有获得“Anti-Malware“(反恶意程序认证)的杀毒软件才能称为全能杀毒软件,才算是获得了英国西海岸实验室最高级别认证。

西海岸实验室的通过难度并不高,但也有着自身的特色,例如针对不同地域、不同产品功能组织针对性的测试,因此也吸引了众多杀毒厂商的关注。但近几年业界有个共识,西海岸有点“高收费,高通过”,收费是每款PC产品每年7万美元左右,而且基本收费就可以过。

认证+成绩排名的AV-TEST和AV-C

AV-TEST和AV-C,这两家机构都在2004年左右推出安全软件评测。与西海岸和VB100相比,这两家机构不仅公布是否通过,还会公布每一家参加评测的安全软件的成绩,从更详细的角度对安全软件的功能进行评定。这两家机构非常严谨和客观,全球安全软件厂商对其结果一致认同,在安全领域也树立了权威。

AV-TEST总部位于德国,是国际公认的权威反病毒评测机构之一,一直以海量病毒库检测、独立客观的检测过程和严格的标准著称,至今已有近20年的历史。

AV-C,全称AV-Comparatives,总部位于奥地利,是全球范围内具有极高知名度和公信力的专业杀毒评测,准入门槛较高。

AV-TEST的评测项目包括“防护、性能和易用性”三大项目,每项目满分6分,总分高于12可获得认证。从各项的得分中还可以对相应的功能模块有更多的了解,让有不同需求的用户可以各取所需。

AV-C的测试项则更看重安全软件的“内功”:包括动态保护测试、性能测试、手动扫描测试等,通过模拟真实用户环境,检测安全软件对病毒木马的查杀能力、对系统运行性能的影响以及误报率等情况。

通过以上介绍我们也基本看出,为何在安全圈,尤其是主流的安全软件厂商都对AV-C、AV-TEST和VB100大加推崇,而越来越忽视西海岸的评测结果。不过西海岸在中国却运行的风声水起,曝光率丝毫不亚于另外三家。

具有中国味道的西海岸赛可达实验室

西海岸在2010底和2011初进入中国,很快发现了它的模式在中国很受欢迎:高收费,无门槛,基本可以收费定制,从而为安全软件厂商做评测背书。比如任何一家安全厂商只要推出一款安全软件,就可以通过高额收费出具一份通过的定制报告,作为该安全软件的资历证明。

让时间回到2011年,西海岸派出了一位中国人作为驻中国代表,将中国生意做的风生水起,据说一款PC端的安全软件的认证费用在7万美元左右,一款手机端的软件收费在3.5万左右。以百度为例,按照基本报价,PC端的杀毒产品有北京(雪狼引擎)和深圳(卡巴引擎)需要各交7万美元、手机端3.5万美元,加起来就要17.5万美元,国内厂商还有腾讯、360、金山、阿里等多家厂商,每家厂商都有PC和手机端多款产品,西海岸在中国的营收算起来相当不错。

而到了2013年,西海岸的中国代表干脆成立了一个叫赛可达的机构,该机构号称西海岸的中国实验室,将生意模式修正的更加具有中国特色,可以讨价还价,更加可以定制评测结果,比如一家新进入安全领域的企业,新推出了一款杀毒产品,只要掏大价钱,就可以给出一个中文第一的评测结果。

随着时间的推移,赛可达的生意越发红火,名声越来越响,评测范围也进一步扩展到了浏览器、网站安全、防火墙等产品。在赛可达2015年的评测标准中,甚至涉足了APT领域。哪个领域掏钱就可以评测哪个领域,哪个企业肯掏钱就可以定制一份西海岸赛可达的评测结果,但这份评测结果的公信力到底值几何,就是见仁见智的事了。

再来看看赛可达的“实力”,公司只有5~6位兼职的技术实习,这些兼职实习生就是所谓的评测人员。从人员构成看这个机构基本就是一个商务或者生意机构,真实的评测能力根本无法保证。不要说VB100和两个AV,要知道一个像个人电脑或者ZOL这样的媒体评测实验室动辄也会有近10人的专业评测人员。在专业力量和可信度上,赛可达的表现很难服众。

再来看看赛可达的评测体系,它的样本收集全部让厂商自己提供,用厂商自己的样本评测厂商的产品,这不仅仅是开卷考试,而是让学生出考题。至于样本分析,看看赛可达的人员构成,基本就可以了解他们的分析能力究竟有几分功力了。

最后再讲一个小故事:据某企业的内部人士透露,他们委托赛可达的一份评测,由于赛可达没有能力评测,评测是由这个企业的技术人员自己完成评测和报告,然后由赛可达发布。学生先出题、再考试、最后自己打分,再公布于众,赛可达评测的活也太好干了点。

地道中国“制造”的PCSL

相比以上四大家评测机构,中国的PCSL名气要小很多,但也经常被安全软件厂商用来做公关宣传。

以下是百科里对PCSL的介绍:PCSL是国内一家专业从事计算机反病毒软硬件测试的独立第三方咨询机构,在中国地区具有较强的地区代表性。其测试咨询服务得到全球各大主流安全软硬件厂商的认可与信赖。

从介绍看,PCSL毫不掩饰自己的中国地区代表性,这是一个地地道道的“中国制造”的评测机构,所以中国特色比赛可达还要鲜明。

PCSL于2008年3月成立于北京。2011年6月搬至浙江省嘉兴市,PCSL品牌正式转由嘉兴市辰翔信息科技有限公司持有并成为该公司主要IT产品测试咨询品牌之一。

PCSL目前只有五六个员工,全部是本土招聘,基乎没有权威安全企业背景。与AV-C和AV-TEST定期发布测评报告不同,PCSL基本没有固定时间发布报告,而且报告内容没有统一标准,也算是企业给钱就出报告的这种。总而言之,PCSL的测评权威性比较低,业内越来越不认可,可谓是安软策评机构里的乡镇企业。

在百科中引用了公司创始人吴江的话:大多数软件测试更确切地说是一种调试,侧重于软件的稳定性、内容开发等,而我们的软件测试更倾向于对软件的评估。我们从用户角度出发,告诉软件开发商,他们的软件给消费者带来哪些方面的不便。

显然PCSL并非一个专业的评测机构,更像是一些媒体实验室一样,区别于传统软件“找漏洞式”测试,采用“体验式”测试方式。

PCSL会收费接受一些企业的定制评测报告,根据收费高低,安装企业的要求,定制出一些满足公关需求的报告,一些安全厂商经常会拿着PCSL的报告来标榜自己的专业性,这样很危险,毕竟PCSL能力不是专业,用它的报告做自己专业能力的宣传,一定会被打脸。

责任编辑:chenqingxiang
相关推荐

2010-08-10 15:08:17

UPS电源评测

2011-05-25 19:37:47

2011-04-14 14:23:06

软件测试测试

2013-11-01 14:33:32

王军Testin手游KPI

2019-07-01 14:55:44

应用安全web安全渗透测试

2011-08-31 10:15:48

桌面管理软件

2015-07-06 11:35:07

预装软件

2021-04-13 09:12:45

网络设备无线路由器交换机

2018-03-15 15:12:00

润乾报表集成

2012-02-22 09:32:58

云计算微软Azure

2011-03-11 13:13:24

2011-02-22 09:47:58

WatchStor 征

2021-07-30 07:28:15

Kafka消息引擎

2018-10-22 13:34:24

SD-WAN运维网络

2009-07-03 14:16:30

JSP Servlet

2013-10-12 13:26:08

设计加载

2015-09-01 15:12:45

JavaHashMap那点事

2013-04-28 09:50:02

PHPMySQL

2012-06-11 15:02:53

ASP.NET

2023-12-21 20:53:15

点赞
收藏

51CTO技术栈公众号