11月25号发布了《安全可靠测评工作指南 V2.0》，这也是首次在官网上公开发布此类文件，也进一步说明了信创工作正在走向公开化和常态化。基于测试的评测工作，一般来说对于广大产品厂商来说，是相对公平的，因为这种公开报名的测试让所有厂商都有一个参加的机会。不过只要是评测，各种非技术因素就肯定充斥其中。在自媒体如此发达的今天，评委作弊包庇某些厂商的可能性不高，要做也很难做得十分隐蔽。不过评测就是一种考试，只要是考试，作弊还是免不了的，考生利用考试规则的漏洞让自己的特长得到放大的事情也是屡见不鲜的。
就连国际巨头在各种基准测试和入网测试中也是经常作弊的，而且他们利用规则的能力要比绝大多数国内同行高明得多。十多年前我主持一次大国企的招标基准测试，某国际巨头的某几个测试场景好得离谱，但是根据我们的校验工具无法发现任何作弊现象。百思不得其解的时候，看到我写的《Oracle优化日记》倒扣在桌上，拿起来一看恍然大悟，原来他们在不改变数据的前提下，把某张大表的数据重新排序了一下，让索引扫描的Cluster Factor大幅降低，从而获得了更好的测试成绩。因为我们不是测试Oracle的性能和对Oracle的优化能力，而是测试服务器跑Oracle的能力，大家必须在同一个基准线下完成所有测试，才能获得可观的评估，所以他们被要求重测了这些场景。
国际巨头的作弊还是有底线的，都是利用自己的技术能力来作弊，某些国内大厂的作弊则毫无底线，甚至我还听说过某些国产厂商专门有人收集和编写各种测试作弊的手段，供新的测试项目使用，这种聪明劲儿如果用在提高产品质量上该有多好。
不管怎么说，如果能够抓住测试方案的漏洞，并加以合理利用，也算是厂商的一种能力吧，而测试者也需要不断反思以往测试方案中的漏洞，听取专家和参测受害者的建议和投诉，不断优化方案，才能让这项无法100%公正的测试工作变得更加公正一点。《工作指南》V2.0中我们就看到了一些这方面的积极因素。
国测该如何申请，很多想要参加国测的厂家都不太清楚，在V2.0中，不仅把流程描述得十分清晰，报名时间也已明确发布。
公开、明确的工作方案让所有想要参与测试的厂家有了一个可以公开遵循的办事流程，此后“错过报名时间”、“我们不是技术不行，是材料准备不符合标准”之类的托词大家就不用听了。
在申请条件中我也看到了一些亮点，首先送测产品必须在市场公开销售，这一条以前就有但是没有明确。如果产品只是一个实验室产品，并无市场销售的成功案例，是不符合送测条件的。不过这可能又会变成一个死循环，让新加入这个行业的厂商十分难受。没过国测，没人敢买；没人买，无法参加国测！
第六条是业内厂商、专家反馈比较多的问题，某些不良商家为了误导用户，浑水摸鱼，把自己的产品名称起得十分模糊，XXXX数据库 xx版本，在他们的产品系列里，叫某个名字的数据库有好几种，过国测的可能只有一两种，但是他们的销售可以对用户说，我们的数据库就是过了国测的。实际上每次国测不同技术路线的产品必须分别报名，不存在一次国测过一系列数据库产品的可能性。我以前和某个客户也讨论过这个问题，他认为我说的不对，我也没法找到证据来反驳。新的规定让这个问题变得十分明确了。
第七条要解决的问题也是类似，出得也是很及时的，因为已经有聪明的厂家在做移花接木的事情了。
第八条很多朋友一看就明白是针对某些大厂的了，某些大厂产品能力太强，信创产品太多，可能会挤占有限的测试资源，这也是为了让更多的小厂有机会参与吧。
在评测工作流程中也增加了一些堵漏洞的措施，其中第五条是针对“代码注水”的，为了达到60%的自助率，有些聪明的厂商采用了大量虚假代码注水的方法，把一些没有实际功效的代码也提交出去，从而降低开源代码的比例，达到测试及格线。今后此类作弊行为也将被规范。另外一些技术手段也在提升，比如开源代码伪装自研代码的发现等手段也会不断提升。
新的规则发布是安可测试工作的进步，新规则中肯定还会有可以被某些聪明人钻的空子，不过公开的规则，堵漏也很容易，因为测试是关系到业内厂商和所有用户的大事，大家更方便监督了，集大家之智，肯定能把这件事做得更好。
