如何实施Benchmark测试-你需要怎样的测试

即使在今天通常也很少有厂商会主动进行标准测试(benchmark),甚至大多数时候,设备厂商会试图躲避测试.因为标准测试的代价实在高昂.
前面我们提到TPC组织是一个非盈利性组织，但是实施该组织的标准测试，得出标准的结果却实在是成本巨大.

我们以存储测试为例,你不仅需要为服务器、HBA、光纤交换机、RAID承担开销，而且还需要承担诸如文件系统、卷管理器等大量软件费用.
有了软硬件是不足够的,你还需要在人员上有良好的配备，你需要一个好的应用分析员来理解标准测试的I/O访问模型及方式(前面我们说过，
你可以构造最优的满足测试的系统，所以很多厂商用来测试的都是超豪华架构);一个优秀的系统管理员;一个Raid大师;此外还得有人来写报告;
你还需要一个项目经理。和TPC组织和第三方认证机构打交道还要花费你大量的时间和精力.而且，完成一个全面的测试本身就不是一件简单
的事，一旦厂商们不得不卷入这个战场，他们就必须全力以赴，以期获得最优的测试结果.

在没有第三方认证机构之前，一度这个测试结果是非常混乱的.

由于各个参加测试的厂商都希望把最好的性能展现出来，所以通常我们看到的公布结果都是以惊人豪华的组建来架构的，比如Oracle和HP公布
的Oracle10g在Linux上的测试指标,目前仍然是最高的TPC-C的最高性能指标.我们看一下这个测试结果:

该测试结果可以在TPC组织的官方网站上获得，你可以在如下链接找到:

http://www.tpc.org/tpcc/results/tpcc_result_detail.asp?id=103120803
http://www.tpc.org/tpcc/results/tpcc_perf_results.asp

我们看到该系统以6,541,770美元的造价获得了过百万(1,184,893)的TPC-C值.
服务器配备了64颗1.5GHz的安腾2处理器.

想想这样的指标对我们来说，最终就只能是指标而已，很少有人会构建这样的系统来用户业务生产。而各厂商只会使用最优的系统来获得最好的测试结果.
显然厂商不可能对所有产品都进行标准测试，通常他们会提供换算方式，对于不同机型和产品进行TPC-C换算. 而这些转化指标对我们的意义就又差了一个
层次.

那么对于我们自己的系统，如何构建合适的模型进行有效的测试呢?

我们要谈的就是这个.

在开始之前你可能需要回答以下几个问题:

1.你的测试目的如何?
2.你最关心的是哪些指标?
3.你将如何获得这些指标?

对于不同的用户可能会给出不同的答案，比较普遍的看法可能包含如下内容:

1.测试获得性能指标以满足方案及系统设计需求
2.系统的并发数量、响应时间、性价比等通常是最关心的性能指标
3.获得这些指标的方法将是本文重点讨论的内容.

显然我们无法通过标准的TPC组织定义的标准测试，我们需要自己的方法.

同样的，使用自己的方法也需要统一的标准和严格的规范，使用统一规范得出的测试结果才具有比较意义.
我见到很多人经常感叹无法获得更有效的工具，无法进行更精确的测试.实际上我们说,工具在标准测试里面的地位是次要的,最重要的是:标准.
只要拥有统一的标准，你的结果就具有比较意义，即使这个意义只对你存在.当然，如果大家都能使用同一标准进行自我测试，那么这些结果
也就同样拥有比较意义.TPC也就是这样发展起来的.

所以注意，实际上我们真正需要的是在自定义标准之下的比较意义.
如果系统需要升级扩容，或者出现性能问题，就可以使用测试结果进行比较，发现性能变化或问题所在.

有了这些前提以后，我们下一节就将进入工具选择及模型定义部分.