国产数据库基础软件的四十年发展历程，经历了从星星之火到百花齐放的格局，当缺乏时，企业面临选择的犹豫，当丰富时，企业的困惑却愈加明显。如何去评定数据库，选择可以长期发展、满足企业业务需求的产品，成为了当下的一个难题。
本文试图在这个方向表达一点思考。
前文回顾:
> 国产数据库发展十策（一）：开发一个数据库到底需要多少人？
> 国产数据库发展十策（二）：数据库难在研发还是难在生态？
> 国产数据库发展十策（三）：是走 MySQL 路线还是 PostgreSQL路线？
目录
数据库的品类
根据墨天轮数据，截止2022年7月，共有232个国产数据库产品参与排行。这些数据库又分属于不同的品类，最关键的分类是数据模型分类法，关系型和非关系型，区分了数据库世界的两大维度。
在2021年12月，墨天轮社区和CCF数据库专委会，共同发表了《数据库系统的分类和评测研究》，通过对数据库的分类梳理、评测体系研究，期望为数据库行业的发展筹谋助力。
在数据库系统的分类和评测研究报告中，将数据模型分类法作为数据库的主要分类方式，关系型和非关系型是分界线，将数据库区分为两个国度。
而在模型之上，不同的分类方法同样异彩纷呈。这其中包括：负载模型分类法、架构模型分类法、部署模型分类法等。
在2022年7月，CCF数据库专委会再次牵头，墨天轮社区深度参与，对数据库分类进行了进一步的阐释，在《数据库分类图谱》报告中，提出了数据库“三层分类法”。
报告提出，数据库的分类可从基础、模型、架构三个层进行划分，每层为递进关系。这一层次分类法，关键之处在于，通过基础层（也可以称为技术层）的定义，换一个视角看数据库。
基础层是指任何数据库软件都应不同程度满足或具备的基础能力，包括，数据高效存储、高速查询、高并发、高可用、高可靠、高安全等基本能力。基础层关注不同类型数据库的共性需求和关键技术。
将基础层的技术项，进行分类组合，就形成了不同属性和特征的数据库品类。在模型层，通过关系型和非关系型将不同数据库区分开来。
而架构层，则是根据具体实践而形成的不同呈现。
数据库的评测
数据库产品百花齐放，同时也为用户的选择带来挑战，如何选择优秀的产品，支持业务稳定和长期发展，就成为了一个重要命题。
每当企业进行选型募集时，各个厂家往往要筹集人手，展开一轮又一轮的 PoC 验证。在这种情形下，统一的行业测试基准就显得尤为重要。
如果能够通过标准测试进行遴选，自然能够给用户作为公正的参考，也能为数据库企业减少重复验证的负担。
而当下的很多数据库评分，其遴选标准不够清晰，综合评分差距微乎其微，无法让用户清晰的查知不同数据库之间的根本差异。
在数据库评测中，目前信通院数据库公开的评测标准，覆盖了广泛的内容，按照产品基础能力、产品性能和产品稳定性来划分评测维度，总体形成“中国信通院可信数据库评测评估体系”。
每种类型数据库的测试包括功能、性能、安全性、稳定性四大项，涉及大概 20 - 30 个必选测试用例，以及 10 个左右的可选测试用例，整体设计参考了我国工信部发布的各类数据技术要求与测试方法标准文件。以分析型数据为例，其测试标准表如下：
以上的测试条目，大体上代表了当下数据库评测体系的普遍目标。这个普遍目标，大多数指标项是满足性测试，在未来可以通过通用的工具实现自动化和标准化的快速检测，例如数据类型、操作符、索引、外部表、试图等支持。
数据库的专项评测
普遍的数据库评测，综合评定了一个数据库的基本能力，但是在我国数据库产品发展的纵深期，无法真实反映出在关键方向上，不同数据库之间的差异。从而用户在选型时，还要进行长时间的反复评测和对比。
此时，专项的数据库评测、公开评测结果、设立排行榜机制，应当成为当下更进一步推动行业发展的重要方向。在国际上TPC（ Transaction Processing Performance Council，事务处理性能委员会）组织，推出的 TPC-C 等系列评测标准，成为了最具权威的评测体系，该体系的最佳设计是，评测结果公开。
墨天轮的数据库流行度排行榜，事实上也是从一个侧面实现了积分榜排行：
本质上，有了顺序排行，才会对用户具备参考价值。对于 OLTP 数据库来说，TPC-C 和 TPC-E 是两个最知名的模型。
-
TPC-C测试，模拟了一个复杂的出入库商务场景，典型的OLTP应用。其操作环境由一系列仓库组成，每个仓库有若干个终端，分别代表销售站点和查询站点，并给出两个基准测试指标——性能指标tpmC和性价比指标$/tpmC。具体模型：每个仓库负责为10个销售点供货，每个销售点为3000个客户提供服务，每个客户提交的订单中，平均有10项产品，所有订单中约1%的产品在其直接所属的仓库中没有存货，必须由其他区域的仓库来供货。每个仓库都要维护公司销售的100000种商品的库存记录。
-
TPC-E 是以美国纽约证券交易所为模型，该测试模拟了一系列后端处理数据以及证券公司前端客户在股票交易市场的典型行为——账户查询、在线交易和市场调研。该模拟证券公司也与外界的金融市场相联系，根据市场变化执行指令并更新相关的账户和市场信息。它不仅包含了C2B的环境，还包含了B2B的环境，这种商业模型更为人们熟悉也更容易理解，同时更贴近现有用户的应用。TPC-E比TPC-C更复杂，数据类型从3种扩展到10种，事务类型从5种增加到12种，数据表由9个增加到了33个，数据库构成更加复杂。如下图所示：
TPC-E包括交易查询、交易执行、结果更新事务等，按照一定比例混合即为最终测试事务集。其中数据维护、交易清理事务是数据库自身维护工作，数据维护事务每秒钟执行一次，交易清理事务每次测试开始时执行一次。TPC-E要求每项事务中90%的响应时间要在某一个指定时间内完成，通常是3秒。
显然，TPC-C 和 TPC-E 模型更具备实践意义，如果整个模型就是针对用户的实际业务场景做出的，那么以同样的基础设施环境进行评测，就能够将不同数据库产品的能力排列出来，这样，在同样业务模型中进行选型的客户，就可以直接借鉴这样的测试成果。
从数据库技术发展来开，评测标准方法是和数据库同时进步的：
技术专项评测和业务场景评测相结合
请回顾我们前面提到的“三层分类法”，如果我们能够对数据库的底层技术进行技术评测，例如SQL引擎能力、优化器能力、高可用能力等，并做出积分评定，再根据业务模型做出名次评定，就能够为用户提供更具参考价值的结果度量。
- 技术专项评测 - 能够给出不同数据库的个性化能力，例如高可用、分析处理能力等，注重高可用性的客户，可能可以选择牺牲一定的性能。
- 业务场景化评测 - 能够给出了不同数据库的场景化能力，满足一定要求的产品就能够支撑一定体量的生产应用；
如同在 CAP 里进行三项抉择，有了不同的排列组合，用户的偏好就能够最大限度的得到满足。
策四：官方评测和民间评测相结合
随着国产数据库的深入发展，我们觉得数据库评测应当走向：技术专项评测和业务场景评测相结合，官方评测和民间评测相结合的发展之路。
- 技术专项评测，指面向数据库核心关键技术，真正能够反映数据库研发深度的方向，实施重点评测和推动，甚至在核心代码方面进行检测，确保在关键基础能力上实现重点投入和研发突破；
- 业务场景评测，指面向主要业务场景的数据库能力评测，例如银行、电信、证券、保险、能源、医疗等领域，业务侧重点各不相同，通过专项业务模型的抽象，进行场景化评测，能够帮助行业用户进行选型决策，同时特别应当针对ERP、CRM等业务系统进行专项数据库能力攻关；业务场景评测中的关键点在于，实际业务场景的仿真度，基准测试的数据模型。行业的发展趋势，正在呈现出：企业构建业务模型，开放和上升为行业标准，展开业务场景测评。
在评测执行上，应当官方评测和民间评测结合发展，推动评测结果公开：
- 官方评测，指主管单位通过专项技术评测，确保供应链和产业链健康发展，推动产业平衡快速进步；
- 民间评测，指发展类似TPC的民间组织，通过场景化评测、检测，公开公正的展示国产数据库能力；
对于新型数据库，比如云原生、分布式、HTAP等数据库产品，国内产品具备相应的领先性，某些方面可能暂无国际国内基准，我国数据库的评测应建立符合我国应用实际及技术发展方向的评测体系及基准体系。
但是无论哪一种评测，都应当实施明确的评测区隔、环境简化和标准化，避免重复评测、重叠评测、反复评测，从而降低数据库企业的投入成本。
总之，数据库产品的发展，一方面来自技术上的突破，一方面来自用户需求的满足，所以数据库的评测体系，也应当面向关键技术、关键场景进行重点能力建设。
