1

恒生数据库LightDB测试标准预研成果分享,助力信创工作推进

恒生技术之眼 2022-09-23
60


秋分,凉蟾光满,桂子飘香远。随着信创工作的推进,新兴的国产数据库不断涌现,然而证券期货行业机构在信创项目建设过程中,对于信创数据库的选型、测试面临着一些困惑与问题。那么行业系统对数据库有哪些需求?如何对信创数据库测试才能了解其真实的特性?本期钱塘之光结合恒生相关实践及课题预研成果进行分享。


数据库技术从上世纪70年代IBM著名的关系型数据库经典论文开始,诞生了诸多优秀产品。随着保障数据库国产化与信息安全的总体国家规划推进,信创数据库产业发展提速,国内数据库厂商在不同技术赛道呈现出百花齐放的发展态势。近年来,证券期货业信息系统已经开始在部分信息领域逐步实现国产化,其中信创数据库软件与国产CPU、操作系统、中间件、应用软件等上下游产品进行了大量的适配、磨合与优化,基本满足了各线业务场景下的实际需求。


但从信创数据库项目实际实施过程中暴露出来的问题及已有的解决方案来看,数据库的国产化改造依旧是技术攻关难题。前不久,2022年证券期货业标准研究课题立项工作已完成,其中,恒生牵头负责《证券期货业数据库测试标准研究》课题预研,将结合恒生丰富的信创数据库适配测试实践经验进行标准预研工作,本文结合现阶段研究成果进行简要分享。


信创数据库系统项目建设面临的难点


在信创项目数据库选型方面,现有的信创数据库产品及数据服务解决方案种类繁多,彼此之间在金融业务场景中的优劣程度并没有标准的评价指标,需要综合考虑自身业务需求,比对具有高性价比的数据库产品或数据服务解决方案。


在信创项目评估建设方面,证券期货业现有信息系统大量使用传统集中式数据库,需要综合考虑如何快速有效地实现从集中式数据库过渡到分布式数据库的转型。


在信创项目数据迁移方面,金融行业长期使用的数据库产品中存储了大量的业务数据,需要综合考虑如何高效率、低成本地将数据从正在使用的数据库迁移到新的数据库中,以保证数据完整性和业务系统连续性。


具体来说,信创数据库系统的国产化难点,可以归结为以下几点:


功能完备程度,带来采购选型的难点。信创数据库技术路线、应用方式互有差异、迭代更新频率也相对较高,功能的完备程度与传统数据库有差异;


性能差异问题。从已有的各类信创数据库应用项目实施过程来看,与传统成熟交付方案相比较依旧存在一定程度的性能差异。用户所面对的性能问题原因也较为复杂,例如信创数据库软件针对国产CPU、操作系统优化不足,应用程序对异构信创数据库环境优化不足等;


金融场景下信创数据库稳定性指标差异有待验证。目前信创数据库的稳定程度要经过长时间大量广泛的场景验证后才能给出确切的回答,需要在测试运行过程中模拟业务环境和可能的突发负载,同时验证在长时间运行后在不稳定软硬件异常因素(资源占用、网络异常、时钟同步异常等、临时性文件丢失等)影响下数据库系统状态是否符合容错性的预期要求。通过收集不同场景下数据库系统运行状态信息及性能方面的指标,比对在不同负载业务场景下的长时间测试结果,及时发现数据库系统的稳定性缺陷并加以修正;


数据安全保障问题。从现阶段来看,信创数据库还比较缺少数据库漏洞监测和预警处置机制,需要加强针对安全漏洞的风险发现、监控与管理能力;


运维管理风险。信创数据库与传统数据库在运维方案上存在较大区别,现阶段信创技术栈分散,在生态兼容性上,有兼容多种标准形式;架构上包括单机、集中式、分布式等不同异构环境;在部署平台上,包括私有部署及云端部署等多种形式。对于运维管理而言,刚引入信创数据库时,难免遇到技术和人力无法匹配的实际情况;


投入成本较高,带来了成本控制的难题。在实践中,往往需要花费大量的人力成本、时间成本搭建信创数据库的测评体系与测评模型,导致资源投入较大。


相较传统数据库,信创数据库目前尚处于发展初期,标准体系建设相对滞后,自身技术体系、标准规范、测评机制等方面建设还有待加强。为解决上述难点,需要建立符合行业内核心业务系统数据库能力的测试标准,设计一组符合行业通用特征的合规、科学、公平的测试用例,为行业信创数据库项目落地验收、评估等提供依据和参考。


结合业务需求,设计测试标准


在证券期货业领域,不同业务系统对数据库有不同的需求:行情类系统读写量大,指标时效性高,并发峰值高;交易系统对数据库系统稳定性和可用性要求高;交易系统、结算系统等容易受到外部影响而出现业务量暴涨情况,系统需要快速扩容。特别是证券行业由于交易时段集中、资金规模巨大等特点,对IT系统的可用性和响应率的要求更高、容忍度更低。同时交易时段集中所带来的海量交易数据的集中处理压力,要求数据库系统需要具备一定的自动化与智能化等运维支持特征。同时,金融行业数据库需要符合国家密码管理部门以及行业主管部门对数据安全性较高的要求。


不同业务系统对数据库的要求


结合不同证券期货业信息系统的实际需求,信创数据库系统必须具备以下能力:


强一致性:证券期货业存储的业务数据,其任意一笔数据错乱、丢失将带来严重影响。因此即使在某些软件故障、硬件异常的情况下,数据库都应保证数据的强一致性,事务的一致性。


高可用性:证券期货业系统服务于涉及国计民生,对运行连续性要求异常严格,需要支持超高的连续可用性及可控的恢复时间。


高稳定性:金融级数据库为了保证业务连续性需要,不仅要确保能够长期稳定提供服务,还要在交易时段能够及时响应用户提交的事务请求,同时保证硬件资源的合理化使用。


高性能:金融级数据库在支持百万级写、千万级读的在线业务场景基础上,同时需要保存历史账单流水海量数据,并支持高效灵活的查询与在线分析能力。


高安全性:证券期货业数据库系统不仅需要在基础支撑保障、用户管理、访问控制、数据安全性等方面符合国家信息安全管理。同时需要验证通过《证券期货业网络安全等级保护测评要求》。


除此之外,数据库功能语法上需要与行业内传统数据库功能语法高度兼容,并且在信创产业链上下游完成良好的生态融合适配。


为了确保信创数据库项目建设符合业务系统的真实需求,同时兼顾信创数据库系统项目建设面临的难点,针对信创数据库系统能力检测,恒生重点从以下七个维度设计测试标准内容


功能检测:验证数据库基础组件功能实现的覆盖程度,包括支持数据类型、字符集、数据定义语言等元素,以及对多种测试用例场景事务处理执行实现的结果正确性程度。


性能检测:通过主流测试工具模拟不同业务特征正常、峰值及异常负载对数据库的各项性能进行测试,获取数据库系统在特定场景下的时间性能指标包括吞吐速率和响应时间等,指标将从单位时间、特定长度时间下数据请求发起到服务完成的不同角度反映数据库系统处理数据的效率和能力。同时收集硬件系统资源相关指标,包括服务器主要硬件资源的利用率和操作系统软件资源的使用情况。通过以上可量化性能数据,分析指标离散程度,对数据库性能效率,系统稳定性进行评价。此外在数据库性能扩展层面,设计模拟特定负载事务类型、评估数据库系统调度资源的能力。通过测试数据库系统软硬件规格配置变更,验证系统资源的伸缩性是否灵活有效。另外针对分布式数据库环境,模拟在线伸缩计算、存储节点,验证整体集群的伸缩性能力。


可靠性检测:模拟CPU、内存、磁盘和网络带宽资源运行环境异常,通过测试工具,验证数据库高可用环境下是否可以通过冗余、控制等方式消除或防御故障,减少造成的影响并可以正常工作,同时提供业务稳定连续交付的能力。


安全性检测:检查系统软件可能存在的安全风险和对应对非法侵入的防范能力,验证数据库软件是否满足等保和行业安全标准要求。


兼容性检测:验证数据对象在主流信创环境下运行是否满足预期;评估与主流三方数据库外围工具适配功能是否正常,同外部异构系统交换信息的能力是否满足要求;与其他产品共享通用环境和资源的情况下,能否正确运行且不对其他产品造成负面影响。


维护性检测:验证数据库系统是否可以有效、高效地施行参数修改与任务管理,且不会影响数据库系统正常使用的能力;同时收集对数据库系统各组件的运行状态、事件、指标等信息,测试进行分析、展示、处理的能力及监控集成能力;测试不同场景需求备份恢复的执行能力。


易用性检测:验证数据库系统各组件安装升级实施的有效性、易操作性、适配的属性程度。同时摸底调研信创数据库产品生态,包括不限于案例库、产品社区维护、问题支持反馈等。



随着数据库信创适配选型工作从周边业务向核心业务推进,原有的仅适用于非核心业务的一些选型理念和选型结论势必要进行不同程度的调整,这些调整在落地时就体现为测试标准。恒生对业内核心业务有长期的积累,对其特点有较深入的认识,通过关于数据库测试标准的预研成果分享,希望能够有助于行业在信创数据库选型工作中对数据库测试标准进行迭代和优化。后续,恒生将结合实践经验逐渐深入相关标准的预研工作,为信创数据库的落地应用保驾护航。


推荐阅读:

多场景助力机构数智化转型,恒生金融知识图谱九大核心特性揭秘

先锋洞见 | 毛银杰:在追求低延时的道路上,软硬一体可充分发挥两者的优势

一文读懂极具想象力的Web3.0


“在看”我吗?

最后修改时间:2022-09-23 11:37:08
文章转载自恒生技术之眼,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论