华为云Gauss DB数据库产业峰会
——共建产业生态 给世界一个更优选择
会议要点：
1，数据库建立完整的生态环境是重要的，而不是每个企业都去单独开发数据库。
2，国内数据库市场近几年发展迅速，主要原因是大数据量增加，数据类型变多，供应链安全。
3，数据库生态正在发生的变化：1）存算分离；2）按使用量计费等新商业模式出现；3）人工智能数据库的出现。
4，国内的数据库的产业两个发展的主线：存量市场和新增市场。存量市场主要是三个维度的替代：1）从集中式到分布式；2）从国外到自主；3）从线下到云端。
新增市场：1）适配多种类型数据的数据库，2）第二是适配社会数据要素的新数据库，3）适配人工智能的数据库。
5，中国数据库产业面临的挑战：1）供给侧低质量竞争。2）应用侧需求不断变化，数据库企业需要及时调整和创新。
6，未来我国数据库两大展望：1.存量市场的替代将步入高质量竞争阶段（数据库市场格局有望收敛）。2. 增量市场的创新战场，将持续诞生新理念新技术。
7，市场规模：2022年全球数据库市场约为900亿美元左右，其中云上数据库占比超过55%，全球数据库市场增速约为15%。中国关系型数据库市场约为35亿美元，未来的年复合增长率预计约为30%，到2026年，可能突破100亿美元。
8，银行等客户通常更倾向于选择商业数据库，因为商业数据库提供了更多的技术支持和可靠性保障。为了满足客户自主可控和商业数据库的需求，我们发展了Gauss DB。
9，GuassDB数据库应用进展：从2019年开始，在华为内部，Gauss DB逐步替代了核心系统，包括终端云、华为的生产系统ERP和运营商设备中的数据库。
10，Gauss DB 在未来发展两个方向：1）继续深耕金融行业，2）拓展到政务、能源、交通等更多的基础设施行业。
11，在大会现场,华为携手海量数据等17家软件伙伴企业、7家服务伙伴企业，共同启动了《GaussDB数据库金融行业生态发展计划》。
交流正文
14:00
张平安-华为公司常务董事、华为云CEO
分享了数据库的五点思考与建议：
第一点是将应用场景开放给中国国产数据库，以促进其发展。认为数据库作为应用的根本，需要在真实的商业场景中进行测试和验证，而不仅仅是在实验室中开发。提到华为已经在自身内部以及金融行业中使用Gauss数据库，并鼓励其他行业也开放核心业务给国产数据库，以促进其成长。
第二点是优化软件环境，提高对软件价值的认可。他指出，中国有大量的软件工程师，但中国的软件在商业上没有取得足够的地位，主要原因是对软件价值的认可不够。他希望行业能够意识到软件工程师的价值，为他们提供适当的薪酬，并建立良性的商业环境，以培养出优秀的软件产品。
第三点是打造繁荣的生态系统。他认为围绕数据库建立完整的生态环境是重要的，而不是每个企业都去单独开发数据库。他呼吁各个环节的合作伙伴互相支持，共同繁荣，特别是在交易型数据库和大容量分析型数据库方面需要生态合作伙伴的参与。
第四点是重视数据库人才的培养。他强调数据库人才是数据库发展的核心要素之一，需要培养顶尖的人才，包括具备数学、性能调优和架构设计等方面的专业知识。他提到华为已经与教育部合作，在高校进行数据库人才培养，并希望与应用开发商合作，培养更多的数据库人才。
第五点是将中国的数据库推向全球市场。他认为全球数据库市场仍存在巨大的空白，而美国数据库垄断局面并不符合全球用户的需求。他希望中国数据库能够在中国场景下打造并经受考验，然后走向全球市场，为全球用户提供更优的选择。
何宝宏
--中国信通院云计算与大数据研究所所长
《数据库产业发展分析与展望》
国内数据库产业的观察和分析：
第一个方面：我们注意到在过去的几年中，特别是进入21世纪以来，国内数据库企业的数量显著增加。相比上个世纪，当时国内数据库企业仅有四家，而在过去的20年里，我们持续见证了数据库企业数量的增长，这也标志着过去20年是数据库研究发展的重要阶段。尤其是在最近两年，做数据库的企业数量显著增加，这是从企业数量的角度观察的第一个方面。
第二个方面：从高水平学术论文的角度来看。特别是在数据库领域的三大顶级期刊上，国内数据库学术论文对全球理论贡献非常大，至少占比10%以上，有时甚至高达40%以上。在过去的20年中，数据库的理论创新快速发展。
出现以上这种情况的两个原因：
需求快速变化，这导致了技术本身的重大变革。应用场景的增多，我们需要为数据库企业提供更多开放的场景。在应用需求方面，
第一，是规模的增大，特别是大数据等兴起等方面。我们可以看到每天访问次数可达到4亿次以上。
第二，数据库类型也在增多，不仅仅是关系型数据库，还有图数据库、时序数据库、空间位置数据库等等的兴起，数据库类型快速增加。
第三，是数据库不仅仅用于数据存储和计算支持，还需要提供新的功能和服务，如保密性、支持数据资产等，不能仅仅是计算的工具。
第四，是风险防范，特别是供应链安全等问题。
2. 从技术角度来看，数据库的发展离不开周边生态的发展。过去几年中，数据库周边生态发生了巨大变化，也推动了数据库技术本身的变革。
第一，是云原生数据库存储与计算的分离，资源动态弹性、灵活调度管理等。
第二，是数据库商业模式的变化，如按使用量计费等模式的出现。其次，新型硬件的出现使得数据库不再局限于传统的CPU架构，包括数据中心、DPU和GPU等新技术对数据库技术产生了重要影响。根据观察，国内数据库产业的发展主要集中在存量市场和新增市场两个方向。在存量市场方面，数据库企业逐渐替代传统的集中式数据库，特别是在金融、电信等行业实现了一些典型案例。在新增市场中出现了许多新型数据库形态和类型，如时序数据库、湖数据库等，这些数据库能够适应不同的场景需求。
第三，还出现了一些适应人工智能需求的数据库，如向量数据库等。
国内的数据库的产业两个发展的主线：存量市场和新增市场。
存量市场主要是在替代方面，替代又分成三个情况，
第一是从集中式到分布式的一些替代，第二是从国外到自主，第三从线下搬到了云端。
新增市场的变化：第一是适配多种类型数据的数据库，第二是适配社会数据要素的一些新的数据库，第三是适配人工智能的一些数据库的出现。
数据库产业在高速发展的同时也面临着一些挑战：第一，供给侧低质量竞争，一些企业在追求规模扩张的过程中忽视了技术和服务的质量，这对整个产业的发展不利。第二，应用侧的需求也在不断变化，数据库企业需要及时调整和创新，以满足市场的需求。
未来我国数据库两大发展主线展望：1.存量市场的替代战场，将步入高质量竞争阶段。2. 增量市场的创新战场，将持续诞生新理念新技术。
为了推动数据库产业的高质量发展，可以采取的措施：第一，通过制定标准和进行评测，促进技术产品和服务商能力的高质量发展。第二，加强产学研合作，提升数据库相关专业人才的培养和技术创新能力。第三，还可以鼓励数据库企业进行技术创新和研发投入，加强知识产权保护，以激励创新。
总结来说，国内数据库产业在过去的几年中取得了显著的发展，企业数量增加，高水平学术论文数量增多，数据库技术和应用也发生了重大变化。然而，数据库产业仍然面临一些挑战，需要持续创新和提高质量。通过合作和努力，国内数据库产业的发展会取得更大的成就。
黄瑾
---华为云计算公司副总裁、华为云计算战略与产业发展部总裁
《做强坚实数据底座，GaussDB与产业携手共进》
数字经济在我国的发展情况。根据国家统计局的数据，2022年我国数字经济占GDP比重已超过41%，增速约为10.1%，相当于去年GDP增速的三倍。这表明数字经济已成为我国经济增长的主要引擎。
从华为与信通院的合作调研的报告中可以看出，中国的城市云服务发展指数与每个城市的数字经济体量呈正相关关系。实际上，云已成为数字经济的基础设施，而分布式数据库在云上的应用变得非常重要。
数据库市场规模如何：2022年全球数据库市场约为900亿美元左右，其中云上数据库占比超过55%，即超过一半的数据库已经部署在云上。全球数据库市场增速约为15%。中国的数据库市场规模中，去年中国关系型数据库市场约为35亿美元。相对于全球市场来说，中国数据库市场仍有巨大的发展潜力。未来的年复合增长率预计约为30%，也就是到2026年，我们有可能突破100亿美元的数据市场空间。这表明数据库市场在未来几年有着良好的发展前景。
数据库重要的原因：因为数据库是上层应用和基础设施之间的桥梁。需要数据库来适配基础设施以提升性能，使应用程序更高效。在企业的IT架构中，最核心的数据往往由数据库来管理。数据库的可用性决定了应用程序和整个系统的可用性。如果数据库不可靠，整个系统就无法保证可靠性。
技术的角度的两种选择开发Gauss DB：一种是借用开源技术并进行优化，另一种是自主研发。全球存在着180多种数据库开源技术，其中许多是由一些公司根据自身业务需求开发并开源的。通用型的开源数据库相对较少，较为优秀的开源数据库有PG和massive。而银行等客户通常更倾向于选择商业数据库，因为商业数据库提供了更多的技术支持和可靠性保障。开源数据库虽然具有灵活性和可定制性的优势，但在可用性、性能、安全性和可扩展性等方面可能存在一些限制。
因此，我们决定自主研发Gauss DB，以满足客户的高要求。Gauss DB将注重可用性、性能、安全性和可扩展性，同时结合最新的技术趋势，如云原生和分布式架构，以确保其适应未来的发展需求。
在金融行业里深耕场景，并将业务拓展到更多行业和全球范围需要更多的伙伴加入，并共同发展和建设健康繁荣的产业生态，实现共赢的未来。此外，强调了数据库需要经历在金融业务中的历练才能打造业界顶级产品和品牌的观点。
在产业层面上，加速整个产业的发展包括优化产业环境，使政策更有利于数据库等软件产业的发展，让更多的客户享受数据库创新的利益，同时认可其价值，让产业生态中的企业健康发展和赚取利润，并投入更多资源来打造更好的产品、工具和服务。
此外，数据库作为一个技术深度的领域，与产学研的协同和创新突破密切相关。联合产学研进行技术创新突破的重要性，并倡议更多伙伴加入，共同在业务性能调优、产品可靠性等典型场景中打磨更加可靠的产品，推动产业的繁荣发展。同时，应培养关键人才以满足行业需求、引领产业发展，并推动标准和规范化的发展。
在教育方面，GaussDB作为产教融合的新工科试点，在教育部的指导下，已经在超过111所高校开展了相关教学，并出版了多本GaussDB相关的教材。此外，GaussDB的人才认证体系也取得了良好的成果。产学融合OA平台的创建，以促进前沿思想碰撞和技术探索。此外，与国内外知名院校的学术合作也是常态，共同研究和突破产业问题。
苏光牛
—华为云数据库服务产品部经理
《分布式云数据库Gauss DB，做金融数字化的坚实数据底座》
金融行业在数据库领域中占据最高的市场份额，对数据库的使用要求最高。
以下是Gauss DB数据库的一些进展以及在产品能力升级方面的新思考。从2019年开始，在华为内部，Gauss DB逐步替代了核心系统，包括终端云、华为的生产系统ERP和运营商设备中的数据库。首先，我们逐步完成了华为内部核心系统的全面替代，包括消费者云业务后台的终端云、华为自身的生产系统ERP（Meta ERP）以及运营商设备中的数据库。在终端云上，实现了6个PB数据量的全面替代和上线，分布式节点规模达到6000个。资源利用率提升了30%。在Meta ERP替换中，我们替换了600多套Oracle业务库，业务效率提升了10倍。我们经历了月末结算、季末结算和年末结算等高峰期的考验，实现了零故障、零食言和零调障。华为公司的订单系统具有一个特点，每到月底、季末和年末时，流量通常是平时流量的5到10倍。因此，在华为公司ERP上线时，我们进行了相当于20倍流量的测试和压力测试才能上线。
此外，我们的运营商设备累计发货超过30万套数据库。同时，从我们的收入结构也可以看出Gauss DB从最初的金融数据库逐步扩展到更多行业，越来越多的客户选择Gauss DB作为数字化转型的核心组件。数据库是一个全场景的软件，不仅要在可用性和性能方面表现出色，还必须适应各种场景的需求。
数据库使用场景：
首先，ERP系统是典型的重度Oracle数据库使用场景，也是制造业中的典型应用代表。华为的ERP系统是我们的生产系统，支撑了每年数千亿订单和170多个国家的订单发货。从华为自身的业务连续性角度来看，替换华为ERP系统是极其关键的。作为数据库应用中最复杂的场景之一，我们面临着许多挑战，如处理七亿行Oracle脚本的改造、应对业务高峰期带来的大流量压力（平时流量的20倍），以及大表迁移的挑战。对于Oracle脚本的替换，我们利用了自动化工具实现了近100%的结构迁移，避免了大规模人力改造的投入。对于数据迁移，我们通过Gauss Data Migration Service（GRS）在35个小时内实现了3200亿行数据的迁移，确保了数据一致性和完整性。此外，我们通过智能代价估算算法和高效索引优化对整个应用进行了优化，实现了对历史峰值流量的20倍压力测试。
另一个场景是华为终端云业务，它代表着原生的企业生云和掌云应用。该场景面临着成本问题，如如何提高资源利用率，特别是在海量数据和分布式环境下，以及从传统的IDC和机房转向云上后的成本挑战。其次，海量业务带来了大规模分布式需求，需要具备高扩展性和弹性。此外，数据的多样性也是一个挑战，既涉及关系型数据又涉及非关系型数据。
在设计Gauss DB时，我们与终端云合作，构建了一个全面分布式架构，实现了负载的均衡。在终端云中，我们最大的单机群分布式数据库拥有200多个分片。通过这种方式，我们实现了资源利用率和运营效率的大幅提升，并满足了终端云的弹性扩展需求。
第三个场景是对金融行业要求极高的核心业务系统。几乎所有银行和金融机构的风险管理官或首席技术官都知道，数据库迁移并不容易。金融行业有许多应用严重依赖传统数据库接口，客户更希望有一套量化逐步推行的解决方案来解决数据库迁移的挑战。Gauss DB是目前唯一能够全面自主创新的数据库，高度兼容传统语法。我们提供一站式的数据加应用平滑迁移方案，使数据库迁移变得更加简单。同时，基于多数派协议的原生分布式架构显著提升了系统的可用性。
在金融领域，数据的安全性和一致性是至关重要的。Gauss DB采用了严格的安全措施，包括数据加密、访问控制和审计日志等，以确保数据的保密性和完整性。此外，Gauss DB还具备高可用性和容灾能力，支持灾难恢复和故障转移，保障金融系统的连续性运行。
除了金融行业，Gauss DB也在其他行业得到广泛应用和认可。越来越多的客户选择Gauss DB作为数字化转型的核心组件，它能够满足不同行业的数据库需求，并提供全场景的应用支持。
Gauss DB在未来的发展中将朝着两个方向进行拓展：
第一个方向是继续深耕金融行业，以满足金融行业的数字化转型和可持续发展的需求，实现自主创新的双重目标。第二个方向是将目光拓展到政务、能源、交通等更多的基础设施行业，这也是一个新的使命。
在金融行业中，Gauss
DB面临几个方面的转变：
首先，要从简单的单一应用迁移转变为全面复制，将开源、不可控和存在协议风险的数据库进行全面替换。
其次，要关注整体系统的可用性、稳定性和可运营性，重视迁移后的整体系统效果和经济效益。过去可能只需要一台机器，现在可能需要几百台机器进行替换，因此经济性成为一个问题。
第三，要从性能的提升测试转变为实现系统的平滑运行，确保每笔交易的时间可控性，提高系统的稳定性和可靠性。
第四，要从选择少数几个应用的尝试转变为实现规模化替换，实现工程化实施和量化步骤。
对于政务等其他关键行业，由于其应用开发人员相对较少，可以借鉴金融行业的成功经验和公共化技术，帮助其降低总体成本，实现快速推进数字化转型。
为了满足更多场景的客户需求，Gauss DB注重高质量的过程可信和结果可信。华为公司基于全站可信的框架进行产品开发，确保从产品定义、代码实现到开源治理、运维和运营的整个过程可信。Gauss DB进行了大量场景化用例和测试，积累了20万个测试用例，计划增加到80万个。结合与金融行业的合作经验，建立了十个典型场景，帮助金融行业实现高质量的上线和推进。系统的可用性对整体系统的指标有着重要影响，60%的可用性与数据有关。替换主机或大型业务后，接口并不是最困难的部分，最困难的是如何证明替换后系统的可靠性达到3个9、4个9，甚至5个9或6个9。在这方面，Gauss DB基于木质帕萨斯协议解决了老列提升的恢复时间目标（RTO），与工行合作创造了国内首个双集群解决方案。这意味着Gauss DB可以在两个可用区之间部署两套不同版本的集群，实现强一致性方案。通过这种方式，原本可能存在的单机群故障可以完全隔离，并实现数据零丢失，真正实现同城双活。
此外，尽管在数据库设计时可以进行主备切换或多节点切换，但底层仍然可能出现无法控制的故障。那么如何确保这些故障切换对上层应用的影响尽可能小？在这方面，Gauss DB将推出一种全新的应用无损透明切换方案。通过可计划和可预知的切换方案，使应用程序几乎察觉不到或者零感知到切换的发生，从而实现核心业务的7x24小时不间断运行。总之，Gauss DB在未来的发展中将继续深耕金融行业，解决金融行业的数字化转型和可持续发展需求，并以自主创新为目标。同时，Gauss DB还将扩展到政务、能源、交通等更多的基础设施行业，以实现新的使命。在金融行业中，Gauss DB将面临转移方面的挑战，包括从简单复制到全面复制、关注整体系统的可用性、稳定性和可运营性、以及实现大规模替换的工程化实施和量化步骤。为了满足更多场景的客户需求，Gauss DB注重过程可信和结果可信，借助全站可信的框架确保产品开发过程的可信性，并通过大量的场景化用例和测试来保证高质量。
Gauss DB的存储引擎经过与招行的联创，实现了在长时间频繁插入和更新的情况下仍能保持高性能和稳定性。这得益于采用了原地更新的in-place update模式，与传统的引擎相比，在底层垃圾回收和内存持续化过程中减少了性能抖动，经过实测，在大压力下，性能抖动控制在3%以内，并且存储空间利用率提升了17%。
对于数据库管理员（DBA）的最大的挑战之一是：如何快速感知系统的亚健康状态，并识别出阻塞点，分析耗时的因素，并提供深度诊断信息，以便快速判断和采取进一步操作。Gauss DB具备过载和熔断的能力，避免整个系统被某个MySQL进程拖慢。此外，Gauss DB还发布了两个工具：SQL Audit和DB Mind。SQL Audit旨在帮助应用开发人员识别对数据库不规范的使用，从而在开发阶段消除潜在问题。DB Mind则提供了MySQL的根因分析、索引推荐和异常检测等运营手段，使DBA能更好地运用数据库。
在迁移方面，Gauss
DB注重性价比和平滑迁移。通过语义感知的数据压缩，存储资源的压力得以降低，同时在使用压缩时性能影响控制在5%以下，以实现高效压缩。此外，新版本还支持内核督促能力，便于用户在不同租户资源之间快速迁移。Gauss DB提供一站式工程化迁移解决方案，包括优购工具进行评估和改造建议，数据迁移工具实现在线零中断迁移，并通过数据校验确保数据零丢失，以及流量回放工具，可以真实回放原数据库的流量。通过这些工具和方案，Gauss DB努力实现国产数据库的规模化替代，将其从零星尝试变为可落地的解决方案。
数据库的发展离不开产品创新和产业共同合作。金融客户在Gauss DB的发展中发挥着关键作用。Gauss DB希望更多金融客户选择基于分布式架构设计多地多中心的容灾方案，并形成最佳实践，加速推进行行业的数字化转型。
总结起来，Gauss DB在性能上通过重构底层存储引擎实现了在长时间频繁插入和更新的情况下依然保持稳定高性能。它采用了in-place update模式，减少了底层垃圾回收和内存持续化过程中的性能抖动，并提升了存储空间利用率。对于DBA来说，Gauss DB提供了工具和能力，帮助他们快速感知系统的问题、识别阻塞点、进行深度诊断，并具备过载和熔断的能力以保证系统的稳定性。在迁移方面，Gauss DB注重性价比和平滑迁移，通过数据压缩、内核督促能力以及一站式工程化迁移解决方案，帮助用户降低存储资源压力、实现在线零中断迁移，并提供流量回放工具进行全面的测试。Gauss DB也重视与金融客户的合作，鼓励他们基于分布式架构设计容灾方案，并推动行业的数字化转型。
以上就是关于Gauss DB在性能优化、DBA支持和迁移方面的一些重要特性和解决方案。
