精彩回顾丨华为亮相VLDB 2024

GaussDB数据库 2024-09-02

1525

2024年8月26日-30日，数据库领域国际顶会VLDB 2024（50th International Conference on Very Large Databases）在中国广州盛大召开。会议聚集全球数据库领域的顶尖专家学者，深入探讨未来数据库研究的机遇与挑战。华为持续支持开放的学术社区，公司专家深度参与VLDB 2024系列活动的组织：Industry Challenge and Vision Workshop、Sponsor Talk：Continuous Architecture Evolution in Cloud-native GaussDB与论文宣讲：《GaussDB: A Cloud-Native Multi-Primary Database with Compute-Memory-Storage Disaggregation》。

VLDB是全球数据库领域的顶级学术盛会，会议涵盖数据管理、数据库架构、图数据管理、数据隐私与安全和数据库系统研究等技术领域，集中展示了当前数据库领域的前沿方向以及工业界最新的技术进展。每年为数据库领域提供大量高质量的研究论文和研究成果，具有重要的学术价值和行业引导意义。

Workshop

8月26日，在VLDB 2024大会上，由香港科技大学陈雷教授、SFU王健楠教授和华为曾凯博士等五位数据库领域专家组织的“Industry Challenge and Vision Workshop”顺利召开。会议聚焦Foundation Model&DB、Data Management for LLM、Cloud Native Database和Hardware& Software Co-design四大方向，涵盖数据库优化器、AI4DB、数据治理和分析、数据上云、SQL引擎等十大挑战。

1. From NL2SQL to Data Agent: Opportunities and Challenges

2. The LLM-based Optimizer for Databases

3. Foundation Models for Cross-Database Multi-task AI4DB

4. New Methods for Tabular Data Governance and Analysis

5. Accurate and Efficient Mining of High Quality Datasets

6. From Vector Store to Vector DBMS: A RAG View

7. Heterogeneous Workload Scheduling and Optimization for Serverless Databases

8. The All-In-One Data System on the Cloud

9. Unified SQL Engine for Heterogeneous Computing Unit

10. Next-generation Data Center Infrastructure Impacts: Public Cloud and Cloud Stack

首先，由数据库技术专家分别对每个议题的研究背景、现状进行介绍；接着，提出在行业实践中遇到的问题，并与现场的专家、学者就潜在解决方案进行了深入探讨。

Sponsor Talk

8月27日，华为爱丁堡研究所专家Nikolaos Ntarmos在大会做Sponsor Talk：Continuous Architecture Evolution in Cloud-native GaussDB。报告首先介绍了GaussDB数据库在金融、政府、制造等关基行业的实践成果；随后分享了GaussDB数据库在高性能、高可用、高智能方面的技术创新和突破；最后对GaussDB数据库未来的技术挑战和发展方向发表了自己的见解并与现场的数据库专家、学者进行了深入探讨。

论文宣讲

今年，华为11篇论文被国际数据库顶会VLDB 2024收录，多项优化创新方案突破了数据库领域的性能瓶颈，技术创新能力获得国际权威认可。8月27日，在VLDB2024论文宣讲专题分享会上，清华大学李国良教授对华为入选论文《GaussDB: A Cloud-Native Multi-Primary Database with Compute-Memory-Storage Disaggregation》进行了分享。

李国良教授对该论文中GaussDB云原生数据库在高性能、高可用和高弹性方面的技术创新点进行了详细解读：

高性能

GaussDB云原生数据库在32节点可达3000+万tpmC的吞吐能力，支持128节点（16384鲲鹏核心）部署，能够支撑PB级OLTP业务规模。在节点亲和性算法设计方面，除了分布式缓冲池的页面属主和读授权机制外，Undo段和FSM算法也充分考虑了节点亲和性设计，将节点间的网络交互降至最低，确保极致性能。

高可用

GaussDB云原生数据库的节点故障能够做到6s内恢复，且对其他正常节点无影响，而其它厂商需要30s以上。此外，GaussDB云原生围绕高可用做了大量创新：

共享内存无脏页状态设计，仅内存节点故障时无需恢复WAL；
计算节点采用Past-Image设计，计算节点故障可从最近Image恢复，恢复时间大幅减少；
GaussDB云原生业界首创双check-point设计，计算节点故障从内存检查点恢复，只有计算节点和共享内存节点同时故障时，才从共享存储的检查点恢复WAL。

高弹性

GaussDB采用计算-内存-存储三层池化解耦设计，支持分层独立弹性伸缩，对应用透明。计算层将全局锁和页面属主目录（POD，Page Owner Directory）等状态下沉至共享内存层，本地仅保留数据页面，计算层增删节点无需状态信息迁移，实现秒级弹性伸缩；共享内存层采用POD方式管理缓冲池页面属主关系，POD基于一致性Hash均匀分布在共享内存层，增删节点仅迁移少量Bucket，内存层秒级弹性，应用无感知。

华为展台