暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

106位同学齐聚哈尔滨!2024 CCF数据库暑期学校圆满闭幕!

原创 OceanBase数据库 2024-07-29
241
2024 年 7 月 14 日至 21 日,由中国计算机学会主办的 CCF 数据库暑期学校(简称“暑期学校”)在哈尔滨顺利举行。此次活动由中国计算机学会数据库专业委员会与哈尔滨工业大学联合承办,OceanBase 独家协办。来自清华大学、中国人民大学、东北大学、华东师范大学、香港科技大学、香港理工大学等四十余所知名高校的共计 106 位学员,齐聚一堂,共同参与并完成了为期一周的理论学习与技术实训。


本年度暑期学校的主题是“HTAP”,采取了理论授课+技术实践相结合的方式。在理论授课环节,组委会邀请了多位数据库领域的专家,包括 OceanBase 的创始人兼首席科学家阳振坤、普渡大学计算机系的助理教授王建国、西蒙弗雷泽大学计算机科学学院的助理教授王添正、上海交通大学长聘副教授及软件学院副院长王肇国、武汉大学计算机学院的副教授彭煜玮。他们分别就“HTAP 数据库关键技术”、“云数据库”、“向量数据库”、“异步处理优化的 OLTP”、“SQL 处理优化”、“事务处理”、“数据库系统源码分析”等核心议题,进行了深入浅出的讲解。


在技术实训环节,组委会邀请了 OceanBase 的多位资深技术专家组成实训教学团队,并围绕存储引擎原理与优化、SQL 引擎原理、事务引擎原理等关键技术点,进行了精彩的分享与交流。同时,实训教学团队还设计了多项实训任务,以数据库系统实现和优化为导向,对暑期学校学员进行全程指导。最终,共有 17 支队伍较好的完成了实训任务,并进行了实训汇报。 
图片
图片
图片
图片
图片
图片
图片

01 前沿解读

HTAP 数据库、向量数据库、云数据库等热门趋势

近年来,随着技术的不断进步与创新,大数据、云计算、AI 大模型以及向量数据库等新技术呈现出迅猛的发展态势。本次暑期学校的授课内容紧密围绕“HTAP”这一主题展开,同时,课程内容也进一步扩展至向量数据库和云数据库等前沿领域,以适应并推动相关技术发展的潮流。


OceanBase 创始人兼首席科学家阳振坤对 HTAP 数据库的关键技术实现进行了详尽的阐述。他明确指出,像 OceanBase 这样的 HTAP 数据库,一套系统既能够做交易又能够做分析,对用户来说,在成本和易用性方面,是非常友好的。HTAP 数据库的首要特性在于其实时交易处理能力,其次是要具备对大规模数据的分析能力和优异的高可用性。在回顾了 OceanBase 这一兼具交易与分析能力的 HTAP 数据库的关键技术挑战和攻关历程后,他对 HTAP 数据库的未来发展趋势进行了畅想。

图片

普渡大学计算机系的助理教授王建国就前沿技术在数据库领域的应用进行了深入探讨,他详细阐述了当前在数据库领域中备受瞩目的两大热点:云数据库与向量数据库。通过他的分享,与会者得以对这两项前沿技术有更全面、深入的了解。


在“云数据库”的主题授课环节,王建国老师指出:“随着数据量的增长和业务需求的变化,云数据库对存储、网络带宽和计算资源提出了更高的要求,为了实现资源的有效利用和优化系统性能,云环境中的资源池化和存算分离技术变得尤为重要。而 Disaggregated Databases 就是为了响应资源池化和存算分离架构的新兴趋势应运而生。”他在授课中系统阐述了“Disaggregated Databases”在云数据库时代的技术全景和未来趋势,并对关系数据库的存算分离、LSM 存储引擎的存算分离和内存分离的关键技术进行了系统性剖析,以帮助大家更好地了解其关键技术、核心挑战及其对下一代数据库系统的影响。

图片

随着大数据和人工智能的快速发展,向量数据库作为一种新兴的数据库系统也受到越来越多的关注。在“向量数据库”主题的授课环节,王建国老师系统介绍了内存向量索引、磁盘向量索引、专用向量数据库、RDB 内嵌的向量数据库领域的前沿进展和关键技术,并对向量数据库的核心挑战进行了剖析,最后还分享了向量数据库性能优化的关键要素和主要策略。

02 深入浅出

异步处理优化的 OLTP、SQL 处理优化、事务处理

西蒙弗雷泽大学(SFU)计算机科学学院的助理教授王添正,以及上海交通大学的长聘副教授兼软件学院副院长王肇国,分别就异步处理优化的 OLTP、SQL 处理优化和事务处理的核心原理和前沿进展进行了深入探讨,并详细阐述了其在实际数据库系统中应用的关键技术策略,为参会者提供了宝贵的学术见解与洞察。


王添正老师首先为大家带来了关于“异步处理优化的 OLTP”的分享,重点探讨了如何通过异步处理优化 OLTP 数据库系统。他指出:“近年来,随着处理器速度的快速增长,数据访问延迟成为一个重要问题。为了解决这个问题,人们尝试将常用数据缓存到内存中以减少延迟,但即便是在内存中,数据仍然存在访问延迟。尽管新型 NVMe SSD 提供了高带宽,但其延迟和不稳定的问题对数据库系统构成了挑战。因此,数据库系统的设计需要考虑到如何有效管理这些不断增加的延迟,包括通过优化 OLTP 引擎和提高硬件利用率来加以应对。所以未来仍需进一步研究如何减少数据库前端处理步骤中的延迟,以及如何更好地利用新兴的存储技术来提高性能和效率。”

图片

他认为:“采用先进的索引结构和并行处理技术,能够有效减少 CPU 与线程之间因调度不当引起的额外延迟。特别是在探查索引时,采取合适的锁定机制,有助于避免高竞争情况下的性能瓶颈;也可以通过设置多个队列、采用多级调度法等方式,来提高数据库的整体性能。”


数据库系统的核心组件和在分布式环境下的挑战及优化策略一直是学术界和产业界共同关注的话题。王肇国老师针对热门的“SQL 处理优化”、“事务处理”两大话题进行了深入浅出的讲解。

图片

在“SQL 处理优化”的主题授课中,王肇国老师指出:“SQL 优化在未来数据库系统研究中至关重要。早期由于计算资源和数据规模有限,大家主要使用结构化查询语言来管理和操作数据,从而实现数据的增删改查。随着数据库系统的应用场景、数据规模和技术挑战的不断扩展,SQL 处理优化一直是数据库系统的核心研究主题。”此外,在此部分的授课中,王肇国老师还重点介绍了基于重写规则的 SQL 处理优化技术。


在“事务处理”的主题授课中,王肇国老师阐述了事务处理中的两大关键主题“事务一致性保障与共识机制”的核心原理。通过对比数据库事务中的隔离级别、系统结构中的内存一致性模型以及分布式环境下的最终一致性模型,剖析了 Consensus 在保障数据一致性和系统可靠性方面的重要性,并指出,面对高可用性和容错性需求时,需要进一步优化 Consensus 机制以提高系统整体性能和可靠性。

03 一场特殊的 Panel

HTAP 数据库大有可为

围绕本次暑期学校的主题“HTAP”,现场还进行了一场特殊的 Panel 环节,西蒙弗雷泽大学(SFU)计算机科学学院助理教授王添正、武汉大学计算机学院副教授彭煜玮、贵州大学教授&数据库暑期学校负责人李晖、上海交通大学助理教授尹强、OceanBase CTO 杨传辉、OceanBase资深研发总监&开源生态负责人封仲淹五位老师现场进行了探讨。

图片

随着数据规模的增长和业务需求的日益多样化,传统的 OLTP 和 OLAP 数据库在处理复杂数据和分析任务时逐渐暴露出其局限性。在这样的时代背景下,HTAP 数据库应运而生。其通过集成 TP(事务处理)和 AP(分析处理)于一体,实现了对事务和分析工作负载的一体化处理,有效避免了传统数据库架构中的数据移动和复制问题,为数据处理提供了更为高效、灵活的管理方式。本次 Panel 深入探讨了 HTAP 数据库如何满足当前及未来的数据处理需求,以及未来发展前景。


大家认为,目前 HTAP 数据库仍有巨大的发展潜力。一方面,尽管 HTAP 数据库的发展前景被广泛看好,但在实际应用中仍需面对存储优化、负载均衡、资源隔离等技术挑战。这些挑战不仅涉及基础理论研究,而且与工业界的实际需求紧密相连。另一方面,随着云计算技术的不断进步,HTAP 与云技术的深度融合展现出广阔的成长空间。这预示着 HTAP 数据库将在学术界、工业界、产业界等多个领域拥有广泛的应用前景。无论是高校还是如 OceanBase 这样的企业,都值得进一步探索。

04 后浪乘风而上

中国数据库处在最好的时代

除理论授课外,现场的同学在 OceanBase 多位资深技术专家的悉心讲解和指导下,进行了多场技术实训。在本次暑期学校的最后一天,同学们分组进行了现场答辩。


经过为期一周的理论学习和实训锻炼,大家对本次暑期学校的“HTAP”主题的认识更加系统与深入,也通过 MiniOB 系列实训对 OceanBase 有了更强的兴趣。最终,来自华东师范大学和中国科学院计算技术研究所共同组成的“锅包肉真好吃”团队获得了本次暑期学校实训环节的特等奖,另有 8 支队伍分别获得了一等奖和二等奖。

图片

在本次数据库暑期学校的闭幕式上,CCF 数据库专委会主任、CCF 中国数据库学院院长周傲英教授做了总结发言。他首先表达了对本次暑期学校的高度认可与殷切期望。他指出,当前从事数据库内核研发的专业人员相对稀缺,而数据库暑期学校的设立,正是为了培育更多有志于投身数据库内核研发领域的人才。这是一项具有深远意义且需要长期坚持的项目。同时,周傲英教授明确表示,数据库专委会将致力于将数据库暑期学校打造成为数据库内核人才培养的重要基地,如同黄埔军校般,为数据库领域培养出一代又一代的杰出人才,确保这项事业能够得以持续传承与发展。


然后,周傲英教授在分享中进一步强调了数据库领域中,产业界与学术界之间不可分割的紧密联系。他指出:“学术界与产业界应当保持紧密的合作关系,产业界亦需广泛吸纳各方之长,将国内外积累的数据库经验与中国的实际数据库实践相结合。基于丰富的历史实践经验,学术界进行前沿探索与理论研究,而产业界则依据这些理论成果,进一步指导新的实践应用,从而形成一个良性的循环闭环。这种合作模式将有效推动中国数据库领域的持续发展。”

图片

周傲英教授强调,中国数据库领域的从业者和技术爱好者,应紧抓当前有利时机,深化个人学习与研究,以贡献于国家数字化转型的宏伟蓝图。同时,对于国产数据库而言,应敏锐捕捉数据作为第五大生产要素所带来的无限可能,推动新型数据库技术的创新发展,并构建相应的技术基础设施,以应对人工智能和大数据技术快速发展的挑战,并致力于站在更高的战略视角和新的历史节点,审视并把握当前的时代机遇。


最后,由于很多用户、高校学生没有参与现场学习,他们在后台反馈对本届暑期学校的授课十分感兴趣,因此我们特将本次暑期学校原汁原味的授课内容于 OceanBase 数据库学堂视频号进行直播,希望更多用户、同学可以学习到这些学术前沿内容,内容比较多,所以我们将在下周一到周四,每天下午 13:00 开始直播,欢迎大家观看。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论