精彩回顾|大咖面对面——清华大学张焕晨：Cost-Intelligent Data Analvtics in the Cloud

Gauss松鼠会 2023-11-27

319

Gauss松鼠会

学习探索分享数据库知识和技术共建数据库技术交流圈

关注

11月21日，由Gauss松鼠会携手黄大年茶思屋，共同打造【大咖面对面】栏目第四期——Cost-Intelligent Data Analvtics in the Cloud，在黄大年茶思屋（北京站）线下线上同步举行。清华大学张焕晨老师、华为数据分析技术规划专家程龙威老师先后为大家带来技术分享。两位分享嘉宾还与华为计算引擎专家周平高老师、华为存储引擎专家王越老师及现场与会者一起，围绕“数据分析技术探索和未来展望”进行了深入交流。

近几十年来，数据库研究一直致力于在资源有限的情况下优化数据库的性能。随着越来越多的数据库应用程序上云，在云端解决数据库优化问题时如何智能地节省成本成为了业界面临的共同挑战。

清华大学张焕晨老师为大家带来分享：Cost-Intelligent Data Analvtics in the Cloud。本次报告中，张焕晨老师首先从经济学角度介绍了好的数据库应该具备哪些特点，接着分析了云数据库相较于传统数据库在弹性特点和按需付费模式方面的绝对优势，指出云原生数据库在性能优化过程中降低成本的可行性和必要性，最后，张老师分别从成本控制面临的问题、面向成本的数据库自动调优等方面，介绍了其团队为成本智能设计的第一个云数据库仓库的架构。张老师表示目前这个架构处于早期阶段，还面临着诸多工作和挑战，希望对此领域感兴趣的开发者、专家提出宝贵反馈，共同推动此架构的完善和实现。

数据决策周期决定价值，海量复杂的数据对分析效率和成本提出了巨大的挑战。华为数据分析技术规划专家程龙威老师为现场的开发者朋友分享了Serverless数据分析设计挑战。程老师指出当前数据分析任务越来越复杂化的现状，为大家展示了典型数据分析的业务流程，并详细介绍了目前数据分析面临的4大挑战：

挑战1：缺乏高效的湖仓智公共存储层；
挑战2：分析业务需多种计算模式，需要引入多种计算引擎，系统构成复杂；
挑战3：各计算引擎往往独立部署，资源不共享且缺乏弹性；
挑战4：声明式Pipeline，自动增量计算使能报表实时更新。

最后，程老师表示，一站式、云原生、多模融合的数据分析是大势所趋，也是业界需要迫切解决的问题。

在Panel环节，两位分享嘉宾与华为计算引擎专家周平高老师、华为存储引擎专家王越老师及现场与会者一起，围绕“Serverless数据分析的产品形态和发展方向”、“融合的趋势走向哪里？HTAP、HSAP、湖仓智融合、库仓湖智”及“声明式Pipeline的技术挑战？应该基于流还是微批”等三个话题展开了深入探讨。大家积极发言，讨论热烈，观点明晰，问题聚焦，从不同的角色出发从话题的不同的维度发表自己的观点。