暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

晋级名单公布 | PolarDB数据库创新设计赛初赛回顾及决赛预告

PolarDB 2024-12-02
375

初赛回顾

2024年全国大学生计算机系统能力大赛PolarDB数据库创新设计赛(天池杯)于 9月23日正式开启初赛。初赛要求选手基于PolarDB-PG开源代码,单机环境部署单节点PolarDB-PG集群,导入TPC-H 20GB数据,导入速度越快得分越高。


在将近两个月的初赛赛程中,共有来自近百所高校的近200支队伍积极参与。选手们展现了极高的参与热情和竞争强度,每天高频次地提交评测,力求在性能上不断突破。


选手们的成绩差异较为明显,第一名的成绩为123秒,而最后一名的成绩为2675秒,有近20倍的性能差距。同时,前列选手之间的竞争尤为激烈,前34名的成绩均在800秒以内,而前18名更是将成绩控制在400秒以内,展示了出色的优化能力和技术水平。


参赛队伍在作品提交中表现出色,通过在内核编码优化、PolarDB参数调优和插件应用等多个方面的创新,充分展示了他们对PolarDB云原生架构(计算存储分离模式)下数据文件组织的深刻理解和出色的编码能力。

晋级名单

经大赛组委会核查最优成绩对应的代码后,确认成绩有效的前60支参赛队伍入围决赛第一阶段,晋级名单如下:


恭喜以上60支队伍成功入围决赛!
这些队伍展现了卓越的技术能力和创新精神
体现了个人和团队的协作
我们为这些优秀选手的表现喝彩!

决赛启动

PolarDB数据库创新设计赛(天池杯)决赛的题目已于11月20日正式发布,决赛要求选手基于PolarDB-PG开源代码,单机环境部署PolarDB-PG集群(单节点或一写多读集群),基于初赛实现的导入方法导入TPC-H 20G数据,并执行TPC-H 22条SQL,查询速度越快得分越高。

附查询加速Tips:
  • 使用单机并行, 通过修改表的配置和参数可启用强制并行度。
  • 使用PolarDB ePQ多机并行,ePQ是greenplum orca优化器的适配共享存储架构的版本,OLAP业务场景优化显著。
    • 说明:ePQ这个功能仅仅在使用了一写多读PolarDB并启动了多个计算节点时生效。
  • 开启PolarDB预读功能,使用共享存储时效果比较明显,预读可以减少IO次数,降低云盘IO延迟带来的性能损耗。
    • 说明:默认值可以修改src/backend/utils/misc/guc.c实现, 仔细查阅该文件了解更多PolarDB定制参数。
  • 修改配置,例如优化器校准因子相关配置、优化器JOIN方法相关配置、哈希表内存大小相关配置等。
  • 使用列存储和JIT,能节约存储空间、加速导入、加速查询,通常可以比行存储性能提升10倍以上。
    • 说明:需要修改内核才能实现优化。
  • 参数优化
    • 加大shared_buffers可以提高查询速度。
    • 加大work_mem可以提高查询速度。
  • 通过索引可以提升某些SQL的查询性能。
    • 说明:加索引也会导致占用更多的空间以及建索引本身的耗时。
  • 对于极限测试,每一条 SQL 都可以单独优化(例如使用不同的参数、JOIN 方法、索引等)。如果需要简单的方式,可以调整 tpch 的测试脚本;如果需要复杂一些的方式,可以修改 hook。而最具实用价值的做法是改进优化器,以实现通用的复杂 SQL 优化。
    • 说明:还有一些情况下,即使使用相同的配置,某些SQL可能仍然会导致内存耗尽并发生OOM。这可能是由于hash table过大造成的,因此可以考虑支持hash table split to disk,多阶段join。

更多详细信息和后续安排,请持续关注PolarDB公众号。祝各位选手比赛顺利,取得优异成绩!





文章转载自PolarDB,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论