暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

倒计时!初赛作品提交即将截止!附导入加速Tips

PolarDB 2024-11-13
239

特别提醒

PolarDB数据库创新设计赛(天池杯)初赛提交即将截止

截止时间:2024 年 11 月 20 日 24:00



  好礼相送:阿里云双肩包 


即日起首次提交作品并在排行榜成功出分的参赛队伍,关注PolarDB公众号并回复“队伍名+已成功提交的截图证明”,经组委会核定确认后,队伍中的每位选手可获得阿里云限定款「双肩包」一个!(限量100个,先到先得)

已获奖名单公示

初赛作品提交入口持续开放,截止时间为2024年11月20日24:00。提交作品步骤,参见下文“快速提交指南”。


  快速提交指南


还未提交初赛作品的队伍,请收好这份初赛提交指南,不要错过截止时间!成功提交初赛作品并在排行榜上有成绩的队伍,将有机会获得精美礼品!

    下载比赛所需PolarDB源码:

    https://gitee.com/polardb/PolarDB-for-PostgreSQL/repository/archive/polardb-competition-2024.zip

    将代码文件重命名为“PolarDB-for-PostgreSQL.zip”


    基于自己对赛题的理解修改和优化代码(可选步骤)

    登录天池官网:


    1. https://tianchi.aliyun.com/competition/entrance/532261

    依次点击提交结果 -> 镜像路径(配置路径)-> TCCFile(上传 )->上传PolarDB-for-PostgreSQL.zip压缩包 -> 提交,返回结果可以在我的成绩中查看。


划重点:导入加速Tips


已经成功提交初赛作品的队伍,请收好这份导入数据加速Tips,努力优化代码,提高成绩!

  • 修改tpch_copy.sh脚本,按表并行执行COPY导入任务,按表的大小从大到小启动COPY导入任务,逐一启动任务并始终保持N个并行的活跃任务。

  • 开启PolarDB预分配功能减少IO次数, 降低云盘IO延迟带来的性能损耗。

    • 默认值可以修改src/backend/utils/misc/guc.c
      实现,仔细查阅该文件了解更多PolarDB定制参数。

  • 开始导入数据前使用unlogged table, 在索引创建完成后再改成logged table。

    • 提示: 可以通过修改pg_class.relpersistence实现(u=unlogged, p=logged)。

  • 参数优化:

    • 导入前关闭autovacuum, 可以降低autoanalyze带来的影响。

    • 加大maintenance_work_mem参数值, 可以提高创建索引的速度。

    • 加大shared_buffers可以提高导入速度。

    • 加大checkpoint窗口可以降低检查点对IO的影响。

  • 使用Unix Socket代替TCP连接,提高导入速度。

关注PolarDB公众号,参与抽奖与互动。

点击“阅读原文”查看初赛赛题、评测方案、作品提交指南。

文章转载自PolarDB,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论