DB吐槽大会,第9期 - PG 大量连接写小事务性能差

作者

digoal

日期

2021-08-28

标签

PostgreSQL , 大量连接写小事务性能差

视频回放

1、产品的问题点
- 大量连接写小事务性能差

2、问题点背后涉及的技术原理
- PG判定事务可见性依赖事务快照, 结构为:ProcArray, 事务启动时、RC事务隔离级别的Statement执行开始时都要加ProcArray共享锁, 写操作的事务结束时需要加ProcArray排他锁. 高并发写操作发生时容易产生ProcArray排他锁冲突. 虽然procarray是有hash分区每次只锁映射的分区来降低排他锁冲突, 但是连接过多的情况下冲突依旧明显.

3、这个问题将影响哪些行业以及业务场景
- 读写频繁、高并发(大量连接, 通常指超过5000个连接)小事务的业务. 例如2C的SaaS类场景.

4、会导致什么问题?
- 高并发写操作发生时容易产生ProcArray排他锁冲突. 性能下降. 上万连接的高并发写操作性能可能降低到1000 tps以内.

5、业务上应该如何避免这个坑
- 使用连接池, 降低总连接数.
- 如果应用程序本身不具备连接池的能力, 使用pgbouncer这类中间连接池

6、业务上避免这个坑牺牲了什么, 会引入什么新的问题
- 管理更加复杂
- pgbouncer引入后, 必须是要statement或transaction level连接池, 从而无法使用prepared statement, 导致query parse,rewrite,plan的开销增加.

7、数据库未来产品迭代如何修复这个坑
- 内置线程池
- 对事务快照进行 CSN 或 CTS 改造
- https://github.com/alibaba/PolarDB-for-PostgreSQL/blob/master/doc/polardb/cts.md

PostgreSQL 许愿链接

您的愿望将传达给PG kernel hacker、数据库厂商等, 帮助提高数据库产品质量和功能, 说不定下一个PG版本就有您提出的功能点. 针对非常好的提议，奖励限量版PG文化衫、纪念品、贴纸、PG热门书籍等，奖品丰富，快来许愿。开不开森.

9.9元购买3个月阿里云RDS PostgreSQL实例

PostgreSQL 解决方案集合

德哥 / digoal's github - 公益是一辈子的事.