暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBase 8a Mpp Cluster集群产品性能优化篇之业务层面调优

原创 Bright 2022-03-15
227

业务调优最为复杂,只有熟悉和掌握应用业务流程,才能找到正确的优化点和优化方法。对于业务调优一定要与现x场人员充分配合,确保优化后的业务逻辑和优化前的业务逻辑是等价的。

拉链表性能优化
优化场景长期数据积累导致p表enddate=’29991231’的数据分布离散,存储在不同的DC中,过滤时需要把所有含这部分数据的全部DC打开(读入内存、解压、抽取),时间及资源开销较大,进而造成作业性能较差;
拉链步骤中已有数据闭链及新数据开链都需要过滤p表条件enddate=’29991231’。某P表n1分片,全部数据(行数约为1.8亿)有2841个DC,但enddate =’29991231’的数据(行数约为80万)分布在2726个DC上,这导致智能索引的过滤效果很差。
检查方法通过GNode Trace发现查询性能较慢,在Trace文件中,Smart Scan部分found DC的个数很多,而Scan的结果行数却较少,此时可以确定过滤后的数据离散的分布在多个DC中,以此判断是否需要进行数据整理调优。


优化方法
每个月整理p表数据,将enddate=’29991231’的数据作为新数据集中插入到尾部,减少数据分布离散度,原数据delete。
每半年对p表进行重组(Shrink Space),释放delete空间。


优化操作步骤
update p set enddate=’29990000’ where enddate=’29991231’;
insert p select col1,…colx, ’29991231’ from p where enddate=’29990000’ ;
delete from p_00ccard_ambs where enddate=’29990000’;

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论