数据中台近100亿大表全量与增量同步踩坑经验总结

方法一：登录CN计算节点，设置环境变量，使用psql命令登录数据库
\c 库名
库名=# \d+ ${schema}.${table}
表结构最后会显示分布键信息
Distribute By: SHARD(bkkp_sn)
Location Nodes: ALL DATANODES


方法二：SQL查询分布键
select pg_namespace.nspname, pg_class.relname, 
    (
        select array_to_string(
            array(
                select pg_attribute.attname from pg_attribute 
                where pg_attribute.attrelid = pgxc_class.pcrelid 
                and pg_attribute.attnum in (select unnest(pgxc_class.discolnums))
                ),
            ','
        )
    ) as shardkey 
from pgxc_class, pg_namespace, pg_class
where pgxc_class.pcrelid = pg_class.oid 
and pg_namespace.oid = pg_class.relnamespace 
and pgxc_class.pclocatortype = 'S' 
and pg_class.relkind in ('r','p') 
and nspname = '${schema}' 
and relname = '${table}' 
ORDER BY pg_namespace.nspname, pg_class.relname;

分区表：表分区可以将一个大表按照某个或多个属性的值划分为多个小表。当数据量非常大时，方便维护数据；最后就是利用分区消除查询时，不用扫描整张表，从而提高查询性能。

postgres=# \c 库名
库名=# \d+ ${schema}.${table}
表结构最后会显示分布键信息
Partition key: RANGE (setl_time)
Indexes:
索引1列表
索引2列表 
Partitions: ${schema}.${table}_prt_1 FOR VALUES FROM ('2019-01-01 00:00:00') TO ('2019-02-01 00:00:00'),
            ${schema}.${table}_prt_2 FOR VALUES FROM ('2019-20-01 00:00:00') TO ('2019-03-01 00:00:00'),

整个迁移同步实施工作做完之后，我认为以下几点经验可供借鉴：

1、一个好的分片键可以让数据均匀分散到每个DN节点，充分利用每台服务器资源，提升写入效率；

2、一个好的分区键可以让每个DN节点上的数据拆分成更小的表，更好维护数据，也更快速查询；

3、把主键与索引放到最后来创建，对整个全量同步效率带来很大的提升。

4、选择一个好的ETL同步工具，可以避免大量的调试、测试验证和返工工作。