暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GBase 8a MPP Cluster 基于集群间同步工具的异步一致性方案

原创 上善若水 2022-06-08
705

1.1    基于集群间同步工具的异步一致性方案

1.1.1   加工作业级实时数据同步

1.1.1.1方案设计


说明:

1、机房1与机房2分别部署一套逻辑节点数一致的完整集群,Hash Map一致;

2、应用加工作业连接机房1集群完成DML操作,作业的最后一步将本作业影响的目标表增量数据同步至机房2集群,同步不成功则认为该作业加工失败;

3、查询连接机房2集群。

1.1.1.2适用场景

批量加工与联机查询混合场景,批量加工与联机查询负载均较适中。

1.1.1.3灾备指标

机房1或机房2任一集群整体故障,均可通过调整应用层指向的集群进行切换(需停止作业中的数据同步步骤)

RPO指标从作业级看,为0,RTO指标约几分钟~半小时。

1.1.1.4优缺点

优点:

1、仅需切换应用指向的集群IP,实现较简单

2、集群间数据同步时间差异较短(分钟级);

3、可仅同步加工目标表,加工过程的中间表可不同步。

缺点:

1、应用层需适配开发(要求具备同步、切换功能);

2、2套集群耦合度较高,联机查询负载较高情况下,会影响批量加工性能;

3、异常切换时,数据一致性、完整性需进行检查。

4、加工作业需具备可重复执行能力;

5、无法完成DDL的同步。

 

1.1.2   加工作业级异步数据同步

 

1.1.2.1方案设计


说明:

1、机房1与机房2分别部署一套逻辑节点数一致的完整集群,Hash Map一致;

2、应用加工作业连接机房1集群完成DML操作,作业的最后一步将本作业信息记录至同步队列中,同步队列处理将已完成作业信息获取到,并获取作业目标表将其增量数据从机房1集群同步至机房2集群,何时同步及同步哪些表由“同步队列处理”应用保证;

3、查询连接机房2集群;

4、机房1集群整体异常时,需通过同步队列与当前作业状态计算其切换恢复状态。

1.1.2.2适用场景

批量加工与联机查询混合场景,批量加工与联机查询负载均较高。

同步队列处理按照负载情况进行同步,如加工并发高或查询并发高时,暂停同步,反之则加大同步并发度。

1.1.2.3灾备指标

机房1集群整体故障

通过同步队列与当前作业状态计算其切换恢复状态,加工作业可回退至某一时刻。

该情况下,RPO指标依赖已完成作业的同步完成情况,RTO依赖计算其切换恢复状态的时间。

机房2集群整体故障

可直接将联机查询切换至机房1集群。

RPO为0,RTO为几分钟。

1.1.2.4优缺点

优点:

1、按照负载保证2套集群独立运行;

缺点:

1、应用层需适配开发(要求具备同步队列处理、切换处理功能);

2、异常切换复杂,状态计算有相当难度;

3、异常切换时,数据一致性、完整性需进行检查。

4、加工作业需具备可重复执行能力;

5、DDL的同步需“同步队列处理”功能考虑。

 

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论