产品简介
南大通用可视化集群双活同步工具软件(GBase Visio Rsynctool),是GBase自主研发的、专门适用于GBase 8a MPP Cluster的集群间同步工具。通过GVR,可以灵活高效的实现集群间的数据同步,并对同步任务进行实时的监控、统计和告警,极大降低集群间同步的运维成本,保障集群灾备场景下两个集群的数据一致性。
核心价值
- 基于底层数据文件的同步,相比于传统的基于逻辑日志的同步,大大提高了海量数据同步的效率
- 支持在线双活同步,同步期间不阻塞源库的DML操作,满足重要表分钟级同步要求
- 支持全量和增量数据同步
- 支持元数据同步
- PB级数据仓库产品中同步效率最高
- 业内首个支持跨中心高可用的MPP数据库产品,其它MPP产品没有此案例
产品架构
应用场景
- 跨城双活
- 同城双活
- 无实时需求的同机房双活
产品特点
- 高稳定性、高性能快速复制
- 中间层和结果数据进行复制
- 故障快速自动切换
- 同步工具GVR、配置简单
- 无需依赖快速搭建
- 数据实时备份、增量同步
- 低成本、无需特殊硬件
- 应对不可抗逆灾害
同步方案
T+1异步一致性同步方案
定期调用同步工具完成主备集群同步
机房1与机房2分别部署一套逻辑节点数一致的完整集群,Hash Map一致;
应用连接机房1集群完成DML操作,将已完成的作业信息或要同步的表记录至同步队列中;
何时同步及同步哪些表由“同步队列处理”应用保证,每天定时同步或定期轮询同步;
适用场景:同步要求时效性不高,有时间窗口用于同步或可暂停写入任务
机房1集群整体异常时,需通过同步队列与当前作业状态计算其切换恢复状态;
RPO指标为0(批量加工业务可重跑),RTO指标批量业务重跑的时间。
作业级准实时一致性同步方案
作业级一致性同步,应用层完成一个任务后,调用同步工具完成表的主备集群同步后,整体任务才算完成;
机房1与机房2分别部署一套逻辑节点数一致的完整集群,Hash Map一致;
应用连接机房1集群完成DML操作,作业的最后一步将本作业影响的目标表增量数据同步至机房2集群,同步不成功则认为该作业加工失败;
查询可连接机房2集群,实现读写分离。
适用场景:同步时效性要求较高,可以进行业务改造在作业调度中增加同步过程
机房1或机房2任一集群整体故障,均可通过调整应用层指向的集群进行切换;
RPO指标从作业级看为0,RTO指标约几分钟~半小时。

产品介绍
用户与权限管理
用户可以在系统管理模块下对GVR的用户和用户权限进行管理,主要包括:
1. 创建/删除,启用/停用用户,按照需求编辑用户信息并为用户分配合适的角色(目前系统内置了系统管理员和系统运维两个角色)。
2. 创建/删除/修改部门,部门可以用来进一步细化用户信息,并用来以树结构的形式展示各部门下的用户。
3. 创建/删除/修改岗位,岗位可以和系统内置角色相对应进行创建,丰富用户信息,提高用户管理规范和效率。

系统监控
GVR支持对当前在线的用户和系统服务器进行监控,有效管理系统安全。
1. 在线用户监控包含登录用户、登录IP、登录地点、浏览器、操作系统、登录时间等等。并支持对登录用户进行“强退”操作。
2. 服务监控包含服务器信息、服务器CPU、内存、磁盘以及Java虚拟机的监控,实时掌握服务器状态。

审计日志
GVR支持对用户登录和用户在系统中进行的操作进行审计记录。
1. 登录日志:会记录登录用户、登录IP、登陆地点、登录所使用浏览器、操作系统、登录时间等信息,并支持对登录日志进行导出操作。
2. 操作日志:会记录操作用户、用户操作涉及的模块、操作类型、操作状态、操作时间等信息,并支持对操作日志进行导出操作。

数据源管理
用户在进行数据同步之前,需要先在“数据源管理”模块配置好数据源。
- 用户在该模块可以自由创建/删除/编辑数据源。
- GVR通过用户填写的数据源信息连接到数据源并进行后续的数据同步。所以数据源连接信息若有变更需要及时到该页面更新。

同步任务管理
同步任务管理是GVR的核心功能,用户通过创建并执行同步任务来实现主备集群间的数据同步。
1. 用户在该页面可以创建/删除/编辑同步任务,并查看已创建的同步任务的信息。
2. 用户在该页面可以手动触发同步任务以及进入某个同步任务的任务历史信息页面。
3. 通过任务执行历史用户可以查看某同步任务每次的执行信息,包括任务开始时间、任务结束时间、任务进度、任务状态、任务执行日志以及任务执行详情。




定时调度管理
用户通过定时调度策略来实现周期性自动执行同步任务。用户在该模块可以创建/删除/编辑定时调度策略。
1. 一个定时调度策略支持绑定多个同步任务。
2. 定时调度策略支持手动触发
3. 定时调度策略具有高度灵活性,通过Cron表达式生成器进行配置,支持按秒、分、时、日、月、周、年各种时间单位来生成定时调度策略。

告警管理
1. 支持配置日志级别,并可视化查看同步任务日志,协助获取同步失败原因并解决。
2. 对同步任务状态、执行时长、失败数量进行告警,并支持通过SNMP协议转发告警消息。





