南大通用实时同步系统,简称:GBase RTSync,它是一款自主研发的异构及同构数据库增量数据实时同步产品,具备实时性、一致性、精准性、易扩展性和可集成特性,适用于OLTP数据库与OLAP数据库联动向应用系统提供数据管理和数据分析功能的业务场景,可以实现将OLTP数据库的数据实时同步到OLAP数据库,从而使得OLAP数据库具备了实时数据分析的基础,解决数据增量同步问题,能够有效提升数据仓库系统、BI系统和决策支持系统的数据分析效率和及时性。
● Capture:从数据源获取并解析增量数据逻辑日志,按照特定的协议标准封装后发送给消息队列;
● Delivery:从消息队列组件中获取协议数据,并根据目标库的类型,组织和优化数据,将数据写入目标数据库;
● MQ:支持Kafka以及Rabbit MQ,两者均可保证高可用;
● 管理模块:启、停和监控Capture 、 Delivery组件,校验源和目标端数据同步相关配置信息。
GBase RTSync关键技术
● 基于逻辑日志的解析的增量同步对源库影响小
● 在线接管,减少源库的非计划停机
● 分布式架构支持水平扩展
● 与主流消息中间件兼容Kafka、rabbitMQ
● 支持高可用模式
GBase RTSync+GBase 8a MPP组合。搭建GBase RTSync前置服务器,对接前端贴源历史库和后端全域模型的数据明细层及轻度汇总层。RTSync完成历史数据导入和源库零停机的增量数据接入,支撑峰值源库1.5TB/日的归档量的增量同步。GBase RTSync + GBase 8a MPP 集群数据库深度优化绑定方案,满足海量数据存储、大规模并行计算、准实时增量流转等功能需求和性能要求。

本项目采用GBase 8a MPP大规模分布式并行数据库集群系统,搭建十几节点集群存储整合明细数据和轻度汇总数据。
● 准实时同步,准确高效:GBase RTSync实现增量抽取、增量加载的数据准实时同步功能,高达秒级同步效率;而且确保同步数据一致;
● 海量数据,高速初始化:实现高速加载数据,同时提供高压缩比入库从而提升性能,海量存储能力,整合多业务数据,并可根据需求在线动态扩展;
● 全量初始化,无需停机:新业务新表接入国网全业务统一数据中心的源端数据库不需要停机,也不需要暂停原业务运行,GBase RTSync实现历史数据和增量数据无缝结合,保障源库正常运行下,高效加载至整合数据库中。
天津南大通用数据技术股份有限公司(以下简称“南大通用”)成立于2004年,是具有自主知识产权的国产数据库产品与服务提供商。作为国家级高新技术企业、国家规划布局内重点软件企业、信创工委会成员企业(0048),南大通用已连续多年被工信部下辖的赛迪顾问评为国产数据库领军企业。
自成立以来,南大通用始终坚持自主创新,产品的核心技术及底层代码自主可控,产品已通过分布式分析型数据库性能大规模专项评测(4096节点,世界规模最大)、等保四级、商用密码产品认证、涉密信息系统产品检测等资质认证。目前,南大通用已经成为国内少有的专注于数据库产品研发,并且在金融、电信行业得到规模化应用的独立数据库服务商。
经过十余年发展,南大通用构建了覆盖数据管理全生命周期、全技术栈的数据产品体系及服务解决方案,已成功为金融、电信、政务、能源、交通、国防军工等百余个行业上万家用户提供产品和服务,建立节点超过30000个,管理数据总量超过300PB。




