暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

GoldenDB采集组件和回放组件工作原理

李宇轩 2024-11-27
183

采集组件

1)概述

    采集组件是生产者,从源数据库采集数据,以标准格式存入 Kafka 队列,等待回放组件进行消费。

2)与采集组件交互的模块

    sloth-manager管理平台:安装和启停采集组件

    源端数据库:获取数据,产生数据变更

    ZK:组件级 ZK 节点,任务级 ZK 节点

    Kafka:Kafka 的 topic 存放采集组件生成的 Json 消息

    文件系统:配置文件,日志文件

3)工作过程

    1.通过 SlothManager 创建采集组件,创建组件级 ZK 节点;

    2.启动采集组件,监听组件级 ZK 节点;

    3.运行同步任务,在该采集组件级 ZK 节点下创建任务级 ZK 节点并注册消息;

    4.采集组件监听到子节点不为空,解析子节点ZK消息并写入到配置中;

    5.采集组件读取配置信息,创建引擎,捕获源端数据库数据的变化进行处理;

    6.采集组件将数据生成 Json 消息发送到对应 Kafka 的 topic,供回放端进行消费。

回放组件

1)概述

    回放组件是消费者,从 Kafka 队列中消费采集组件存入的数据,生成可执行的 SQL,写入目标端数

据库。

2)与回放组件交互的模块

    sloth-manager管理平台:安装和启停回放组件

    ZK:组件级 ZK 节点,任务级 ZK 节点

    Kafka:回放组件去消费 Kafka 的 topic 存放采集组件生成的 Json 消息

    目标端数据库:执行回放组件生成的 SQL,更改数据库中的内容

    文件系统:配置文件,日志文件

3)工作过程

    1.通过 slothmanager 创建回放组件,创建组件级 ZK 节点;

    2.启动回放组件,监听回放组件级 ZK 节点;

    3.运行同步任务,在该回放组件级 ZK 节点下创建任务级 ZK 节点并注册消息;

    4.回放组件监听到子节点不为空,解析子节点 ZK 消息并写入到配置中;

    5.回放组件读取配置信息,订阅并消费采集组件推送至 Kafka 的消息,通过计算线程后生成可执行的 SQL,通过写入线程将 SQL 写入目标端数据库;

    6.目标端数据库执行回放组件生成的 SQL 语句,更改数据库中的内容。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论