我有一同学做工业物联网方面,他们弄了一小黑盒(带操作系统),放在客户环境,他们想做数据采集,细聊了一下需求,觉得用PG挺合适的,下面分享下的实现。
1. 系统架构图

- 每个客户环境内部可以看成是一个局域网,需要有一个本地PG库,本地PG库与客户实际数据库之间通过FDW进行数据交换。
- 客户环境里的本地PG库与中心PG库通过逻辑复制单向传输数据。
2. 系统组件
- 数据采集目标环境:中心PG数据库
- 客户环境:Centos+本地PG数据库+FDW插件+JavaWeb中间件
3. Web界面功能
- 定义数据源

- 解析数据源(获取表元数据)

- 添加任务表

- 任务调度

4. 已完成的功能
- 通过Web界面配置参数后即可自动开启数据采集同步任务。
- 支持mysql、oracle、sqlserver数据库单表的全部字段或部分字段单向同步至中心PostgreSQL数据库。
- 本地PostgreSQL库与中心PostgreSQL之间基于WAL日志增量同步
- 本地PostgreSQL与其他库之间目前是全量同步,可以优化。
最后修改时间:2020-01-20 14:34:12
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。




