暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

OpenGauss安装部署金仓KFS同步程序—OpenGauss作为源端时的安装部署

原创 KFS补给站 2025-01-15
217



关键字:

KingbaseFlysync、KFS、replicator、同步程序、服务端、flysync.ini、安装部署、OpenGauss、OpenGauss安装部署KingbaseFlysync、OpenGauss安装部署KFS

 

一、 概述

Kingbase FlySync 支持OpenGauss B模式(即sql_compatibility=’B’)作为源端进行数据同步,通过解析 OpenGauss的 xlog 来 进行数据的增量解析。下面将介绍 OpenGauss作为源端进行部署的方式.

二、 安装前准备


前置条件:已经完成OpenGauss数据库的安装部署

2.1 环境信息

参数名

参数

源端数据库IP地址

10.10.3.41

安装KFS同步程序IP地址

10.10.3.41

OpenGauss数据库名

test

OpenGauss数据库监听端口号

15400

可用内存

>4GB

可用储存空间

>1GB+7*每日数据增量

 2.2 端口开放

1、关闭防火墙

停止防火墙服务,重启电脑后仍然会开启

systemctl stop firewalld.service   

关闭防火墙服务开机启动,重启后生效

systemctl disable firewalld.service  

 

2、若有特殊情况如业务要求需要开启防火墙,则需要保证KFS同步程序所需端口可用,若不可用,可以在后续配置中修改默认端口。

telnet xx.xx.xx.xx 端口号

Kingbase FlySync同步服务运行所需的默认端口如下:

端口

描述

11000/11001

KFS远程管理/监控RMI端口

3112

KUFL传输接口

2.3 创建KFS同步程序安装用户

假设KFS同步程序安装用户为fly,创建如下(本文设置fly用户密码为123):

adduser fly

passwd fly

2.4 ruby环境配置

上传ruby包到KFS同步程序安装服务器下并解压:

unzip rbenv_2.2.2_linux_x64.zip

图片.png

然后在KFS同步程序安装用户的环境变量中进行配置

vi ~/.bash_profile

export RUBY_HOME=ruby绝对路径

export PATH=$RUBY_HOME/bin:$PATH

source ~/.bash_profile

2.5 安装包准备 

准备需要安装的Kingbase FlySync同步程序安装包和license文件。

2.6 OpenGauss数据库准备

1. 编辑安装目录下data/dn/pg_hba.conf 文件, 增加如下配置,使用户有复制权限:

host    replication     all             127.0.0.1/20            md5

host    replication     all             ::1/128                 md5

2. 编辑安装目录下 data/dn/postgresql.conf 文件, 修改如下配置:

参数配置

含义

max_wal_senders = 2* 数据库个数

日志发送进程数 (最小为 4)

wal_keep_segments = 4

保留日志数量,根据磁盘空间设置,越大越好

max_replication_slots = 2* 数据库个数

复制槽数量 (最小为 4)

wal_level = logical  

数据库日志级别

全部配置完成后,重启数据库生效

三、安装执行

3.1 并解压KFS同步程序

tar –zxvf KingbaseFlysync-Vxxxxxxxxxxxxxx-replicator.tar.gz

图片.png

3.2 配置flysync.ini

在$HOME目录下新建flysync.ini文件,示例如下:

参数说明:

[defaults]


install-directory=/home/flysync/replicator

同步程序安装目录

profile-script=~/.bash_profile


rmi-port=11000

rmi端口号,默认为11000

[m_opengauss]

服务名

role=master

同步角色,源端为master,目标端为slave

master=localhost199

源端服务的安装ip/hostname

members= localhost199

本服务的安装ip/hostname

kufl-port=3112

KUFL端口号

replication-host=10.10.3.41

数据库ip

replication-port=15400

数据库端口

replication-user=testwzl

数据库用户名

replication-password=Kingbase2017

数据库用户密码

datasource-type=opengauss

数据库类型

opengauss-extractor-method=xlogical

解析方式

opengauss-dbname =test

数据库名

property = replicator.filter.replicate.do=public.*

表过滤

property=replicator.extractor.dbms.autoIdentity=full

为无主键表自动开启补全日志功能

svc-extractor-filters = dropstatementdata,replicate

开启过滤DDL语句、开启表过滤

注意:

replicator.filter.replicate.do为表过滤参数,格式为“模式名.表名”;

 

3.3 执行安装

执行解压目录/tools/下的fspm install

图片.png

更新环境配置

source ~/.bash_profile

3.4 上传license文件

上传license文件至$HOME/kfs/目录

图片.png

3.5 启动同步程序

replicator start

 图片.png

3.6 查看同步服务情况

fsrepctl servicesfsrepctl statusstateonline表示服务正常

 

四、测试验证

在源端数据库执行以下sql

 create table bmsql_new_order (

  no_w_id  integer   not null,

  no_d_id  integer   not null,

  no_o_id  integer   not null

);

delete from bmsql_new_order where no_w_id = 8 and no_d_id=1 and no_o_id=2191;

执行kufl list –last查看同步解析情况

图片.png

 

五、总结

 程序常见操作命令

KFS同步程序的启停

replicator start

replicator stop

replicator restart

查看同步服务状态

fsrepctl services

fsrepctl -service 同步服务名 status

同步服务的启停

fsrepctl -service 同步服务名 online

fsrepctl -service 同步服务名 offline

重置KUFL

fsrepctl -service 同步服务名 reset  –all  –y

 

 

参考文档:

《Kingbase Flysync 安装部署手册》

 



「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论