部署开源PolarDB PostgreSQL版三节点实例

本节介绍基于开源版PolarDB for PostgreSQL部署三节点实例的实践方法。

编译PolarDB for PostgreSQL源码

编译环境准备，请参见搭建基于单机本地存储的实例。 代码编译（增加--with-dma编译选项代表编译三节点版本）。

polardb_build.sh -m --with-dma

部署Leader节点

设置环境变量，目录可以根据自己环境进行设置。

export POLARBIN=/home/polardb/polardb_pg/data/tmp_basedir_polardb_pg_1100_bld/bin
export PGDATA=/home/polardb/polardb_pg/data/tmp_master_dir_polardb_pg_1100_bld
export POLARDATA=/home/polardb/polardb_pg/data/tmp_datadir_polardb_pg_1100_bld
export PGPORT=8432
export PATH=$POLARBIN:$PATH

初始化节点

说明：初始化节点的方式与单机版的方式相同。

initdb -U polardb -D $PGDATA/
mkdir $POLARDATA
polar-initdb.sh $PGDATA/ $POLARDATA/ localfs

修改DMA配置

polar_dma.conf会在initdb初始化结束后自动生成，如果不存在可自行新建。 修改$PGDATA/polar_dma.conf配置文件，包括：开启polar_enable_dma；配置polar_dma_repl_user和polar_dma_repl_passwd（用户WAL传输流复制的用户名密码，可为initdb的用户名或后续自建的流复制用户）；其他参数根据需要修改。

$PGDATA/polar_dma.conf

polar_enable_dma = on # DMA功能总开关
polar_dma_repl_user = 'replicator' # WAL传输用户，后续创建的replicator用户
polar_dma_repl_passwd = 'replicator' # WAL传输用户密码，后续创建replicator用户所设密码

$PGDATA/postgresql.conf

hot_standby = on # 开启备机读功能

polar_logindex_mem_size = 0 # 关闭logindex功能
polar_enable_wal_prefetch = off # 关闭wal prefetch功能
polar_enable_lazy_checkpoint = off
polar_enable_xlog_buffer = off # 关闭xlog buffer功能，DMA不支持
polar_enable_copy_buffer = off # 关闭copy buffer，本地盘模式不需要
polar_enable_persisted_buffer_pool = off # 关闭持久化buffer pool功能
listen_addresses = '*'

polar_enable_shared_storage_mode = on
polar_vfs.localfs_test_mode = on
polar_datadir='file-dio://${POLARDATA}'
# 举例: polar_datadir='file-dio:///home/polardb/polardb_pg/data/tmp_datadir_polardb_pg_1100_bld'

$PGDATA/pg_hba.conf

echo 'host replication all 0.0.0.0/0 md5' >> $PGDATA/pg_hba.conf
echo 'host all all  0.0.0.0/0 md5' >> $PGDATA/pg_hba.conf

初始化DMA节点元数据

配置为单节点集群；实例启动成功后，修改完DMA元数据后退出。其中$PGDATA、$HOST（本机IP）和$PGPORT需要修改为实际值。polar_dma_members_info指定的是IP和PostgreSQL本身的server port，consensus层通信端口自动为该端口+10000，后续所有集群修改都是指定PostgreSQL本身的port。

postgres -D $PGDATA/ -c polar_dma_init_meta=ON -c polar_dma_members_info="$HOST:$PGPORT@1"

启动节点

说明：与单机模式相同。启动成功后，DMA集群仅包含当前节点。

pg_ctl -D $PGDATA/ start -l ./master.log

创建复制用户和统计插件

psql -d postgres -p$PGPORT -c"create role replicator with superuser login password 'replicator';"
psql -d postgres -p$PGPORT -c"create extension if not exists polar_monitor;"
psql -d postgres -p$PGPORT -c "CREATE USER aurora WITH SUPERUSER LOGIN NOCREATEDB NOCREATEROLE PASSWORD 'aurora' CONNECTION LIMIT 5"

如果执行语句返回如下错误：

ERROR: cannot execute CREATE ROLE in a read-only transactio

说明数据库还在启动过程中，请等待5秒再次尝试。

配置Follower/Learner节点

该过程包括新建follower节点或者重搭follower节点。 设置环境变量，目录可以根据自己环境进行设置。

export POLARBIN=/home/polardb/polardb_pg/data/tmp_basedir_polardb_pg_1100_bld/bin
export PGDATA=/home/polardb/polardb_pg/data/tmp_master_dir_polardb_pg_1100_bld
export POLARDATA=/home/polardb/polardb_pg/data/tmp_datadir_polardb_pg_1100_bld
export PGPORT=8432
export PATH=$POLARBIN:$PATH

初始化节点

通过pg_basebackup复制数据或者copy整个data目录，建立follower节点。

pg_basebackup -h <master_ip> -p <master_port> -U replicator -D $PGDATA -X stream --progress --write-recovery-conf -v

初始化元数据

先配置为learner角色节点，之后再将节点加入集群。

postgres -D $PGDATA/ -c polar_dma_init_meta=ON -c polar_dma_learners_info="$HOST:$PGPORT"

修改DMA配置

修改$PGDATA/polar_dma.conf配置文件：修改其中的polar_dma_repl_appname参数。

polar_dma_repl_appname = 'standby_$HOST_$PGPORT' # $HOST用int32表示

启动节点

说明：与单机版启动方式相同。第一次启动成功后，将该节点加入DMA集群，之后可直接启动。

pg_ctl -D $PGDATA/ start
$POLARBIN/pg_ctl -D $PGDATA/ start -l ./follower1.log

加入集群

在leader节点执行SQL命令增加节点。

alter system dma add follower '$HOST:$PGPORT';
alter system dma add follower '172.17.204.138:8432';

配置Logger节点

该过程包括新建Logger节点或者重搭Logger节点。

设置环境变量

设置环境变量，目录可以根据自己环境进行设置。

export POLARBIN=/home/polardb/polardb_pg/data/tmp_basedir_polardb_pg_1100_bld/bin
export PGDATA=/home/polardb/polardb_pg/data/tmp_master_dir_polardb_pg_1100_bld
export POLARDATA=/home/polardb/polardb_pg/data/tmp_datadir_polardb_pg_1100_bld
export PGPORT=8432
export PATH=$POLARBIN:$PATH

获取主节点system_identifier

psql -U replicator -h <master_ip> -p <master_port> -t polardb_admin -c "select system_identifier from pg_control_system();"

初始化节点

说明：与单机版方式相同，启动节点创建复制用户和polar_monitor插件，必要时创建其他管控用户。

initdb -U polardb -D $PGDATA/ -i <system_identifier>
mkdir $POLARDATA
polar-initdb.sh $PGDATA/ $POLARDATA/ localfs

修改配置文件

在$PGDATA/postgresql.conf文件做如下设置：

hot_standby = on # 开启备机读功能

polar_logindex_mem_size = 0 # 关闭logindex功能
polar_enable_wal_prefetch = off # 关闭wal prefetch功能
polar_enable_lazy_checkpoint = off
polar_enable_xlog_buffer = off # 关闭xlog buffer功能，DMA不支持
polar_enable_copy_buffer = off # 关闭copy buffer，本地盘模式不需要
polar_enable_persisted_buffer_pool = off # 关闭持久化buffer pool功能
listen_addresses = '*'

polar_enable_shared_storage_mode = on
polar_vfs.localfs_test_mode = on
polar_datadir='file-dio://${POLARDATA}'
# 举例: polar_datadir='file-dio:///home/polardb/polardb_pg/data/tmp_datadir_polardb_pg_1100_bld'

启动数据库，创建复制用户和polar_monitor插件

pg_ctl -D $PGDATA/ start -l logger.log
psql -d postgres -p$PGPORT -c"create extension if not exists polar_monitor;"
psql -d postgres -p$PGPORT -c"create role replicator with superuser login password 'replicator';"
psql -d postgres -p$PGPORT -c"CREATE USER aurora WITH SUPERUSER LOGIN NOCREATEDB NOCREATEROLE PASSWORD 'aurora' CONNECTION LIMIT 5"
pg_ctl -D $PGDATA/ stop

修改$PGDATA/recovery.conf文件中的配置

polar_datamax_mode = standalone

修改DMA配置

polar_dma.conf会在initdb初始化结束后自动生成，如果不存在可自行新建。

修改$PGDATA/polar_dma.conf配置文件，包括：开启polar_enable_dma；配置polar_dma_repl_user和polar_dma_repl_passwd（用户WAL传输流复制的用户名密码，可为initdb的用户名或后续自建的流复制用户）；其他参数根据需要修改。

其他配置参数详见本节末附录：DMA配置参数列表。

polar_enable_dma = on # DMA功能总开关
polar_dma_repl_user = 'replicator' # WAL传输用户，初始化阶段创建的replicator用户
polar_dma_repl_passwd = 'replicator' # WAL传输用户密码，之前创建replicator用户所设密码
polar_dma_repl_appname = 'standby_$HOST_$PGPORT' # $HOST用int32表示

获取logger节点的日志起始位置

如果是重建logger节点，需要先从leader获取起始位置。

简单起见，获取当前的commit位置。

logger_start_point=`psql -U replicator -h <master_ip> -p <master_port> -A -t polardb_admin -c "select commit_index || ':' || synced_tli || ':' || synced_lsn  as startpoint from polar_dma_consensus_status;"`

初始化DMA元数据

先配置为learner角色节点，之后再将节点加入集群。如果是重建logger节点，则需要polar_dma_logger_start_point，否则不需要。

postgres -D $PGDATA/ -c polar_dma_init_meta=ON -c polar_dma_learners_info="$HOST:$PGPORT" -c polar_dma_logger_start_point="$logger_start_point"

启动节点

说明：与单机版启动方式相同。第一次启动成功后，将该节点加入DMA集群，之后可直接启动。

pg_ctl -D $PGDATA/ start -l logger.log

加入集群

在leader节点执行SQL命令增加节点。

#对于logger节点
alter system dma add follower '$HOST:$PGPORT';

检查集群状态

集群创建完成后，可使用psql连接主节点，检查集群状态。

在主库使用如下sql确认流复制建立成功：

psql -h$PGDATA -p$PGPORT -c"select * from polar_dma_cluster_status;"

如果看到所有节点的状态正常，则表示集群创建成功。

附录：DMA配置参数列表