Citus介绍
citus是PostgreSQL数据库中的一种轻量级的分库分表解决方案。它是PostgreSQL数据库中的一个插件，每个citus集群由多个PostgreSQL数据库实例组成，数据库实例分为两类：
master节点，通常有一台。master节点只存储分库分表的元数据，不存储实际的数据。
worker节点，通常有多台。worker节点存储实际的分片数据(shard)。

环境
华为云ECS 8核，32G内存 3台
CentOS 7.2 x64
PostgreSQL 12.1
Citus 9.1.2
sysbench 1.0.19

集群配置1
192.168.1.132 coordinator node
192.168.1.105 worker(data) node
192.168.1.58 worker(data) node

集群配置2
192.168.1.105 coordinator node
192.168.1.132 worker(data) node
192.168.1.58 worker(data) node

集群配置3
192.168.1.58 coordinator node
192.168.1.132 worker(data) node
192.168.1.105 worker(data) node

1.安装PG和citus

# useradd jerome
# passwd jerome
# cd /ssd_data
# mkdir pg_test
# chown jerome.jerome pg_test
# chmod 0700 pg_test
# su - jerome

--上传12.1源码至服务器并安装PG
$ tar zxvf postgresql-12.1.tar.gz
$ cd  ~/postgresql-12.1
$ ./configure --prefix=/home/jerome/pg12 --with-pgport=1912  --without-zlib
$ make && make install

--下载最新release版 v9.1.2
$ wget https://codeload.github.com/citusdata/citus/tar.gz/v9.1.2
$ tar zxvf v9.1.2
$ cd citus-9.1.2/
$ ./configure PG_CONFIG=/home/jerome/pg12/bin/pg_config
$ make && make install

--初始化数据目录
$ /home/jerome/pg12/bin/initdb -D /ssd_data/pg_test/data1912 -Ujerome

--参数配置
$ vi /ssd_data/pg_test/data1912/postgresql.conf
shared_preload_libraries='citus'  
listen_addresses = '0.0.0.0'  
port = 1912 
max_connections = 200
log_destination = 'csvlog'  
logging_collector = on  
log_directory = 'log'  
log_filename = 'postgresql-%a.log'  
log_truncate_on_rotation = on  
log_rotation_age = 1d  
log_rotation_size = 0  
log_min_duration_statement = 5s  
log_checkpoints = on
log_connections = on
log_disconnections = on
log_error_verbosity = verbose  
log_line_prefix = '%m [%p] '  
log_lock_waits = on  
log_statement = 'ddl'  
log_timezone = 'PRC'  
log_autovacuum_min_duration = 0
  
$ vi /ssd_data/pg_test/data1912/pg_hba.conf
--添加如下内容
host    all             all             192.168.1.0/24          trust

--启动PG服务
$ /home/jerome/pg12/bin/pg_ctl -D /ssd_data/pg_test/data1912 -l /ssd_data/pg_test/data1912/pg.log start &

--安装citus扩展
$ /home/jerome/pg12/bin/psql -p1912 -Ujerome postgres
psql (12.1)
Type "help" for help.
postgres=# create extension citus;
CREATE EXTENSION

2.安装sysbench

$ wget https://github.com/akopytov/sysbench/archive/1.0.19.tar.gz
$ tar zxvf 1.0.19.tar.gz
$ cd sysbench-1.0.19/
$ ./autogen.sh
$ ./configure --prefix=/home/jerome/sysbench --without-mysql \
--with-pgsql \
--with-pgsql-includes=/home/jerome/pg12/include \
--with-pgsql-libs=/home/jerome/pg12/lib
$ make -j
$ make install

3.单机测试

只读场景测试

--单表一千万条记录
$ /home/jerome/sysbench/bin/sysbench oltp_read_only \
--db-driver=pgsql \
--pgsql-host=127.0.0.1 \
--pgsql-port=1912 \
--pgsql-user=jerome  \
--pgsql-db=postgres  \
--threads=8  \
--table_size=10000000 \
prepare

$ /home/jerome/sysbench/bin/sysbench oltp_read_only \
--db-driver=pgsql \
--pgsql-host=127.0.0.1 \
--pgsql-port=1912 \
--pgsql-user=jerome  \
--pgsql-db=postgres  \
--threads=128  \
--time=120 \
--report-interval=2 \
run

读写场景测试

$ /home/jerome/sysbench/bin/sysbench oltp_read_write \
--db-driver=pgsql \
--pgsql-host=127.0.0.1 \
--pgsql-port=1912 \
--pgsql-user=jerome  \
--pgsql-db=postgres  \
--threads=128  \
--time=120 \
--report-interval=2 \
run

只写场景测试

$ /home/jerome/sysbench/bin/sysbench oltp_write_only \
--db-driver=pgsql \
--pgsql-host=127.0.0.1 \
--pgsql-port=1912 \
--pgsql-user=jerome  \
--pgsql-db=postgres  \
--threads=128  \
--time=120 \
--report-interval=2 \
run

插入场景测试

$ /home/jerome/sysbench/bin/sysbench oltp_insert \
--db-driver=pgsql \
--pgsql-host=127.0.0.1 \
--pgsql-port=1912 \
--pgsql-user=jerome  \
--pgsql-db=postgres  \
--threads=128 \
--time=120 \
--report-interval=2 \
run

删除场景测试

$ /home/jerome/sysbench/bin/sysbench oltp_delete \
--db-driver=pgsql \
--pgsql-host=127.0.0.1 \
--pgsql-port=1912 \
--pgsql-user=jerome  \
--pgsql-db=postgres  \
--threads=128 \
--time=120 \
--report-interval=2 \
run

4.citus主服务器添加数据节点

$ /home/jerome/pg12/bin/psql -Ujerome postgres
postgres=# SELECT * from master_add_node('192.168.1.105', 1912);
postgres=# SELECT * from master_add_node('192.168.1.58', 1912);
--查看是否添加成功
postgres=# SELECT * FROM master_get_active_worker_nodes(); 
   node_name   | node_port 
---------------+-----------
 192.168.1.58  |      1912
 192.168.1.105 |      1912
(2 rows)

5.citus主服务器初始化数据并分片

--单表一千万条记录
$ /home/jerome/sysbench/bin/sysbench oltp_read_only \
--db-driver=pgsql \
--pgsql-host=127.0.0.1 \
--pgsql-port=1912 \
--pgsql-user=jerome  \
--pgsql-db=postgres  \
--threads=8  \
--table_size=10000000 \
prepare

--将sbtest1表转换为sharding表（2个shard,每台物理机每个PG实例一个shard）
postgres=# set citus.shard_count =2;
postgres=# select create_distributed_table('sbtest1','id'); 

6.使用citus配置1进行测试

测试案例参考第三步单机测试

7. 使用citus配置2进行测试

测试案例参考第三步单机测试

8.使用citus配置3进行测试

测试案例参考第三步单机测试

9.读写混合测试24小时

使用citus配置3进行测试
nohup /home/jerome/sysbench/bin/sysbench oltp_read_write \
--db-driver=pgsql \
--pgsql-host=127.0.0.1 \
--pgsql-port=1912 \
--pgsql-user=jerome  \
--pgsql-db=postgres  \
--threads=64  \
--time=86400 \
--report-interval=2 \
run > citus3_read_write_c64_24h.log 2>&1 & 

10.测试结果