pg_basebackup原理解析

pg_basebackup

介绍

pg_basebackup提供一个全量备份。常用来搭建流复制环境。属于物理备份。逻辑备份工具时pg_dump。参数说明：

-D：--pgdata=DIRECTORRY，接收备份的目录

-F：--format=p | t，指定输出格式，支持p（原样输出）或者t(tar格式输出)

-r：--max-rate=RATE，最大传输率（kB/s，或用前缀 k,M）

-R，--write-recovery-conf，备份后写recovery.conf文件

-s,--slot=SLOTNAME，使用的复制槽

-T：--tablespace-mapping=OLDDIR=NEWDIR，使用NEWDIR替代OLDDIR

-x：--xlog,备份开始后，启动另一个流复制连接从主库接收WAL

-X:--xlog-method=fetch| stream

   --xlogdir=XLOGDIR

-z：--gzip

-Z：--compress=0-9

--target-gp-dbid：根据给定的dbid创建表空间子目录

-C,--checkpoint=fast| spread

-l,--label=LABLE：设置backup label

-E，--exclude

--exclude-from=FILE

选项：

static struct optionlong_options[] = {

        {"help", no_argument, NULL,'?'},

        {"version", no_argument, NULL,'V'},

        {"pgdata", required_argument,NULL, 'D'},

        {"format", required_argument,NULL, 'F'},

        {"checkpoint",required_argument, NULL, 'c'},

        {"create-slot", no_argument,NULL, 'C'},

        {"max-rate",required_argument, NULL, 'r'},

        {"write-recovery-conf",no_argument, NULL, 'R'},

        {"slot", required_argument,NULL, 'S'},

        {"tablespace-mapping",required_argument, NULL, 'T'},

        {"wal-method",required_argument, NULL, 'X'},

        {"gzip", no_argument, NULL,'z'},

        {"compress",required_argument, NULL, 'Z'},

        {"label", required_argument,NULL, 'l'},

        {"no-clean", no_argument,NULL, 'n'},

        {"no-sync", no_argument, NULL,'N'},

        {"dbname", required_argument,NULL, 'd'},

        {"host", required_argument,NULL, 'h'},

        {"port", required_argument,NULL, 'p'},

        {"username", required_argument,NULL, 'U'},

        {"no-password", no_argument,NULL, 'w'},

        {"password", no_argument,NULL, 'W'},

        {"status-interval",required_argument, NULL, 's'},

        {"verbose", no_argument, NULL,'v'},

        {"progress", no_argument,NULL, 'P'},

        {"waldir", required_argument,NULL, 1},

        {"no-slot", no_argument, NULL,2},

        {"no-verify-checksums",no_argument, NULL, 3},

        {NULL, 0, NULL, 0}

    };

流程

1、上层流程

1）先对传入的参数进行互斥检测，必须指定备份路径-D，format指定t模式时才可以使用压缩级别compresslevel。仅includewal为流复制模式时才可以使用复制槽。no_slot下不使用复制槽和temp_replication_slot。create_slot即指定-C时必须使用复制槽。xlog_dir下必须使用format为p即plain模式，且必须使用绝对路径。

2）通过GetConnection函数连接主，返回连接conn

3）format为p模式下，如果-D指定的目录不存在则创建该目录，若存在，则这个目录必须为空

4）通过RetrieveWalSegSize函数得到远程WAL文件大小WalSegSz，通过执行SHOWwal_segment_size得到：

postgres=# show wal_segment_size;
-------------------------------
16MB
(1 row)

5）调用函数BaseBackup进行全量备份。

2、BaseBackup

1）如果指定-R创建recovery.conf文件，那么先在内存中产生内容：

   standby_mode=’on’

  primary_conninfo=’replication= dbname=  fallback_application_name=’

  primary_slot_name=’’

   在备份完成后，写入recovery.conf文件WriteRecoveryConf();

2）调用RunIdentifySystem向主发送IDENTIFY_SYSTEM命令，获取系统标识及时间线，例如：

psql “dbname=postgres replication=database”-c “IDENTIFY_SYSTEM;”
systemid    timeline   xlogpos  dbname
------------------+--------+----------+--------
69516718657589179 |       1| 0/80000D8| postgres
(1 row)

   主接收到命令后由函数exec_replication_command进行处理：IdentifySystem();时间线为主机的ThisTimeLineID。（这个值主上怎么更新？）

3）生成BASE BACKUP命令，并向主发送。得到wal起始位置xlogstart和起始时间线starttli，表空间个数tablespacecount和循环计算得到文件总数totalsize？

4）如果时流复制拉取，那么调用函数StartLogStreamer初始化后台进程用于接收WAL，会启动一个进程。

这里请求的开始时间线9.3及之后版本为BASE_BACKUP获取的时间线值，否则为IDENTIFY_SYSTEM获取主上当前时间线值。

StartLogStreamer(xlogstart, starttli, sysidentifier),注册流复制结构：

typedef struct
{
    PGconn    *bgconn;
    XLogRecPtr  startptr;
    char       xlog[MAXPGPATH];/* directory or tarfiledepending on mode */
    char      *sysidentifier;
    int        timeline;
} logstreamer_param;

param->timeline = timeline;
param->sysidentifier = sysidentifier;
param->startptr = ((uint64) hi) << 32 | lo;//xlogstart转换
//对齐文件头
param->startptr -=XLogSegmentOffset(param->startptr, WalSegSz);
param->bgconn = GetConnection();//另连接master server
replication_slot//创建复制槽
format为p模式创建archive_status目录
bgchild = fork();
if (bgchild == 0){//子进程
        /* in childprocess */
        exit(LogStreamerMain(param));
}
atexit(kill_bgchild_atexit);//父进程

5）对于每个表空间：分别根据format指定的格式拉取数据，若是t则调用ReceiveTarFile接收tar文件，否则调用ReceiveAndUnpackTarFile接收tar文件并解压。这里接收的是数据文件。

接收日志和接收数据不在同一个进程中，为流复制单独创建一个接收日志子进程，子进程接收日志开始的命令是START_REPLICATION，然后开启COPY流。

数据的话应该是BASE_BACKUP，然后开启COPY流。

6）接着根据指定的参数决定是否打印进度

7）获取wal结束位置xlogend

8）根据指定的参数决定是否打印wal end point点

9）调用waitpid等待子进程退出

10）最后将数据全部sync

3、LogStreamerMain

这个是一个子进程处理的内容，根据日志起始时间线及位置初始化流复制结构StreamCtl，然后调用函数ReceiveXlogStream进行流复制接收日志文件。

4、ReceiveXlogStream

1）首先判断时间线对应的history文件，不存在的话通过向主发送TIMELINE_HISTORY命令获取主对于history文件内容，然后写到本地。

2）向主发送START_REPLICATION命令，开始复制，调用函数HandleCopyStream处理COPY流

3）如果当前时间线的日志接收完，那么从下一个时间线开始重新接收。下一个时间线及其起始位置会由HandleCopyStream返回res中记录。下个时间线流复制开始位置会对齐到文件头位置。（也就是说总是从文件头开始复制）

4）如果返回的结果状态时PGRES_COMMAND_OK表示复制结束