用 TPA 自动化 PostgreSQL 集群的部署

TPA 通过`config.yml`文件定义群集。该文件列出了群集变量和实例。实例代表一台服务器（也称为"节点"），分配给实例的角色决定了该服务器在群集中的功能。部署步骤将对每个节点进行相应的设置。这包括根据节点的角色安装软件包、设置复制、故障转移管理器、备份等。

这个`config.yml`文件在定义集群方面提供了很大的灵活性。同时，对于不熟悉 YAML 和 TPA 内部结构的人来说，编写该文件可能比较复杂。为了克服这种复杂性，TPA提供了一个`configure`命令，可根据几个参数生成基本的`config.yml`。之后，用户可以通过手动修改YAML文件来扩展集群的定义。

首先，我们将建立一个包含四个节点的 PostgreSQL 集群：一个主节点（primary）、两个备用节点（standby）和一个备份服务器（backup）。

这在TPA中被称为"M1"架构（单主节点）。我们将使用 Patroni 作为三个 Postgres 节点的故障转移管理器，第四个节点将使用 Barman 来管理备份。

tpaexec configure ~/clusters/patroni-tpa --architecture M1 --platform docker --os Rocky \ --postgresql 15 --enable-patroni

---
architecture: M1
cluster_name: patroni-tpa
cluster_tags: {}
 
cluster_vars:
  enable_pg_backup_api: false
  etcd_location: main
  failover_manager: patroni
  postgres_flavour: postgresql
  postgres_version: '15'
  preferred_python_version: python3
  use_volatile_subscriptions: false
 
locations:
- Name: main
- Name: dr
 
instance_defaults:
  image: tpa/rocky:8
  platform: docker
  vars:
    ansible_user: root
 
instances:
- Name: endor
  backup: hoth
  location: main
  node: 1
  role:
  - primary
- Name: kamino
  location: main
  node: 2
  role:
  - replica
  upstream: endor
- Name: hoth
  location: main
  node: 3
  role:
  - barman
  - log-server
  - monitoring-server
- Name: naboo
  location: dr
  node: 4
  role:
  - replica
  upstream: endor
- Name: tatooine
  location: dr
  node: 5
  role:
  - etcd
  vars:
    etcd_location: main
- Name: bespin
  location: main
  node: 6
  role:
  - etcd
  vars:
    etcd_location: main
- Name: alderaan
  location: dr
  node: 7
  role:
  - etcd
  vars:
    etcd_location: main

$ cat home/martin/cluster_nodes.txt 
endor    192.168.130.5
naboo    192.168.130.6
bespin    192.168.130.7
hoth     192.168.130.15
alderaan   192.168.130.11
kamino    192.168.130.12
tatooine   192.168.130.13

tpaexec configure ~/clusters/patroni-tpa-bare --architecture M1 --platform bare --os Rocky --postgresql 15 --enable-patroni --hostnames-from home/martin/cluster_nodes.txt

---
architecture: M1
cluster_name: patroni-tpa-bare
cluster_tags: {}


cluster_vars:
  enable_pg_backup_api: false
  etcd_location: main
  failover_manager: patroni
  postgres_flavour: postgresql
  postgres_version: '15'
  preferred_python_version: python3
  use_volatile_subscriptions: false


locations:
- Name: main
- Name: dr


instance_defaults:
  platform: bare
  vars:
    
ansible_user: root




instances:
- Name: endor
  backup: bespin
  ip_address: 192.168.130.5
  location: main
  node: 1
  role:
  - primary
- Name: naboo
  ip_address: 192.168.130.6
  location: main
  node: 2
  role:
  - replica
  upstream: endor
- Name: bespin
  ip_address: 192.168.130.7
  location: main
  node: 3
  role:
  - barman
  - log-server
  - monitoring-server
- Name: hoth
  ip_address: 192.168.130.15
  location: dr
  node: 4
  role:
  - replica
  upstream: naboo
- Name: alderaan
  ip_address: 192.168.130.11
  location: dr
  node: 5
  role:
  - etcd
  vars:
    etcd_location: main
- Name: kamino
  ip_address: 192.168.130.12
  location: main
  node: 6
  role:
  - etcd
  vars:
    etcd_location: main
- Name: tatooine
  ip_address: 192.168.130.13
  location: dr
  node: 7
  role:
  - etcd
  vars:
etcd_location: main

在上面的示例中，我们使用“Patroni”作为故障转移管理器。但 TPA 提供了另外两个故障转移管理器：

要使用这两个选项中的任何一个，你必须分别用`--enable-repmgr`或`--enable-efm`替换`--enable-patroni`。要使用`EFM`，你必须有一个 EDB 订阅。

您可以使用“yum_repositories：”或“apt_repositories：”或通过设置“edb_repositories：”来配置各种存储库。最后一项仅适用于拥有有效 EDB 订阅的客户。

例如，要为 Rocky Linux 节点集群配置“PGDG”和“EPEL”存储库，您可以将以下内容添加到“config.yml”的“cluster_vars：”部分：

cluster_vars:
  yum_repository_list:
  - PGDG
  - EPEL

另一方面，如果你是 EDB 客户，你可以使用其中一个内部 EDB 存储库（根据权限，你可以选择其中一个）。目前，有四个 EDB 存储库：community360"、"standard"、"enterprise"和"postgres_distributed"。

TPA 的一个重要功能是，它将根据您决定部署的体系结构和工具来决定和添加适当的存储库。例如，如果您选择“PGD-Always-ON”，它将添加“postgres_distributed”存储库，但如果它是以“EPAS”作为 Postgres 风格的 M1 架构，它将使用“enterprise”，如果安装 PostgreSQL 和开源工具，它将使用“PGDG”。通常，您不需要通过“configure”的命令行参数或在“config.yml”中手动设置存储库时执行任何操作

例如，要设置可访问`PGE`、`EFM`和`PEM`的`standard`资源库，可以在`tpaexec configure`调用中添加以下选项：`--edb-repositories standard`。这将在`config.yml`的`cluster_vars`中包含以下几行：

cluster_vars:
  edb_repositories:
  - standard

export EDB_SUBSCRIPTION_TOKEN=XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX

最复杂的高可用性架构之一是 EDB 的多主（multi-master）数据库服务器，称为 EDB Postgres Distributed，简称 PGD。EDB Postgres Distributed 可实现高达5个9的极高可用性，并可作为 EDB 企业或标准计划订阅的附加组件来附加订阅。EDB 一直采用 TPA 在生产环境中部署 PGD，而且取得了巨大的成功。

与 M 一样，也可以使用 configure 命令设置 PGD 集群：

tpaexec configure -a PGD-Always-ON --platform aws --postgresql 15 --bdr-database martin --pgd-proxy-routing local  --data-nodes-per-location 2 --owner martin --location-names DC1 DC2 DC3 --instance-type t3.micro  --witness-only-location DC3  ~/clusters/PGD5

在上面的第一个示例中，我们声明了一个在 Docker 容器上运行的集群。我们还提到，您也可以选择“裸”平台，无论它们是在云中、虚拟机上还是实际的裸机上。

您可以使用的另一个平台是“aws”。使用此平台选项时，TPA 将为您在 AWS 中配置节点，前提是在环境变量或 AWS 配置文件中设置了适当的凭证（通常为“~/.aws/credentials”）。

可以使用“tpaexec provision”来完成配置，它只会配置节点，也可以使用“tpaexec deploy”来完成配置和部署。

cd ~/clusters/patroni-tpa/ && ssh -F ssh_config endor

cd ~/clusters/patroni-tpa/ && ssh -F ssh_config endor

instances:
- Name: endor
  backup: hoth
  location: main
  node: 1
  role:
  - primary
  - pgbouncer
- Name: kamino
  location: main
  node: 2
  role:
  - replica
  - pgbouncer
  upstream: endor

instances:
- Name: endor
  backup: hoth
  location: main
  node: 1
  role:
  - primary
- Name: kamino
  location: main
  node: 2
  role:
  - replica
  upstream: endor
- Name: proxy
  role:
  - pgbouncer
  vars:
    pgbouncer_backend: endor
pgbouncer_databases:
- name: luke
   options:
     pool_mode: transaction
- name: luke-ro
   options:
     host: kamino

除了上述所有之外，TPA 还可以根据配置设置以下工具：

它还提供了运行“tpaexec cmd”的可能性，它允许您在实例上运行Ansible ad-hoc命令。

TPA 提供了对 EDB 订阅提供了中断/修复功能支持，如果有兴趣可以亲自体验 TPA 带来的优势！