MogDB V3.0.0 一主二备集群部署(om标准安装）

原创张均云和恩墨 2022-10-28

870

1. 安装准备

1.1 实验环境

实验环境共三台服务器，具体信息如下

主机名	IP	角色
mogdbm	192.168.213.40	主
mogdb1	192.168.213.41	备
mogdb2	192.168.213.42	备

1.2 修改操作系统配置

1.2.1 关闭操作系统防火墙

修改SELINUX的值为disabled

vim /etc/selinux/config
SELINUX=disabled
reboot

检查防火墙是否关闭

systemctl status firewalld

若防火墙状态显示为inactive (dead)，则无需再关闭防火墙。
若防火墙状态显示为active (running)，则表示防火墙未关闭，z执行以下命令

#关闭防火墙并且禁止开启自启
systemctl disable firewalld.service
systemctl stop firewalld.service

其他主机重复以上步骤

1.2.2 网络配置

本实验用到的服务器都是VMware平台部署的虚拟机，为了防止后续出现网络断连的情况发生，需要对每台服务器的网络进行配置。

以主机为例，打开其网络配置文件，修改相关参数

vim /etc/sysconfig/network-scripts/ifcfg-ens33
#修改ONBOOT值为yes，修改BOOTPROTO值为static（静态ip）
NOBOOT="yes"
BOOTPROTO="static"
#在文件最后添加IP、网关等相关信息
IPADDR=192.168.213.40 
NETMASK=225.225.225.0
GATEWAY=192.168.213.2
DNS1=8.8.8.8
:wq #保存退出

重启网络服务

systemctl restart network.service

查看网络配置信息

ifconfig

测试网络连接是否成功

ping www.baidu.com

回显如下则说明网络连接成功

[zj@mogdb2 ~]$ ping baidu.com
PING baidu.com (220.181.38.251) 56(84) bytes of data.
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=1 ttl=128 time=34.5 ms
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=2 ttl=128 time=34.1 ms
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=3 ttl=128 time=32.7 ms
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=4 ttl=128 time=32.3 ms
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=5 ttl=128 time=33.5 ms
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=6 ttl=128 time=32.8 ms
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=7 ttl=128 time=32.2 ms
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=8 ttl=128 time=32.6 ms
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=9 ttl=128 time=32.3 ms
64 bytes from 220.181.38.251 (220.181.38.251): icmp_seq=10 ttl=128 time=32.9 ms

其他主机重复以上操作，只需要将配置文件中的IPADDR更改为192.168.213.41/42，其他参数保持不变。

1.2.3 修改主机名

在每个服务器节点修改hostname,以主机为例：

hostnamectl set-hostname mogdbm

另外两台备机分别设置为mogdb1和mogdb2

1.2.4 检查个节点字符集配置

需要保证各个节点的字符集配置要相同

echo $LANG

1.2.5 设置时区和时间

将各数据库节点的时区设置为相同时区，可以将/usr/share/zoneinfo/目录下的时区文件拷贝为/etc/localtime文件。

cp /usr/share/zoneinfo/$地区/$时区 /etc/localtime

特别说明：地区/时区为需要设置时区的信息，本实验设置为Asia/Shanghai。

1.2.6 关闭swap交换内存

在各个数据库节点上，将交换内存关闭

swapoff -a

1.2.7 设置网卡MTU值

将各个数据库节点的网卡MTU设置为相同大小

#首先使用ifconfig查看网卡编号
ifconfig
#本实验环境网卡编号都为ens33，将MTU值设置为1500
ifconfig ens33 mtu 1500

1.2.8 关闭RemovelIPC

由于本实验环境都为CentOS操作系统没有这个参数，跳过此步骤。

1.2.9 关闭HISTORY记录

为避免指令历史记录安全隐患，需关闭各主机的history指令。

vim /etc/profile
#将HISTSIZE设为0
HISTSIZE=0
:wq #保存退出
#使配置文件生效
source /etc/profile

1.2.9 设置root用户远程登录

在MogDB安装时需要root帐户远程登录访问权限,数据库需要root互信时才开启远程连接。

#修改PermitRootLogin配置，允许用户远程登录
vim /etc/ssh/sshd_config
#注释掉"PermitRootLogin"或者将其值改为"yes"
#PermitRootLogin no
PermitRootLogin yes
#修改Banner配置，注释掉“Banner”所在的行。
#Banner XXXX
:wq  #保存退出
systemctl restart sshd.service #重启生效

以root用户身份重新登录

ssh 192.168.213.40

回显如下

[zj@mogdbm ~]$ ssh 192.168.213.40
The authenticity of host '192.168.213.40 (192.168.213.40)' can't be established.
ECDSA key fingerprint is SHA256:877GEzTD3YQVgUwhauRITMoeCUH+grOXGQoAgbLnp8M.
ECDSA key fingerprint is MD5:6f:77:7f:01:45:43:bc:5a:44:55:bd:34:b8:2c:a0:64.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.213.40' (ECDSA) to the list of known hosts.
zj@192.168.213.40's password: 
Last login: Fri Jul  8 13:10:49 2022

1.2.10 动态关闭使用透明大页

echo never > /sys/kernel/mm/transparent_hugepage/enabled

2. 安装步骤

2.1 下载安装包

安装前可访问MogDB下载页面下载适用于您当前操作系统和CPU的安装包。本实验环境选择CentOS的安装包

2.2 创建XML配置文件

安装MogDB前需要创建cluster_config.xml文件。cluster_config.xml文件包含部署MogDB的服务器信息、安装路径、IP地址以及端口号等。用于告知MogDB如何部署。用户需根据不同场配置对应的XML文件。本实验环境XML配置文件详情如下：

<?xml version="1.0" encoding="UTF-8"?>
<ROOT>
    <!-- MogDB整体信息 -->
    <CLUSTER>
        <PARAM name="clusterName" value="Cluster_template" />
        <PARAM name="nodeNames" value="mogdbm,mogdb1,mogdb2" />

        <PARAM name="gaussdbAppPath" value="/opt/mogdb/install/app" />
        <PARAM name="gaussdbLogPath" value="/var/log/omm" />
        <PARAM name="tmpMppdbPath" value="/opt/mogdb/tmp"/>
        <PARAM name="gaussdbToolPath" value="/opt/mogdb/install/om" />
        <PARAM name="corePath" value="/opt/mogdb/corefile"/>
        <PARAM name="backIp1s" value="192.168.213.40,192.168.213.41,192.168.213.42"/>

    </CLUSTER>
    <!-- 每台服务器上的节点部署信息 -->
    <DEVICELIST>
        <!-- node1上的节点部署信息 -->
        <DEVICE sn="1000001">
            <PARAM name="name" value="mogdbm"/>
            <PARAM name="azName" value="AZ1"/>
            <PARAM name="azPriority" value="1"/>
            <!-- 如果服务器只有一个网卡可用，将backIP1和sshIP1配置成同一个IP -->
            <PARAM name="backIp1" value="192.168.213.40"/>
            <PARAM name="sshIp1" value="192.168.213.40"/>
            <!--CM节点部署信息-->
            <PARAM name="cmsNum" value="1"/>
            <PARAM name="cmServerPortBase" value="15000"/>
            <PARAM name="cmServerListenIp1" value="192.168.213.40,192.168.213.41,192.168.213.42"/>
            <PARAM name="cmServerHaIp1" value="192.168.213.40,192.168.213.41,192.168.213.42"/>
            <PARAM name="cmServerlevel" value="1"/>
            <PARAM name="cmServerRelation" value="mogdbm,mogdb1,mogdb2"/>
            <PARAM name="cmDir" value="/opt/mogdb/data/cmserver"/>
      <!--dn-->
            <PARAM name="dataNum" value="1"/>
      <PARAM name="dataPortBase" value="15400"/>
      <PARAM name="dataNode1" value="/opt/mogdb/install/data/dn,mogdb1,/opt/mogdb/install/data/dn,mogdb2,/opt/mogdb/install/data/dn"/>
            <PARAM name="dataNode1_syncNum" value="0"/>
        </DEVICE>

        <!-- node2上的节点部署信息，其中“name”的值配置为主机名称 -->
        <DEVICE sn="1000002">
            <PARAM name="name" value="mogdb1"/>
            <PARAM name="azName" value="AZ1"/>
            <PARAM name="azPriority" value="1"/>
            <!-- 如果服务器只有一个网卡可用，将backIP1和sshIP1配置成同一个IP -->
            <PARAM name="backIp1" value="192.168.213.41"/>
            <PARAM name="sshIp1" value="192.168.213.41"/>
            <!-- cm -->
            <PARAM name="cmServerPortStandby" value="15000"/>
            <PARAM name="cmDir" value="/opt/mogdb/data/cmserver"/>
  </DEVICE>

        <!-- node3上的节点部署信息，其中“name”的值配置为主机名称 -->
        <DEVICE sn="1000003">
            <PARAM name="name" value="mogdb2"/>
            <PARAM name="azName" value="AZ1"/>
            <PARAM name="azPriority" value="1"/>
            <!-- 如果服务器只有一个网卡可用，将backIP1和sshIP1配置成同一个IP -->
            <PARAM name="backIp1" value="192.168.213.42"/>
            <PARAM name="sshIp1" value="192.168.213.42"/>
            <!-- cm -->
            <PARAM name="cmServerPortStandby" value="15000"/>
            <PARAM name="cmDir" value="/opt/mogdb/data/cmserver"/>
  </DEVICE>
    </DEVICELIST>
</ROOT>

其中文件中大部分的参数默认即可，只需要修改所有服务器对应的hostname（mogdbm/mogdb1/mogdb2）、IP地址以及sn数值即可。

2.3 环境初始化

2.3.1 安装所需的基础环境包

yum install -y libaio-devel gcc gcc-c++ zlib-devel expect

2.3.2 软件包存放以及解压

#以root用户登录待安装MogDB的主机，并按规划创建存放安装包的目录（/opt/software/mogdb）
mkdir -p /opt/software/mogdb
chmod 755 -R /opt/software
#进入/opt/software/mogdb，将安装包及配置文件clusterconfig.xml上传至此目录。若未创建配置文件，可通过vi clusterconfig.xml新建并编辑配置文件。
cd /opt/software/mogdb
#在安装包所在的目录下，依次解压安装包。
tar -xvf  MogDB-3.0.0-CentOS-x86_64.tar
tar -xvf  MogDB-3.0.0-CentOS-64bit-om.tar.gz

2.3.3 加载安装包中lib库

cd /opt/software/mogdb/script
export LD_LIBRARY_PATH={packagePath}/script/gspylib/clib:$LD_LIBRARY_PATH
#其中{packagePath}为用户安装包放置的路径，本环境中为/opt/software/mogdb

2.3.4 检查hostname

为确保成功安装，请执行如下命令检查主机名称是否一致。预安装过程中，会对hostname进行检查。

hostname
vi /etc/hostname

2.3.5 安装Python3

CentOS需要安装Python3，需要安装安装Python 3.6.x版本，目前不支持Python更高版本。本实验采用Python3.6.5的版本。

wget https://www.python.org/ftp/python/3.6.5/Python-3.6.5.tgz
mkdir -p /usr/local/python3
tar -zxvf Python-3.6.5.tgz
cd Python-3.6.5
./configure --prefix=/usr/local/python3 --enable-shared CFLAGS=-fPIC && make && make install
ln -s /usr/local/python3/bin/python3 /usr/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3

拷贝动态文件libpython3.6m.so.1.0到/usr/lib64以防止后续预安装报错

find / -name libpython3.6m.so.1.0 
cp libpython3.6m.so.1.0 /usr/lib64

2.4 初始化脚本

执行以下命令以初始化脚本

/opt/software/mogdb/script/gs_preinstall -U omm -G dbgrp -X /opt/software/mogdb/clusterconfig.xml

在安装过程中报错如下：

Traceback (most recent call last):
  File "/opt/software/mogdb/script/gs_preinstall", line 33, in <module>
    from gspylib.common.Common import DefaultValue
  File "/opt/software/mogdb/script/gspylib/common/Common.py", line 92, in <module>
    import psutil
  File "/opt/software/mogdb/script/gspylib/common/../../../lib/psutil/__init__.py", line 99, in <module>
    from . import _pslinux as _psplatform
  File "/opt/software/mogdb/script/gspylib/common/../../../lib/psutil/_pslinux.py", line 26, in <module>
    from . import _psutil_linux as cext
ImportError: /opt/software/mogdb/script/gspylib/common/../../../lib/psutil/_psutil_linux.so: cannot open shared object file: No such file or directory

在保证所有依赖包都成功安装的情况下，分析可能是由于内存过小导致的报错，所以将各个节点的服务器内存大小调整为4G左右。能正常初始化脚本，成功回显如下：

Parsing the configuration file.
Successfully parsed the configuration file.
Installing the tools on the local node.
Successfully installed the tools on the local node.
Distributing package.
Begin to distribute package to tool path.
Successfully distribute package to tool path.
Begin to distribute package to package path.
Successfully distribute package to package path.
Successfully distributed package.
Installing the tools in the cluster.
Successfully installed the tools in the cluster.
Checking hostname mapping.
Successfully checked hostname mapping.
Checking OS version.
Successfully checked OS version.
Creating cluster's path.
Successfully created cluster's path.
Setting SCTP service.
Successfully set SCTP service.
Set and check OS parameter.
Setting OS parameters.
Successfully set OS parameters.
Set and check OS parameter completed.
Preparing CRON service.
Successfully prepared CRON service.
Preparing SSH service.
Successfully prepared SSH service.
Setting user environmental variables.
Successfully set user environmental variables.
Configuring alarms on the cluster nodes.
Successfully configured alarms on the cluster nodes.
Setting the dynamic link library.
Successfully set the dynamic link library.
Setting Cgroup.
Successfully set Cgroup.
Set ARM Optimization.
Successfully set ARM Optimization.
Setting finish flag.
Successfully set finish flag.
Preinstallation succeeded.

运行过程中会创建omm用户，输入yes，然后输入相关密码，需保证复杂度要求，密码应包括大小写、字符、数字，例如Enmo@123。

2.5 执行安装

修改安装目录下lib以及script文件夹的用户以及用户组

chown -R omm:dbgrp /opt/software/mogdb/lib
chown -R omm:dbgrp /opt/software/mogdb/script

执行安装命令

su - omm
gs_install -X /opt/software/mogdb/clusterconfig.xml --gsinit-parameter="--locale=en_US.UTF-8" --gsinit-parameter="--encoding=UTF-8"

在安装过程中会一直卡在starting cluster的界面，最后会显示安装失败，原因是CM_server启动失败。分析原因可能是由于内存还是太小，不足以同时启动MogDB实例与CM实例，所以调整服务器内存大小为8G左右，再尝试进行安装。成功安装回显如下：

Parsing the configuration file.
Check preinstall on every node.
Successfully checked preinstall on every node.
Creating the backup directory.
Successfully created the backup directory.
begin deploy..
Installing the cluster.
begin prepare Install Cluster..
Checking the installation environment on all nodes.
begin install Cluster..
Installing applications on all nodes.
Successfully installed APP.
begin init Instance..
encrypt ciper and rand files for database.
Please enter password for database:
Please repeat for database:
begin to create CA cert files
The sslcert will be generated in /opt/mogdb/cluster/app/share/sslcert/om
Cluster installation is completed.
Configuring.
Deleting instances from all nodes.
Successfully deleted instances from all nodes.
Checking node configuration on all nodes.
Initializing instances on all nodes.
Updating instance configuration on all nodes.
Check consistence of memCheck and coresCheck on DN nodes.
Successful check consistence of memCheck and coresCheck on all nodes.
Configuring pg_hba on all nodes.
Configuration is completed.
Successfully started cluster.
Successfully installed application.

在执行过程中，用户需根据提示输入数据库的密码，密码具有一定的复杂度，设置为Enmo@123。

3. 连接数据库

安装完成后，可使用omm用户通过“gsql -d postgres -p 15400 -r”命令连接MogDB数据库，其中“-p 15400”为数据库端口号，请根据实际情况替换。键入“\copyright”可查看版权信息。

[zj@mogdbm ~]$ su - omm
Password: 
Last login: Fri Jul  8 17:09:09 CST 2022 on pts/1
[omm@mogdbm ~]$ gsql -d postgres -p 15400 -r
gsql ((MogDB 3.0.0 build 62408a0f) compiled at 2022-06-30 14:21:11 commit 0 last mr  )
Non-SSL connection (SSL connection is recommended when requiring high-security)
Type "help" for help.

MogDB=# \copyright
MogDB Database Management System
Copyright (c) Yunhe Enmo (Beijing) Information Technology Co., Ltd. Copyright 2020 , All rights reserved.

3.1 检查实例状态

gs_om -t status --detail