暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Greenplum Database 5.18的安装

大树96 2023-08-23
300

如果电脑内存不够安装4版本gp即可,只需要1G或2G内存。

———————————————————

因为工作要用到这个库,记录一下学习过程。

使用的系统:redhat7.6  GP数据库版本:5.18

(要多做快照!所有虚拟机内存要大于4G!)

Linux系统部分

虚拟机克隆的问题:克隆以后的虚拟机要修改IP地址,将ifcfg-ens33文件里的UUID删除,redhat7.6克隆后的mac地址是会随机分配的不需要更改,但是6.5的版本会有一个mac地址 要改一下。

1, redhat系统最小化安装没有基本命令:安装桌面版即可解决

 

2, 远程连接不上:在本地机网络设置的VM8网卡里 写死数据库的IP网关即可解决

(win10系统下-打开控制面板-网络和internet下有个查看网络状态和任务-更改适配器设置-会有一个VM8网卡点开-再点属性-点击IPV4-选择使用下面的IP地址-写好IP地址,子网掩码,默认网关,DNS地址就可以了-最后确定 要跟虚拟机的一样!)

如果没遇到这个问题可以跳过

做这一步要先把虚拟机的网络配置好

 

3, liunx网络的配置(修改好再关闭防火墙就可以用远程连接工具了)(所有机器都要改)

命令:vim /etc/sysconfig/network-scripts/ifcfg-ens33

BOOTPROTO=static(这个要修改成static静态的IP地址如果不修改则是动态IP每次重启都会随机分配IP地址)

ONBOOT=yes(这个是是否激活网卡,改成yes就可以连接外网了)

记得顺便删除UUID

然后在最下方添加

IPADDR=192.168.196.11

NETMASK=255.255.255.0

GATEWAY=192.168.196.2

DNS=8.8.8.8

以上的地址是我的 你自己安装可以点击VM软件左上角的编辑按钮-选择虚拟网络编辑器-选择更改设置-(记得模式选择NAT,建议安装虚拟机的时候注意一下 改成NAT模式 安装完在虚拟机设置里也可以改)选择VM8-选择NAT设置-会看到子网IP,子网掩码,网关IP。子网掩码和网关可以直接写一样的子网IP前三个直接写一样的最后一位可以任意写 不能超过255 不建议写1可能会被误认成网关 建议大于10 最后的DNS可以写四个8 或者四个114都可以

 

网络修改完要重启网络命令是service network restart

 

4 关闭防火墙(所有机器都要改)

关闭防火墙:systemctl stop firewalld

设置开机禁用防火墙:systemctl disable firewalld.service

检查防火墙状态:systemctl status firewalld

 

GP数据库的安装

1: 修改Linux内核参数(所有机器都要修改)

命令  vi /etc/sysctl.conf

 

xfs_mount_options = rw,noatime,inode64,allocsize=16m

kernel.shmmax = 500000000

kernel.shmmni = 4096

kernel.shmall = 4000000000

kernel.sem = 250 512000 100 2048

kernel.sysrq = 1

kernel.core_uses_pid = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.msgmni = 2048

net.ipv4.tcp_syncookies = 1

net.ipv4.ip_forward = 0

net.ipv4.conf.default.accept_source_route = 0

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_max_syn_backlog = 4096

net.ipv4.conf.all.arp_filter = 1

net.ipv4.ip_local_port_range = 1025 65535

net.core.netdev_max_backlog = 10000

vm.overcommit_memory = 2

 

执行sysctl -p生效。

可能会遇到的问题:执行完sysctl -p 这个之后再使用vim命令会提示-bash: fork: 无法分配内存这个错误会导致无限闪回登录界面 解决办法 加大内存到4G解决(如果是其他的参数修改错误 也可能会导致无限闪回到登录界面进不去桌面)

2:  修改Linux最大限制(每台机子都要修改)

命令 vi /etc/security/limits.conf

#greenplum configs

* soft nofile 65536

* hard nofile 65536

* soft nproc 131072

* hard nproc 131072

 

命令 vi  /etc/security/limits.d/20-nproc.conf (每台机子都要修改)

操作系统不一致,也有可能是90-nproc.conf.

* soft nproc 131072

root  nproc 131072

不修改的话 会导致第2步中的  * soft nproc 131072 值不生效.

3:修改hosts文件(每台机子都要修改)

命令:vi /etc/hosts

192.168.196.11  gpm

192.168.196.12  gp1

192.168.196.13  gp2

以上IP地址要根据自己主机的IP地址更改 后面的主机名可以自己定义(建议改个简单点的)

然后再使用scp命令将修改过的hosts文件传到两外两个从节点

scp命令的使用格式:

scp  /路径/文件(这是本机想要传送的文件路径)被传送节点的IP:/路径/文件(被传送的文件路径)

scp /etc/hosts  192.168.196.12:/etc/

scp /etc/hosts  192.168.196.13:/etc/

 

修改完hosts文件还要修改 hostname文件(6版本的redhat可能不是这个文件)

Hostname文件只要添加 本主机的主机名 比如你现在是 192.168.196.11这个主机 那你的主机名就要修改成hosts文件里 这个ip后面的主机名 gpm 另外两个从节点都要改成各自的主机名(修改完一定要重启电脑 不然主机名不生效!!!或者hostname声明一下 然后远程连接断开 再重新连接)

4:设置SELINUX(每台机子都要修改)

命令 vi /etc/selinux/config

SELINUX=disabled

scp /etc/selinux/config   192.168.196.11:/etc/selinux/

scp /etc/selinux/config   192.168.196.12:/etc/selinux/

scp /etc/selinux/config   192.168.196.13:/etc/selinux/

配置了主节点文件之后复制到其余子节点

5:创建gpadmin用户(所有节点)

useradd gpadmin

passwd gpadmin

6:创建安装文件目录(每台机子都要修改)

mkdir /opt/greenplum
chown -R gpadmin:gpadmin /opt/greenplum

7:上传安装包到master(master上执行,这步做完做个快照)

这一步没什么好说的 正常上传就行了 值得一提的是我上传之后用unzip命令解压失败 如果你也解压失败就在本地机解压好再上传

8 : 在master上安装greenplum(master上执行,用root用户装)

赋权命令:   chmod +x greenplum-db-5.11.3-rhel7-x86_64.bin(这里是5.11版本的注意你的文件名  不做这一步没办法安装)

 

执行安装命令: ./greenplum-db-5.11.3-rhel7-x86_64.bin(注意./后面不能有空格 但是不留空格不能TAB键补全 建议先留个空格 TAB键补全后再将空格删除)

 

安装过程中修改安装目录:/opt/greenplum/greenplum-db(这个注意看一下 好像是第二步 不修改就是默认目录 本次是自定义目录)

 

安装成功后:安装目录的权限修改为gpadmin  命令如下:

命令: chown -R gpadmin:gpadmin /opt/greenplum(不改好像也是gpadmin的 保险起见改一下)

9:创建配置文件(master上执行,用gpadmin用户)

cd /opt/greenplum

mkdir conf

vi ./conf/hostlist(新增文件)

添加下面的主机名

gpm

gp1

gp2

这里注意要跟你hosts文件里的主机名一致

 vi ./conf/seg_hosts(新增文件)

添加下面的主机名

gp1

gp2

只有建立这两个文件 才可以建立互信

10:打通所有节点 (master上执行,用gpadmin用户,注意:此步骤如果打通失败,需要重启机器后再执行下面命令)

source /opt/greenplum/greenplum-db/greenplum_path.sh

(如果以后遇到提示找不到gpscp命令或者gpssh类似的错误 再执行一下上面的命令就可以了)

gpssh-exkeys -f /opt/greenplum/conf/hostlist   (注意当前路径,应该会提示输入密码 正常输入就可以了)

显示   [INFO] completed successfully  即打通成功

测试节点是否打通成功

gpssh -f /opt/greenplum/conf/hostlist

pwd

如果步骤全部正确,是不会有报错的。如果有报错,就要考虑从第7步重新配置。如果不是三个,那个少了 那个机子的hostname可能就有问题,如果只有本机一个应该就是没重启!

11:将安装包分发到每个子节点(master上执行,用gpadmin用户)

cd /opt/greenplum

tar -cf gp.tar greenplum-db/

gpscp -f /opt/greenplum/conf/hostlist gp.tar =:/opt/greenplum/   (复制到每台机器命令) 

gpscp和scp的区别:gpscp是群体传输,scp是单个传输。

 

批量复制成功后去另外两个从节点系统查看文件是否存在 ,如果存在(在主节点)执行以下命令解压

 gpssh -f /opt/greenplum/conf/hostlist

     => cd /opt/greenplum

     => tar -xf gp.tar

     => ll (可以查看是否安装成功)

     => exit

到此所有节点安装完成

这一步没什么好说的 正常做就可以了 分发和压缩解压的时间可能有点长耐心等待

12:初始化数据库(master上执行,用gpadmin用户)

批量创建greenplum数据存放目录  如:/home/gpadmin/gpdata/gpmaster

 命令:  gpssh -f  /opt/greenplum/conf/hostlist

    => cd /home/gpadmin

    => mkdir gpdata

    => cd gpdata

    => mkdir gpmaster gpdatap1 gpdatap2 gpdatam1 gpdatam2 

    => ll

    => exit

这一步创建完用ll命令看一下目录都在不在就好了

13: 配置.bash_profile环境变量(每台机器都需要修改)

 命令: vi /home/gpadmin/.bash_profile

 新增以下内容:

source /opt/greenplum/greenplum-db/greenplum_path.sh

export MASTER_DATA_DIRECTORY=/home/gpadmin/gpdata/gpmaster/gpseg-1

export PGPORT=5432

执行命令:source /home/gpadmin/.bash_profile立即生效

14: 初始化配置文件(master上执行,用gpadmin用户)

命令: vi  /opt/greenplum/conf/gpinitsystem_config

新增以下内容:

ARRAY_NAME="Greenplum"

SEG_PREFIX=gpseg

PORT_BASE=33000

declare -a DATA_DIRECTORY=(/home/gpadmin/gpdata/gpdatap1 /home/gpadmin/gpdata/gpdatap2)

MASTER_HOSTNAME=gpm(这里要特别注意改成你自己主节点的主机名!!!)

MASTER_DIRECTORY=/home/gpadmin/gpdata/gpmaster

MASTER_PORT=5432

TRUSTED_SHELL=/usr/bin/ssh

MIRROR_PORT_BASE=43000

REPLICATION_PORT_BASE=34000

MIRROR_REPLICATION_PORT_BASE=44000

declare -a MIRROR_DATA_DIRECTORY=(/home/gpadmin/gpdata/gpdatam1 /home/gpadmin/gpdata/gpdatam2)

MACHINE_LIST_FILE=/opt/greenplum/conf/seg_hosts

15:初始化数据库(master上执行,用gpadmin用户)

批量初始化命令

gpinitsystem -c /opt/greenplum/conf/gpinitsystem_config -h /opt/greenplum/conf/hostlist

 

注意 如果初始化失败可能是 主机名的问题 也有可能是参数配置问题 建议从第七步开始从新做

 

停止数据库  gpstop -M fast -a 启动数据库  gpstart -m 查看状态gpstate

如果输入以上三个任意命令提示 no site 就要重新source 环境变量


感谢您能看到最后,如对您有所帮助请点击左边的大拇指为我点赞,谢谢。
最后修改时间:2023-09-08 09:41:55
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论