暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Ubuntu 16.04 greenplum详细搭建过程

Greenplum分布式数据库 2019-01-07
1202
  • 硬件环境准备

  • 操作系统:Ubuntu 16.04

  • 首先在服务器新建三台虚拟机,IP分别为:192.168.137.212192.168.137.213192.168.137.214

  • 确定192.168.137.212作为master节点,192.168.137.213192.168.137.214作为segment节点;

  • 具体搭建过程

搭建前准备

修改/etc/hosts 文件


  1. 将三台机器的hostname分别修改为mdwsdw1sdw2,重启计算机生效;

  2. 关闭防火墙

/etc/init.d/ufw stop

  1. 安装

sudo apt-get install -y software-properties-common

sudo add-apt-repository ppa:greenplum/db

sudo apt-get update

sudo apt-get install -y greenplum-db-oss

  1. 修改/etc/sysctl.conf,添加


kernel.shmmax = 500000000

kernel.shmmni = 4096

kernel.shmall = 4000000000

kernel.sem = 250 512000 100 2048

kernel.sysrq = 1

kernel.core_uses_pid = 1

kernel.msgmnb = 65536

kernel.msgmax = 65536

kernel.msgmni = 2048

net.ipv4.tcp_syncookies = 1

net.ipv4.conf.default.accept_source_route = 0

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_max_syn_backlog = 4096

net.ipv4.conf.all.arp_filter = 1

net.ipv4.ip_forward=0

net.ipv4.ip_local_port_range = 1025 65535

net.core.netdev_max_backlog = 10000

net.core.rmem_max = 2097152

net.core.wmem_max = 2097152

vm.overcommit_memory = 2

  1. 配置/etc/security/limits.conf,添加


* soft nofile65536

* hard nofile65536

* soft nproc131072

* hard nproc131072

  1. 设置预读块大小

/sbin/blockdev –setra16384 dev/sda

  1. 重启系统

  2. 初始化变量

su root

source opt/gpdb/greenplum_path.sh

  1.  创建主机文件all_hosts


  1.  运行gpseginstall工具

 gpseginstall -fall_hosts -u wad -p 19841222

有可能免密失败

解决方法:su wad

                      source/opt/gpdb/greenplum_path.sh

                      gpssh-exkeys-f all_hosts

  1.  验证安装及免密登陆

gpssh -f all_hosts -e ls $GPHOME

重要:必须在每台机器都设置免密登陆,否则下面初始化会报错


  1.  source/opt/gpdb/greenplum_path.sh添加到.bashrc文件最后(所有的节点都要做)

  2.  创建存储区域

  3. a) 创建Master数据存储区域

mkdir -p data/master

  1. 改变目录所有权

chown wad /data/master

  1. 创建包含所有segment主机的文件seg_hosts

  2. root用户用gpssh 工具在segment主机上创建主数据和镜像数据目录

su root

source /opt/gpdb/greenplum_path.sh

gpssh-exkeys -f all_hosts

gpssh -f seg_hosts -e 'mkdir -p /data/primary'

gpssh -f seg_hosts -e 'mkdir -p /data/mirror'

gpssh -f seg_hosts -e ‘chown wad /data/primary'

gpssh -f seg_hosts -e ‘chown wad/data/mirror'

  1.  同步系统时间

在各个机器安装 ntp

a. gpssh -f all_hosts -e 'apt install -y ntp'

b. 修改/etc/ntp.conf添加

server mdw

c. gpssh -f /data/all_hosts -e 'ntpd'

  1. 初始化GP数据库系统

su wad

cp  /opt/gpdb/docs/cli_help/gpconfigs/gpinitsystem_config~/gpinitsystem_config

chmod 775gpinitsystem_config

sudo vi gpinitsystem_config

具体配置文件信息如下:


ARRAY_NAME="Greenplum DataPlatform"

SEG_PREFIX=gpseg

PORT_BASE=40000

declare -a DATA_DIRECTORY=(/data/primary)

MASTER_HOSTNAME=mdw

MASTER_DIRECTORY=/data/master

MASTER_PORT=5432

TRUSTED_SHELL=ssh

CHECK_POINT_SEGMENTS=8

ENCODING=UNICODE

MACHINE_LIST_FILE=/home/wad/all_segs

  1. 运行初始化工具

  2. a)    sudo vim all_segs


  1. gpinitsystem -cgpinitsystem_config -h seg_hosts

  2. 设置环境变量

添加

exportMASTER_DATA_DIRECTORY=/data/master/ifreseg-1

master ~/.bashrc

segment机器上做同样的操作

至此所有工作已准备完毕,尽情享受你的数据库!

PS:最近比较忙很少发文,如有问题邮件联系!yangpf1994@gmail.com

文章转载自Greenplum分布式数据库,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论