暂无图片
暂无图片
9
暂无图片
暂无图片
暂无图片

金篆GoldenDB安装指南

原创 2024-03-07
4662

安装前工作

添加主机名映射

a.在需要部署采集端的服务器上配置本机ip和主机名的映射。以主机名为linux182,IP为10.47.160.182的服务器为例,在/etc/hosts文件中添加以下内容:

vim /etc/hosts

#添加本机ip和主机名

10.47.160.182 linux182

b.hostname –i查看当前主机名配置是否正确,如果/etc/hosts有做主机名的解析,那么hostname –i命令的结果就是当前的主机IP,确保是正确的。 如果不正确,那么通过如下命令进行配置:.47.160.182的服务器为例,在/etc/hosts文件中添加以下内容:

#设置主机名

hostnamectl set-hostname [主机IP]

c.在需要部署大数据组件(zk、kafka)的服务器上配置ip和主机的映射。例如计划在 rh218、rh248和 rh245主机上安装大数据组件,那么这三台主机的hosts文件中不仅需要添加本机主机名和ip的映射,还需要包含集群中其它主机的映射,如下所示:

vim /etc/hosts

#添加大数据组件机器ip和主机名

10.46.178.218 rh218

10.46.178.218 rh248

10.46.178.218 rh245

关闭所有主机的防火墙

所有安装sloth工具的服务器上检查服务器状态:

systemctl status firewalld

如果显示以下内容则说明防火墙已关闭,状态为inactive

若未关闭即状态为active,则执行以下命令关闭防火墙:

systemctl stop firewalld

安装前需保证防火墙已关闭

如果不能关闭防火墙,则需要在安装sloth之前开放相应端口。

需要开放的端口有:zk客户端连接端口、zk心跳端口、zk选举端口、kafka服务端口、https及http端口、mysql端口、分配给采集组件的端口(7501~8000)


检查所有机器root密码是否一致

sloth工具的安装需要所有服务器的root密码一致。若不一致则需要设置一致(可临时设置成一致的,安装完成后可修改回原root密码)。


检查jdk版本

sloth工具涉及的slothmanager、大数据组件(zk/kafka、zookeeper)、回放组件都依赖java运行环境,即都需要安装Jdk。)。

1)在所有主机上执行java -version命令查看jdk版本,若版本非jdk1.8版本,则进行第2)步手动安装,若未安装jdk则一键安装脚本会自动安装自带的jdk。

2)手动安装jdk1.8

#将sloth产品安装包上传到服务器某一目录,比如/home/sloth,并解压

mkdir -p /home/sloth

cd /home/sloth

unzip -q ZXCLOUD-GOLDENDB-SLOTHVXXXX.zip

#进入目录文件夹

cd /version/

# 解压ZXCLOUD-GOLDENDB-SLOTHVXXXX.zip

# 进入目录文件夹

cd /install/slothmanager

# 解压slothPlugin.zip

unzip -q slothPlugin.zip

#进入jdk安装包目录

cd /slothPlugin/openjdk

#解压

tar -zxf openjdk-jdk8u181-b13.tar.gz -C /usr/local/

chmod -R 755 /usr/local/jdk1.8.0

#环境变量

vi /etc/profile

#文件末尾增加环境变量

export JAVA_HOME=/usr/local/jdk1.8.0

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=$PATH:${JAVA_HOME}/bin

#使环境变量生效

source /etc/profile

#查看版本

java -version

需保证java版本为1.8

若java版本显示与已安装版本不一致,需查看是否存在java软链接,需要将软链接更新至新java版本目录处

自动安装jdk之后查看jdk的版本

检查expect、lsof、unzip等软件是否安装

所有安装sloth的服务器需要做免密互信,因此需要安装expect软件。在所有服务器上执行以下命令:

rpm -qa |grep expect

若有如下输出则表示已安装expect软件,以redhat为例:

若无输出则需要安装该软件,如使用以下方式:

#需要挂载yum源

yum -y install expect

另外安装中使用到了lsof、unzip命令,同样需要检查服务器环境中是否已安装lsof、unzip两个软件依赖。

rpm -qa |grep unzip

rpm -qa |grep lsof

若无请安装软件:

#需要挂载yum源

yum install unzip

yum install lsof

Suse版本无yum命令,安装软件可参考如下命令。

zypper se xxxxx 搜索软件包

zypper in xxxxx 安装软件包,与apt-get install xxxx等价

zypper rm xxxx 删除软件包

zypper up xxxx 更新软件包

oscm平台告警上报功能,需要python-setuptools第三方工具包,手动安装前需确认服务器是否已安装相关软件。

zypper se python-setuptools 查找软件包

zypper in -y python-setuptools 安装软件包


SlothManager集群安装前环境检查

安装SlothManager集群环境之前,需要检查当前的主备机器上是否残留之前安装的组件用户及其进程,如果有,需要手动清理。因为这些残留的组件用户及其进程会占用采集组件使用的范围端口,导致页面上无法正常创建采集组件,至于回放组件,可能出现名称前缀冲突导致无法正常创建。

 

脚本使用

配置项设置

本脚本安装模式为全新安装,包括建立免密SSH(因为需要远程启动大数据组件)、环境检查(例如各端口占用)、jdk检查及安装 以及大数据组件(zk、kafka)、mysql、slothmanager server的安装。

将sloth产品安装包(ZXCLOUD-GOLDENDB-SLOTHVx.xx.xx.zip)上传到服务器某一目录,比如/home/sloth,解压后,进入一键安装脚本配置文件目录:

mkdir -p /home/sloth

cd /home/sloth

unzip -qo ZXCLOUD-GOLDENDB-SLOTHVXXXX.zip

cd autoInstall/fullDoseInstall/config

在此目录下存放着用于一键安装的配置文件,设置安装所需ip、端口等配置信息,共5个文件,文件夹内容如下(详细配置项说明请参考附录):

(1)bigDataHosts.txt.1节):

此文件配置安装大数据组件(zk、kafka)的IP,每行配置一个服务器IP地址,集群模式下则配置多行IP。注意:不要引入空行。

vim bigDataHosts.txt

#写入安装大数据组件(zk、kafka)的IP地址并保存

(2)cfg.conf:

此文件采用k/v形式配置,用于设置大数据组件包括:zookeeper的3个端口号,kafka broker端口号,运行脚本的用户名和密码(默认使用root用户权限)。一般情况下建议提前检验下配置的端口号有无占用情况,如果端口被占用,请按需修改端口号。

#无输出代表端口未被占用,例:

lsof -i:32189

注意:user参数需要填写具有服务器高权操作的用户名,如root或者具有sudo权限的用户名;在安装过程中会利用此用户在服务器上创建用户等系统管理员操作,如当前服务器的系统管理员用户名不是root,可根据实际情况填写。

vim cfg.conf

#按需写入安装大数据组件需要配置的端口和root权限用户及对应密码并保存

(3)server.conf:

此文件是Slothmanager Server管理平台的配置文件,主要包括:

管理平台的https,http端口号,默认https端口号8444,http端口号8088;若端口号已被占用,按需修改。

slothManagerInstallPath 为slothManager安装路径,即本次sloth安装的路径,可自定义。

slothManagerPass 为创建的slothManager用户对应的密码,用户需进行配置替换******。

installUser 为安装slothmanager的用户,即本次sloth将安装在该用户下面

管理平台存放元数据所依赖的mysql数据库的ip、port、userName和userPassword。默认root用户,其他高权用户也可以,脚本将根据以上信息自动安装rdb。

slothManager集群模式下的备机IP及备机用户的密码,多组备机的场景,两者都是以逗号分隔,用户的密码请避免出现逗号

mysql数据库支持非高可用和高可用两种模式安装。若使用非高可用模式,即只安装单机的mysql则无需配置server.conf文件中的slaveMysqlIP(备机IP)参数;若使用高可用模式,即安装主备mysql,需配置server.conf文件中的slaveMysql相关的备机ip、port、userName和userPassword参数。 (不能使用已安装的MySQL数据库,只能在server.cfg中进行配置后,脚本会自动安装对应的MySQL数据库,同样建议先检查端口是否冲突)

(4)java.env与zk_server_jaas.conf

该两个文件用于zookeeper集群安装的安全加固,无需手动配置。


上传jdbc-driver驱动包

将jdbc-driver.zip上传至解压后的产品包的version目录下,如/home/sloth/version。当前的jdbc驱动版本如下:

驱动类型驱动版本
mysql

mysql-connector-java-5.1.46.jar

mysql-connector-java-5.1.46-1204.jar

mysql-connector-java-8.0.27.jar

gdb_mysql-connector-java-5.1.46.3.jar

oracle

ojdbc-1.8.jar

mysql-connector-java-5.1.46-1204.jar

ojdbc6-11.2.0.3.jar

db2

db2jcc.jar


执行一键安装

在完成config下的文件配置之后,切换到bin目录下,以sudo用户执行autoInstall.sh,如下:

cd ../bin

#进入autoInstall/fullDoseInstall/bin/目录下

sh autoInstall.sh

autoInstall.sh脚本支持三种模式的安装,

1)sh autoInstall.sh

该模式需要以root用户进行执行,安装过程会新建installUser用户,该模式不支持重复安装,若安装过程中检测到installUser已存在,则将退出安装。

2)sh autoInstall.sh kill

该模式需要以root用户进行执行,安装过程会新建installUser用户,该模式支持重复安装,如果安装过程中发现installUser用户已存在,则将删除并重建用户,然后进行安装。

3)sh autoInstall.sh noroot

该模式以sudo用户进行执行,需要用户提前创建好installUser用户,然后再执行安装,安装过程中不会新建用户,若安装过程中installUser用户不存在,则将退出安装,sloth将安装到installUser的默认家目录下,slothManagerInstallPath 配置项不生效

备注

(1)该模式需要提前配置好sudo用户,通过visudo命令对sudo用户权限进行配置,如下配置可以限制slothsudo用户仅对某些命令进行sudo操作, 使用sudo用户进行安装时需要配置的命令有lsof、mkdir、su、chmod、chown、rm、sh、ls、find、cp。

(2)该模式安装失败后,需要用户手动对环境进行清理,然后再次安装

安装执行过程如下:

集群模式下的安装过程如下:

如果中途有报错导致安装失败,请根据报错提示进行相应修正后再次执行命令重新安装。



附录

参数列表说明

1)配置文件config/cfg.conf各参数含义:

#zookeeper客户端连接端口

zkClientPort=2181

#zookeeper心跳端口

zkHeartbeatPort=2889

#zookeeper选举端口

zkElectPort=3889

#kafka服务端口

kafkaBrokerPort=9092

#必须以sudo用户运行autoInstall.sh脚本

user=root

#安装大数据组件、slothServer和rdb的用户密码

password=******

2)配置文件config/server.conf各参数含义如下(大数据组件相关的配置需要与config/cfg.conf中参数保持一致):

#sloth server占用的http端口号

httpServerPort=8088

#sloth server占用的https端口号

httpsServerPort=8444

##slothManager使用的 mysql本机 IP

mysqlIP=10.229.31.228

##slothManager使用的mysql port

mysqlPort=3306

##slothManager使用的mysql 访问用户

mysqlUser=root

##slothManager使用的mysql 访问密码

mysqlPass=******

#slothManager备机IP,逗号分隔

slaveIp=

#slothManager备机用户密码,逗号分隔

slaveRootPwd=

#slothmanager的备mysql的IP,脚本会在该ip完成安装,配置为空时不安装备mysql

slaveMysqlIP=10.229.31.230

#slothmanager的备mysql的端口

slaveMysqlPort=3307

#备mysql所在server的用户名

slaveMysqlServerUser=root

#备mysql所在server的用户密码

slaveMysqlServerPwd=******

##slothManager创建用户所用密码

slothManagerPass=******

##slothManager安装用户名称

installUser=slothUser

##slothManager安装路径,路径末尾无需/

slothManagerInstallPath=/home

常见问题解决方案

● 提示”ECDSA host key for 10.46.178.132 has changed and you have requested strict checking”

解决方案:删除机器上known_hosts文件(rm -rf ~/.ssh/known_hosts),或者修改sshd_config文件(vim /etc/ssh/sshd_config)配置StrictHostKeyChecking no之后重启sshd服务(service sshd restart)。

● Sloth安装完成后,使用http方式登录界面,若显示Access Forbidden,尝试对浏览器缓存进行清理后,重新登录。


最后修改时间:2024-03-07 15:08:59
「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论