安装负载均衡
LVS软件安装就是将ipvs模块加载到内核中。
通常RHEL系统内核中都带有ipvs模块。SUSE 11 sp1/sp2/sp3/sp4和SUSE 12 sp0/sp1/sp2/sp3内核中是不带ipvs模块的。
注意事项
现在大多数网卡都具有LRO(Large Receive Offload)和GRO(Generic Receive Offload)功能。即网卡收包时将同一流的小包合并成大包交给内核协议栈来提升接收性能。合并后的大包通常大于最大传输单元MTU(Maximum Transmission Unit)。而LVS内核模块在双网卡bond场景下处理>MTU的数据包时,会丢弃。此时,使用LVS来传输大文件,很容易出现丢包,传输速度慢。
因此,当LVS使用的网卡是双网卡bond时,需要关闭客户端、LVS主备节点和CN的bond网卡和物理网卡的lro、gro 、gso 、tso参数,具体如下所示(假设bond网卡名称为bond0,被bond的两个物理网卡是eth1和eth2):
ethtool -K bond0 lro gro gso tso off ethtool -K eth1 gro lro gso tso off ethtool -K eth2 gro lro gso tso off
使用下面命令查看是否关闭:
ethtool -k bond0 ethtool -k eth1 ethtool -k eth2
显示如下信息表示lro和gro已关闭。
tcp-segmentation-offload:off generic-segmentation-offload:off generic-receive-offload: off large-receive-offload: off
如果lro、gro、tso、gso不能正常关闭,请联系技术支持工程师提供技术支持。
操作步骤
- 在plat1上执行步骤2到步骤3安装负载均衡主节点,然后在plat2上执行步骤2到步骤3安装负载均衡备节点。然后分别在集群内有CN的主机上执行步骤2到步骤3将LVS虚拟IP地址绑定到各CN主机的lo网卡上。
- 以root用户身份登录服务器,执行source ${BIGDATA_HOME}/mppdb/.mppdbgs_profile命令启动环境变量。
- 执行gs_loadbalance安装LVS软件。
gs_loadbalance -t install -U omm -X ${BIGDATA_HOME}/FusionInsight_MPPDB_6.5.1/*_*_MPPDBServer/etc/mppdb-install-config.xml --master=plat1 --standby=plat2 --lvs-addr=10.146.156.101
命令中各参数说明如下:
- -U:运行集群的操作系统用户名。必选。
- -X:集群配置文件。必选。
- --master:安装主LVS的主机名。必选。
- --standby:安装备LVS的主机名。可选。
- --lvs-addr:后续供客户端连接的LVS IP地址。必选。需指定为一个未被使用的虚拟IP地址,且此虚拟IP地址必须与业务IP在同一网段。
对于有公网和私网双层网络的集群,推荐优先使用公网IP,如示例中的10.10.0.100。当然,对于不支持公网的集群,此虚拟IP也可以使用私网IP,例如10.146.156.101。
安装LVS时,主LVS上会自动虚拟出该IP。主LVS损坏时,keepalived会自动将IP配置到备LVS上。
在GaussDB 200集群各含有CN的主机上执行时,该虚拟IP地址会自动绑定到lo网卡上。
- 检查安装过程是否成功。
- 在主备LVS上分别执行如下命令:
ipvsadm -Ln
执行上述命令后,如果出现如下屏显信息,则安装成功。
IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn FWM 1 rr -> 10.146.156.142:8120 Route 1 0 0
- 如果只安装主LVS,不指定备的话,执行如下命令:
ipvsadm -Ln
执行上述命令后,如果出现如下屏显信息,则安装成功。
IP Virtual Server version 1.2.1 (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP 10.146.156.101:8120 rr -> 10.146.156.142:8120 Route 1 0 0
- 输入命令,查看加载是否成功。
lsmod | grep ip_vs
显示如下信息,则ipvs模块加载成功,LVS软件安装完毕。
ip_vs_wrr 12697 0 ip_vs_wlc 12519 0 ip_vs_sh 12688 0 ip_vs_sed 12519 0 ip_vs_rr 12600 2 ip_vs_pe_sip 12650 0 ip_vs_nq 12516 0 ip_vs_lc 12516 0 ip_vs_lblcr 12929 0 ip_vs_lblc 12819 0 ip_vs_ftp 13079 0 ip_vs_dh 12688 0 ip_vs 140944 27 ip_vs_dh,ip_vs_lc,ip_vs_nq,ip_vs_rr,ip_vs_sh,ip_vs_ftp,ip_vs_sed,ip_vs_wlc,ip_vs_wrr,ip_vs_pe_sip,ip_vs_lblcr,ip_vs_lblc nf_conntrack_sip 33860 1 ip_vs_pe_sip nf_nat 26146 1 ip_vs_ftp nf_conntrack 105745 3 ip_vs,nf_nat,nf_conntrack_sip libcrc32c 12644 3 xfs,sctp,ip_vs
示例
假定虚拟IP为10.10.0.100。
- 初始安装:
gs_loadbalance -t install -U omm -X ${BIGDATA_HOME}/FusionInsight_MPPDB_6.5.1/*_*_MPPDBServer/etc/mppdb-install-config.xml --master=plat1 --standby=plat2 --lvs-addr=10.10.0.100 No virtual ip address on local host. Begin to install load balance component...compareAndCheckVirtualIp ... Begin to check virtual IP...Virtual ip check succeed. Begin to install LVS component... Begin to install LVS component... The configuration file of LVS has been configure succeed. Succeed to restart /etc/init.d/gs_keepalived service. The 'gs_vip' file of CN configure succeed. Installed coordinator node files of load balance component successfully . Installed load balance component successfully .
- 重复安装:
gs_loadbalance -t install -U omm -X ${BIGDATA_HOME}/FusionInsight_MPPDB_6.5.1/*_*_MPPDBServer/etc/mppdb-install-config.xml --master=plat1 --standby=plat2 --lvs-addr=10.10.0.100 Get old virtual ip from lo:0 successfully. Begin to install load balance component... Check virtual ip address... Begin to check virtual IP... Virtual ip check successfully. Begin to install LVS component... Begin to configure LVS keepalived... The configuration file of LVS has been configure succeessfully. Restart /etc/init.d/gs_keepalived service successfully. Installed coordinator node files of load balance component successfully . Successfully installed load balance components.
查看更多:华为GaussDB 200 软件安装与配置「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」关注作者【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。评论