暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

分布式存储 | 浪潮K1 Power服务器安装XSKY分布式存储操作系统配置手册

浪潮商用机器 2021-11-17
833

联合解决方案简介

浪潮商用机器携手专注于软件定义基础架构(Software Defined Infrastructure)业务的星辰天合(北京)数据科技有限公司(XSKY),联合打造的软硬件一体化分布式存储解决方案,采用浪潮K1 Power服务器硬件平台作为基础架构,搭载XSKY企业级分布式存储软件,帮助客户实现数据中心架构革新,集合了浪潮K1 Power服务器强大的I/O处理能力和计算性能,以及分布式存储平台丰富的企业级特性,能够提供多重保护,并且适配云环境,应用场景广泛。截至目前,已经在多家金融、保险等行业客户的影像采集存储等应用场景广泛应用。

  • POWER处理器单核多线程,具有超高的并发能力 

  • 高达80M L3缓存,更高的数据读写命中,降低文件访问延迟 

  • PCIe4.0的2倍带宽,在高速互联场景下性能优异 

  • Power系统架构设计,更高RAS特性

1
系统环境介绍




所需软件:Guiformat(将大容量U盘格式化成FAT32格式)、Rufus

操作系统镜像:CentOS-7-power9-Everything-1810.iso

U盘:128GB/64GB


2
刻录U盘系统镜像


2.1

由于Win10系统对于大容量U盘只有exFAT和NTFS选项,此两种格式无法被Linux系统识别,故如选用大容量U盘作为镜像盘,需要预先用第三方工具对U盘进行FAT32格式化,此处选用Guiformat工具来进行格式化操作。参考下图,参数均为默认配置。




2.2

接下来使用Rufus刻录进项,参数均为默认。





3
服务器开机初始化安装


3.1
开机进入BMC界面进行RAID阵列划分

首先点亮服务器电源,对服务器进行必要的初始化配置,然后通过网线直连笔记本和服务器后方的BMC网口,实现笔记本通过网口方式连接该服务器。登陆服务器底层管理界面,进入存储大项中,选择虚拟存储选项,并创建新的虚拟硬盘。

注意事项:此处按照XSKY分布式存储要求选择对应的RAID级别,Write Policy选择“Write Through”选项, Init State选择“Quick init”选项, 下拉到硬盘列表选择需要的硬盘。创建成功后,重启服务器。


⑤ - BMC网口


3.2
记录U盘UUID,并按“e”进入编辑模式

U盘在Petiboot中显示为“USB:sdX”。

如果Petiboot中无法发现USB设备,选择“Rescan devices”,记录USB设备的UUID。如下面示例中USB设备的UUID为:2015-10-30-11-05-03-00。


如图所示,将光标移动到 “Install CentOS7 (64-bit kernel)” ,按“e”进入编辑模式。


3.3
编辑模式下修改Boot arguments

在Boot arguments后面加入以下内容:inst.stage2=hd:UUID=U盘UUID,修改完成后 选择“OK”保存选项并返回主菜单。


3.4
安装操作系统
返回Petiboot主菜单后选择“Install CentOS7 (64-bit kernel) (64-bit kernel)”安装操作系统, 大概需要等 2 到 3 分钟才开始安装,在这个过程中屏幕可能没有任何变化, 最后会进入系统安装界面,手动选择安装操作系统。
注意事项:请全程使用英文界面进行操作系统安装初始配置 , 以免加载中文语言包。


3.5
安装操作系统之参数修改
3.5.1
选择安装硬盘位置

进入安装位置选项,并选择需要安装到的硬盘,同时取消系统自动分配分区大小的复选框,选择手动分配。

3.5.2
文件系统格式调整

在下一步中,文件系统格式选择为“Standard Partition”模式。

注意事项:此处POWER版本CentOS需要一个特别的10MB启动分区,必须分配。
3.5.3
分区大小分配

分区大小如下:/boot为1GB大小,特殊分区PPC PReP Boot为默认10MB,其余均为根目录, 不要划分Swap分区,最后确认配置需按两次DONE按钮。

3.5.4
选择需要安装的扩展包
安装包选择Infrastructure Server,并在右边窗口附带选择两个扩展包。

3.5.5
选择时区

时区选择“Shanghai”。

3.5.6
完成设置

所有参数配置完成后,点击“开始安装”按钮即可,期间根据客户要求修改root密码即可,安装完成后点击“reboot”按钮,在服务器重新开始自检后,再拔出U盘,否则可能会hung住界面。


4
系统内各网卡绑定设置


根据XSKY要求,需要将四个万兆光纤网口做两两绑定,bond工作模式为mode4,即802.3模式。

注意事项:一个操作系统只能有一个默认网关存在,需与客户确认网关设置方式,其余网段必须设置为静态路由模式。

4.1






备份原始网络参数

cd /etc/sysconfig/network-scripts

cp ifcfg-enP1p1s0f0 ifcfg-enP1p1s0f0.20210319

cp ifcfg-enP1p1s0f1 ifcfg-enP1p1s0f1.20210319

cp ifcfg-enP2p1s0f0 ifcfg-enP2p1s0f0.20210319

cp ifcfg-enP2p1s0f1 ifcfg-enP2p1s0f1.20210319

cp ifcfg-enP4p1s0f0 ifcfg-enP4p1s0f0.20210319

cp ifcfg-enP4p1s0f1 ifcfg-enP4p1s0f1.20210319

4.2






清空原始网络配置内容

ifcfg-enP1p1s0f0

ifcfg-enP1p1s0f1

ifcfg-enP2p1s0f0

ifcfg-enP2p1s0f1

ifcfg-enP4p1s0f0

ifcfg-enP4p1s0f1

4.3






创建bond0配置文件

(带外管理地址,千兆网卡双口)

vi ifcfg-bond0

加入以下内容

DEVICE=bond0

TYPE=Ethernet

NAME=bond0

BONDING_MASTER=yes

BOOTPROTO=static

USERCTL=no

ONBOOT=yes

IPADDR=10.0.33.XX

NETMASK=255.255.255.0

BONDING_OPTS="miimon=100 mode=1"

4.4






创建bond1配置文件

 ( 业务网地址,万兆网卡双口 , 需要另外配置VLAN文件 )

vi ifcfg-bond1

加入以下内容

DEVICE=bond1

TYPE=Ethernet

NAME=bond1

BONDING_MASTER=yes

BOOTPROTO=static

USERCTL=no

ONBOOT=yes

BONDING_OPTS="mode=4 miimon=100 lacp_rate=fast xmit_hash_policy=layer3+4"

4.5






创建bond1所属VLAN733配置

vi ifcfg-bond1.733

加入以下内容

DEVICE=bond1.733

TYPE=Ethernet

NAME=bond1.733

BOOTPROTO=static

ONBOOT=yes

IPADDR=10.10.133.XXX

NETMASK=255.255.255.0

VLAN=yes

VLAN_ID=733

GATEWAY=10.10.133.250

4.6






创建bond1所属VLAN205配置

vi ifcfg-bond1.205

加入以下内容

DEVICE=bond1.205

TYPE=Ethernet

NAME=bond1.205

BOOTPROTO=static

ONBOOT=yes

IPADDR=10.0.105.XXX

NETMASK=255.255.255.0

VLAN=yes

VLAN_ID=205

4.7






创建bond2配置文件

vi ifcfg-bond2

加入以下内容

DEVICE=bond2

TYPE=Ethernet

NAME=bond2

BONDING_MASTER=yes

BOOTPROTO=static

USERCTL=no

ONBOOT=yes

IPADDR=79.79.82.108

NETMASK=255.255.255.0

BONDING_OPTS="miimon=100 mode=1"

4.8






依次修改网卡配置文件

依次修改四张万兆卡及两张千兆网卡配置文件

vi ifcfg-enP1p1s0f0

TYPE=Ethernet

BOOTPROTO=none

DEVICE=enP1p1s0f0

ONBOOT=yes

MASTER=bond1

SLAVE=yes

USERCTL=no

vi ifcfg-enP4p1s0f1

TYPE=Ethernet

BOOTPROTO=none

DEVICE=enP4p1s0f1

ONBOOT=yes

MASTER=bond2

SLAVE=yes

USERCTL=no

vi ifcfg-enP1p1s0f1

TYPE=Ethernet

BOOTPROTO=none

DEVICE=enP1p1s0f1

ONBOOT=yes

MASTER=bond2

SLAVE=yes

USERCTL=no

vi ifcfg-enP4p1s0f0

TYPE=Ethernet

BOOTPROTO=none

DEVICE=enP4p1s0f0

ONBOOT=yes

MASTER=bond1

SLAVE=yes

USERCTL=no

vi ifcfg-enP2p1s0f0

TYPE=Ethernet

BOOTPROTO=none

DEVICE=enP2p1s0f0

ONBOOT=yes

MASTER=bond0

SLAVE=yes

USERCTL=no

vi ifcfg-enP2p1s0f1

TYPE=Ethernet

BOOTPROTO=none

DEVICE=enP2p1s0f1

ONBOOT=yes

MASTER=bond0

SLAVE=yes

USERCTL=no

4.9






关闭网络管理插件

systemctl stop NetworkManager.service

systemctl disable NetworkManager.service

4.10






加入bond绑定信息

vi /etc/modprobe.d/bonding.conf

alias bond0 bonding

alias bond1 bonding

alias bond2bonding

4.11






启用bond模块

modprobe bonding

4.12






检查bond模块

lsmod|grep bonding

4.13






重启网络服务

systemctl restart network

4.14






检查bond参数是否起效

cat /proc/net/bonding/bond0

cat /proc/net/bonding/bond1

cat /proc/net/bonding/bond2


5
配置安全选项(根据实际需求更改)


需要关闭操作系统的Selinux服务和防火墙。

5.1
Selinux

vim /etc/selinux/config

SELINUX=enforcing 改为 SELINUX=permissive

setenforce 0

5.2
防火墙

systemctl stop firewalld.service

systemctl disable firewalld.service

5.3
重启服务器

reboot

5.4
重启后验证

Selinux :

sestatus

SELinux status: enabled

Current mode: permissive

Firewalld :

systemctl status firewalld.service

firewalld.service - firewalld - dynamic firewall daemon

Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled)

Active: inactive (dead)


文章转载自浪潮商用机器,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论