暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

8路服务器+NVMe,Oracle数据库美梦成真

鑫海方圆 2021-07-13
1824

数据库是企业级关键业务里最重要的应用,无论是互联网企业,还是非互联网的(传统)企业,最核心的数据,都放在数据库里面。

以Oracle为代表的关键业务数据库,具备了高可靠与高可用两大指标。因此面向关键业务应用的软硬件平台,一直都在寻找更好的计算平台,以前在金融行业流行的小型机环境就是企业关键业务最真实的需求写照。

去IOE与Oracle

大约从2000年开始,王牌组合“IOE”是关键业务数据库应用的最佳组合(小型机+商业数据库软件+集中式存储)。但是时间到了2010年,在互联网和非互联网(企业)战线上,替代IOE成为一个热门话题,最广为人知的当属互联网巨头阿里巴巴掀起的“去IOE”:用成熟的x86服务器取代小型机;用PCIe SSD取代高端磁盘阵列。

IOE阵营内部也在变革: Oracle于2009年收购Sun之后,正式推出自己的数据库一体机Exadata,同样是用x86+PCIe SSD组合把“IE”踢出局。Exadata主要面向传统企业市场,但也有PayPal这样的标杆型互联网用户。

上图是ExadataX5的典型架构,最上为DB Server,可以是双路E5(比如X5-2),也可以是八路E7(比如X5-8),最小两节点组成RAC,保证高可用,上面运行ASM为数据库提供存储接口;而应用数据则是通过双冗余InfiniBand交换机连接存储在(最小)三台存储服务器上(Oracle称为Cell),存储服务器内使用两块或多块PCIe SSD作为缓存

在新一代企业关键业务数据库里,有了一个新的成员——NVMe SSD。传统插卡式PCIe SSD在可维护性上不如驱动器形式的SAS/SATA SSD,SFF-8639规范在SAS连接器的基础上增加了PCIe x4的电气接口,在背板的支持下,可以像SAS/SATA SSD或硬盘一样安装在2.5英寸驱动器插槽中,便于从服务器前端维护。为了方便传播,大约在2015年,SFF-8639有了一个U.2的“俗名”。U.2在兼容SAS/SATA接口的基础之上,增加了对PCIe ×4的支持,理论带宽可到4GB/s(PCIe 3.0)。

Oracle容量型ExadataStorage Server采用插卡式PCIe SSD,新增的全闪存Exadata Storage Server使用U.2 SSD,两者都是PCIe NVMe SSD,只是外形规格不同。由此可见,只要条件成熟,Oracle对新技术的采用是非常大胆、迅速的。SATA接口有限的带宽限制了SSD的性能发挥,而且到6Gb/s后已不再发展;而PCIe 3.0 x4的带宽接近SATA的七倍,NVMe又进一步缩短了延迟,性能上构成全方位的压倒性优势。

上图是PCIe接口速率,在2.0时代,PCIe x1就有500MB/s,稍逊于SATA接口,但PCIe SSD通常是x4通道配置。而进化到PCIe 3.0,PCIe x4通道理论带宽可达4GB/s,优势十分明显

8路服务器+NVMe的梦幻组合

图:联想SR9508路服务器最大支持24块U.2 NVMe SSD,送测机型安装了4块960GB U.2 SSD,4块600GB SAS HDD

当8路的联想SR950服务器配置了4块U.2 SSD来到企事录实验室的时候,我们的第一个反应——这是一套适合Oracle数据库应用的硬件平台。

据ITIC2017服务器调查报告显示,联想System x系列服务器年度平均故障停机时间是最短的。最新一代的联想SR950作为System x嫡传型号,依旧由联想北美服务器研发团队打造(前System x研发团队),延续了System x X6系列服务器的高可靠、高可用特性

作为率先上市的8路服务器,联想SR950具备了高计算密度的特征,它在4U的机箱内塞进了8颗英特尔最新发布的Xeon8176处理器,而且延续了上一代System x3950 X6的独立系统板设计,既具备高密度的特性,也保持了高RAS的设计。

从之前企事录的SR950结构解析中可以看到,SR950分为4层结构,每层都是具备两颗处理器的系统板,4层系统板共8颗处理器,它们之间通过背板实现UPI总线互联

SR950的每块系统板上都安装了两颗Xeon 8176处理器,24条32GBDDR4-2666内存,除了两颗处理器间的UPI总线在板内互联,2颗处理器剩余的4根UPI总线都由接口和背板互联(桔色框),同时2颗处理器所提供的48lane*2的PCIe3.0大部分由背部接口引出(40lane*2,其中8lane*2被板载的NVMe插槽使用),可以直接与扩展仓对接,SR950整机提供多达13条的PCIe 16X扩展槽,满足用户各类高I/O设备的带宽需求。

每颗处理器还有一个板载的PCIe 8X接口用于直联U.2 SSD(绿色框,每接口可连接两块U.2 SSD),因此8路服务器最多可以直联16块PCIe 4X的U.2 SSD。

这是联想SR950服务器4块系统板的互联框架示意图,从图中可以看到,SR950每套系统板都提供了4个UPI总线接口,1/2,3/4板间交叉互联,然后1/4,2/3间采用了环形的RING架构互联。

上图是Intel的官方4路/8路服务器的互联框架图,8路的架构围绕每颗处理器3条UPI架构搭建,为8路RING架构;中间的4路架构在3条UPI的支持下,可以搭建出效率最高的4路MESH架构

前文提到,SR950送测配置有4块U.2 SSD,它们分为两组,分别接在第二块系统板的两颗处理器的PCIe 8X通道上,单块容量960GB。

Oracle@联想SR950性能实战

我们在联想SR950上部署了Oracle 12c环境,将0、1、2盘位的3块U.2 SSD用ASM统一管理,用于数据;位于3盘位的一块U.2 SSD则作为recover盘。至于OS系统,则由600GB的SAS HDD来负责。

这是系统监控下4块U.2SSD的工作状态。

我们使用一台双路Xeon E5-2699 v3服务器作为压力机,运行Swimbench,通过双口万兆以太网对联想SR950的Oracle 12c数据环境进行了压力测试(70%读30%写)。联想SR950服务器基于3块U.2 SSD,轻松实现248.8万的峰值TPM,TPS性能达到4.4W,此时处理器的使用率才16%,如果添加性能更强大的存储,相信Oracle 12c的性能会更高。从这个细节也可以看出联想SR950在计算性能上确实够强大。

测试结果解析:

本次SR950Oracle性能测试中只有3块U.2 SSD参与Oracle 12c的性能测试(所有数据落盘),且3块U.2硬盘连接在同一块系统板两颗处理器的PCIe接口上,其他处理器在测试中需要读盘/落盘数据时需要经过UPI互联甚至多颗处理期间跳转才行,会间接影响Oracle 数据库的性能。

企事录测试联想SR950环境为单实例Oracle数据库,SSD位于Oracle数据库服务器内部,未做高可用保护,主要验证联想SR950单机可以提供的Oracle高性能服务。在实际应用中,通常以2+3的配置来保证计算与存储的高可用,即2台Oracle数据库服务器做RAC,3台存储服务器做故障域。这样计算与存储的分离不仅能够有效保证整个数据库系统的高可用,而且还可实现计算与存储单元分别扩展。

如果为联想SR950添加更多的NVMe SSD,并连接在不同的系统板上,相信这台服务器的计算性能会得到进一步的发挥,能够获得更为强大的Oracle 12c数据库性能。


文章转载自鑫海方圆,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论