暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

东方金信基于英特尔平台进行数据库性能优化,助力某大型能源央企超大规模数据库建设

英特尔物联网 2021-06-15
804


“东方金信 MPP 数据库提供了云原生支持能力,保证了运营管控应用的成功迁移。同时,东方金信 MPP 数据库对多租户、大并发的支持,结合高安全性、高可用性等企业级特征特性,让我们可以顺利地将业务迁移到云平台中,支撑数字化业务的快速创新”。


——某大型能源央企的项目负责人


在数字化转型的背景下,引入现代化的超大规模数据库作为可靠的数据业务支撑平台,已经成为大型企业的重要选择。针对某大型能源央企的数据库替换需求,东方金信提供了以海盒大规模并行分析 (MPP) 数据库为主要组件的解决方案,并和英特尔合作,面向基于第二代英特尔® 至强® 可扩展处理器的数据中心平台,对于海盒 MPP 数据库的计算、内存、I/O 性能和安全性进行优化,从而为该能源央企的数据中心云化建设及战略运营管控应用提供了高性能数据处理能力。



背景:超大规模数据库迁移

带来性能、可用性等挑战


为提升数据中心服务化能力,推动大数据技术与业务的深度融合,进一步释放数据价值,该大型能源央企根据《数据中心云化建设工作指引》要求,启动了数据中心云化建设项目。同时,公司致力于逐步将公司企业级与专业级战略运营管控应用、各分子公司个性化运营管控应用集中至总部数据中心,以满足公司向智能电网运营商、能源产业价值链整合商、能源生态系统服务商转型的总体战略要求。


为了保障该项目的成功实施,数据库替换变得迫在眉睫。该公司之前部署的 MPP 数据库并非针对大规模业务环境所设计,存在无法实时接入kafka数据,无法与Hadoop、Hive、Hbase等大数据组件实现数据交互等问题,导致有数据交互的应用场景实现困难。同时,该数据库缺乏原厂技术支持以及租户资源隔离机制,存在一定的运维风险。


在超大规模数据库的部署与优化中,性能也是必须考虑的一个重要因素。随着该公司将运营管控应用迁移到统一的大数据平台,应用的访问量可能会在特定的时间节点出现瞬时暴增,这对数据库的事务处理吞吐量提出了前所未有的挑战,并可能给运营管控应用的处理效率与稳定性带来影响。要提升数据库系统的处理性能,不仅需要优化数据库软件本身的架构设计、索引设计和对于工作负载的配置,还需要推动基于创新硬件的基础设施建设,并对软硬件进行充分的适配与优化。


解决方案:东方金信与英特尔合作

优化 MPP 数据库性能


在该项目中,东方金信提供了以海盒 MPP 数据库为主要组件的解决方案。该数据库是一款运行在通用架构或云平台上,具备强大分析能力的分析型(OLAP)集群数据库软件,可提供 MPP 并行计算、支持按行/列存储数据库、数据库内压缩、高性能向量计算引擎、在线扩容、多级容错等功能,能够带来高性能计算、高可用性、多租户隔离、高集成性、强安全性、统一运维等优势。


图1. 解决方案架构


海盒 MPP 数据库作为该公司大数据平台的重要组成节点,能够保障数据仓库/集市的高效运行。同时,海盒MPP数据库与大数据平台其它组件如Hadoop、Hive、HBase的联邦能力,保证了对上层运营管控、决策分析等服务类应用的充分支撑。


在性能层面,海盒 MPP 数据库提供了“节点间并行 + 节点内并行”机制,可执行向量计算引擎,具备超强的计算能力。为了进一步强化数据库的性能表现,东方金信与英特尔合作,在基于第二代英特尔® 至强® 可扩展处理器的数据中心平台基础上,进行了进一步优化。


第二代英特尔® 至强® 可扩展处理器专为数据中心现代化革新而设计,能够提高各种基础设施、企业应用及技术计算应用的运行效率,进而改善总体拥有成本(TCO),提升用户生产力。它拥有更高的每核性能,能够在计算、存储和网络应用中,为计算密集型工作负载提供高性能和可扩展性。得益于英特尔® 超级通道互联(英特尔® UPI)、英特尔® Infrastructure Management 技术(英特尔® IMT)、英特尔® 高级矢量扩展指令集512(英特尔® AVX-512)等领先功能,该处理器可满足严苛的 I/O 密集型工作负载的需求,帮助云数据中心着力打造性能更强的敏捷服务和突破性功能。


得益于第二代英特尔® 至强® 可扩展处理器对于AVX-512/AVX2 指令集的支持,以及双方的合作优化,海盒 MPP 数据库在列存场景下,聚集类运算获得了量级的性能提升。在东方金信开展的TPC-H测试中,海盒 MPP 数据库相较于对比的开源数据库,获得3~5倍的领先优势(见图 2)。[1]


图2. TPC-H测试结果对比


此外,东方金信与英特尔还针对数据中心中的多CPU环境进行了优化。第二代英特尔® 至强® 可扩展处理器的内存访问采用了非一致性内存访问 (Non-Uniform Memory Access, NUMA) 架构,有助于在大规模系统中保证局部内存访问的低延迟,为高端的企业运算提供了强有力的内存支持。在 NUMA 环境下,双方还采用了内存带宽优化、CPU与内存通道绑定等策略。东方金信开展的测试显示,优化后系统性能得到了显著提升(见图 3)。[2]


图3. 使用NUMA特性优化的基准测试对比


效果:保证运营管控应用的成功迁移


在东方金信 MPP 解决方案的助力下,该大型能源央企成功将各级运营管控应用迁移到数据中心中,并实现了流畅稳定的运行。具体而言,该解决方案提供了如下价值:


高并发支持应用流畅运行:

由于东方金信海盒MPP数据库的向量计算引擎等技术,以及第二代英特尔® 至强® 可扩展处理器的强劲性能,可以在月末、年末等业务高峰期的高并发环境下,依然保证各级运营管控应用的流畅运行。


消除数据中心云化障碍:

东方金信海盒 MPP数据库提供了云原生支持,使数据中心的云化建设彻底消除技术障碍,整个升级过程十分顺利。


确保面向未来的敏捷扩容:

东方金信海盒 MPP 数据库线性扩展的能力使其能够根据业务发展需求,对于系统性能进行敏捷扩展。


提升数据安全防护能力:

该数据库支持透明数据加密,支持开发人员使用 AES 和加密算法来加密数据,同时可以与大数据组件安全认证。


支持统一的运维管理:

东方金信海盒 MPP 数据库可提供统一的可视化监控,以及统一的告警策略和对外告警发布,以保证数据库的稳定、可持续运营,降低运维压力。


展望:为端到端云业务构建统一数据基座


在数字化创新的推动下,能源、金融、交通等行业用户的数据与业务呈现出以下发展趋势:首先是虚拟化,基础设施的虚拟化打破了数据存储与物理设备的绑定和对应,使得虚拟化边缘网络成为可能;其次是软件微服务化,微服务解耦了单体软件架构,使得数据服务和上层业务逻辑解耦合;第三是边缘云和中心云,私有云和公有云的融合,计算与存储在云间自由地切换,以实现业务的动态扩容和满足行业客户的复杂需求。


这些趋势对端到端云业务,也包括云业务中不可或缺的数据存储与计算,带来了诸多挑战。主要包括数据的自动化的管理,调度和运维;数据安全,特别是私有云与公有云间数据流动和交互的安全;提供统一的数据存储和计算接口便利云业务中生态合作伙伴的业务集成;超大规模的云业务对数据库等层面带来性能、管理、扩展性的挑战。


应对新的业务发展趋势和随之而来的技术挑战,东方金信和英特尔将利用在云原生,大数据,网络数据安全等方面先进技术,进一步发挥在支持超大规模业务方面的技术实力,等并拓展生态合作,强化面向数据库应用的软硬件协同优化,帮助用户解决在软硬件集成、性能调优,数据安全等方面的挑战,为端到端云业务打造统一数据基座,从而满足海量数据处理的需求,保障关键业务,为数字化转型奠定坚实基础,共建技术领先力、生态影响力、市场领导力。


1 数据来源:东方金信。测试配置:

处理器 2*Intel Xeon Gold 6226R Processor (22M Cache, 2.90 GHz) FC-LGA14B, Tray

内存 256G

存储 2*960G SSD,3*4T SATA HDD

网卡 板载千兆网卡和万兆网卡

交换机 1* 千兆交换机,一台万兆交换机


2 数据来源:东方金信。测试配置:

处理器 2*Intel Xeon Gold 6226R Processor (22M Cache, 2.90 GHz) FC-LGA14B, Tray

内存 256G

存储 2*960G SSD,3*4T SATA HDD

网卡 板载千兆网卡和万兆网卡

交换机 1* 千兆交换机,一台万兆交换机

 

实际性能受使用情况、配置和其他因素的差异影响。更多信息请见www.Intel.com/PerformanceIndex。

英特尔未做出任何明示和默示的保证,包括但不限于,关于适销性、适合特定目的及不侵权的默示保证,以及在履约过程、交易过程或贸易惯例中引起的任何保证。

性能测试结果基于配置信息中显示的日期进行测试,且可能并未反映所有公开可用的安全更新。详情请参阅配置信息披露。没有任何产品或组件是绝对安全的。

预测或模拟结果使用英特尔内部分析或架构模拟或建模,该等结果仅供您参考。系统硬件、软件或配置中的任何差异将可能影响您的实际性能。


©英特尔公司版权所有。英特尔、英特尔标识以及其他英特尔商标是英特尔公司或其子公司在美国和/或其他国家的商标。文中涉及的其他名称及商标属于第三方所有者资产。


延伸阅读






点击以下小程序,查看更多精彩内容!

文章这么精彩,你有没有“在看”?
最后修改时间:2021-06-15 10:17:37
文章转载自英特尔物联网,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论