暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

写在 Oracle 新一代 Exadata X11M 发布之际

数据最前线 2025-01-13
361

新一代Exadata X11M发布

1月7号,Oracle发布了最新一代的Exadata平台 – Exadata X11M,这个版本主要增强了AI向量化搜索能力。所有Exadata平台上提供的新软件优化提供了更快的AI搜索,存储服务器中的数据过滤速度提高了4.7倍,搜索二进制向量时的查询速度提高了32倍。通过透明卸载到智能存储节点,持久向量索引(IVF)搜索速度提高55%。内存中的向量索引查询(HNSW)的速度提高了43%。这使客户能够结合更多的私人业务数据更快地运行复杂的矢量搜索,并提高生成人工智能模型的准确性和可靠性,同时降低总体成本。

本次新机发布延续了Oracle一体机一贯的“加量不加价”的策略,用户能够以和上一代产品相同的成本,获取到新版本一体机的全部功能。

Exadata结合Oracle数据库特性进行深度定制的一款软硬件结合的产品,是Oracle历史上最为成功的产品之一。今天借着新品发布的机会,一起来回顾下Oracle Exadata的发展历程。

Exadata发展简史

第一代Exadata发布于2008年,由Oracle提供软件,HP提供硬件,这一代产品仅支持数据仓库和商务智能等OLAP工作负载;

2009年9月,Exadata V2发布,硬件改用了SUN的产品,同时在Exadata存储节点中首次采用了Flash卡,从而可以同时支持OLAP和OLTP类型的负载;

在之后的2010年至2015年期间,Oracle陆续发布了Exadata X系列产品,支持不同Oracle逐步解耦了存储节点和计算节点之间的固定配比关系,可以单独增加存储或计算节点,满足不同的用户需求;

2017年10月发布的X7中,Database In-Memory技术可以从单纯的物理内存扩展到容量更大的Flash存储。同时在存储节点新增了DRAM缓存层,大大降低了OLTP读取I/O延时;

自X8开始Exadata推出了M系列,引入了RoCE(RDMA over Converged Ethernet)网络机构,使得RDMA访问效率大幅提升到100GB/s,同时存储节点新增Persistent Memory层,使读取以内存速度进行,并确保不会因为电源故障或重启而丢失数据。

X9和 X10没有特别大的架构调整,更多的变化是在硬件能力的提升上。

为什么Exadata那么快

Oracle RAC是Share Everthing架构,集群间需要通过心跳网络进行消息和数据的传输,当有大量数据需要在节点间进行传递时,心跳网络往往会成为瓶颈,限制了Oracle RAC的线性扩展能力。Exadata创造性的将InfiniBand技术用于集群心跳网络,将网络传输速率从传统以太网的100MB(刚发布时万兆网并未普及)大幅提升至20GB,使得心跳网络不再成为RAC架构中的瓶颈,大大提升了集群的整体性能。

软件层面的优化体现在存储节点,传统架构中存储层只是单纯根据上层数据库软件的要求读取和写入数据。而Exadata的存储节点同时还具备数据处理能力,具体体现在智能扫描(Smart Scan)和存储索引(Storage Index)两个方面。

Smart Scan

Smart Scan又称为SQL Offload,它将数据密集型SQL操作从数据库服务器直接卸载到存储服务器,通过将SQL处理推到存储服务器,当从磁盘和闪存读取数据时,数据过滤和处理立即在所有存储服务器上并行进行。只有与查询直接相关的行和列才会发送到数据库服务器。通过过滤存储服务器上的行和列,不仅可以减少发送到数据库服务器的数据,而且由于存储服务器中可用的CPU总数增加,扫描通常运行得更快,从而提高了并行性。

如上图所示查询语句,传统架构中根据执行计划将所涉及到的数据读取到数据库缓存,在缓存中进行查询条件(REGION=’NORTH AMERICA’ AND TOTAL_ORDER_AMOUNT>=500)检索并返回满足条件的数据。而在Exadata架构中,存储节点也具有“智能”直接将满足条件的数据过滤出来返回给上层计算节点,大大减少了存储和计算节点之间的数据传输量,也减轻了计算节点的压力,从而大幅提升系统整体的吞吐能力。

Storage Index

存储节点之所以具备快速的“智能”处理能力,还得益于存储索引特性。和传统架构下存储层对数据没有感知能力不同,Exadata的存储节点通过存储索引对所存储的数据进行索引,存储索引跟踪该存储服务器上每个表的存储区域的最小和最大列值,使得存储节点能够快速过滤出满足SQL查询要求的数据返回给计算节点。

计算能力下沉到存储节点的能力也被很多其他数据库产品仿效,尤其是在分布式架构中,这个能力能够大大减少节点之间的数据传输量,因此该能力也几乎成为分布式架构数据库的标准。

写在最后

软硬件的深度结合,使得Exadata的数据处理能力比传统架构高出几个数量级,因此一经推出便广受用户的追捧,市面上也涌现出不少参照Exadata架构的国产一体机。虽然在硬件上可以仿效,同样采用InfiniBand交换机作为存储和计算节点之间的连接通道及心跳网络,同样采用闪存用于查询性能加速,但Smart Scan是和上层Oracle数据库协议深度结合的,SQL Offload能力是国产一体机所不具备的。

从InfiniBand到RDMA,从Flash卡到PMEM,Exadata始终将新技术的特性发挥到了极致。在经历了X9和X10相对较少的变化之后,X11携手Oracle 23ai强势归来,相信能在AI的助力下取得更好的成绩!


文章转载自数据最前线,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论