网络连接在现代计算环境中扮演着至关重要的角色。目前数据中心规模迅速扩大、网络带宽大幅提升，传统软件网络协议栈的处理器开销较大，并且难以满足众多数据中心应用程序在吞吐、延迟等方面的需求。RDMA技术的出现，为降低TCP/IP网络传输时延和硬件资源消耗，提供了一种全新且高效的解决思路。相对于TCP，RDMA具有旁路软件协议栈、卸载网络工作到硬件的特点，能有效增加网络带宽、降低网络时延与硬件负载。借助RDMA技术，数据中心可以更好地优化集群间的数据交互效率，进而促进高性能计算任务、大规模数据分析速率的显著提升。
1
RDMA如何打造数据“绿通”
RDMA（Remote Direct Memory Access），可以简单理解为网卡完全绕过CPU实现两个服务器之间的内存数据交换。其作为一种硬件实现的网络传输技术，可以大幅提升网络传输效率，帮助网络IO密集的业务（比如分布式存储、分布式数据库等）获得更低的时延以及更高的吞吐。
具体来讲，RDMA技术的应用要借助支持RDMA功能的网卡以及相应的驱动程序。由下图所示，一旦应用程序分配好资源，其可以直接把要发送的数据所在的内存地址和长度信息交给网卡。网卡从内存中拉取数据，由硬件完成报文封装，然后发送给对应的接收端。接收端收到RDMA报文后，直接由硬件解封装，取出数据后，直接放在应用程序预先指定的内存位置。
由于整个IO过程无需CPU参与，无需操作系统内核参与，没有系统调用，没有中断，也无需内存拷贝，因此RDMA网络传输可以做到极高的性能。
2
RDMA的实现方式
目前RDMA主要有3种主流实现方式，分别是IB（InfiniBand），RoCE（RDMA over converged Ethernet），iWARP。
• IB专为RDMA设计的网络，从硬件层面保证可靠传输，虽然可以提供最佳性能，但自定义了从链路层到传输层的整套规范，需要专用网卡和交换机支持，不兼容以太网且价格昂贵。
• RoCE是基于以太网（Ethernet）的RDMA技术标准，为以太网提供了RDMA语义，并不需要复杂低效的TCP传输。它消耗很少的CPU负载，在数据中心桥接以太网中利用优先流控制（PFC）来达到网络的无损连接。
• iWARP 同样允许在 TCP 上执行 RDMA 的网络协议。在大型组网的情况下，iWARP 的大量 TCP 连接会占用大量的额外内存资源，对系统规格要求较高。
3
简化RDMA开发体验
需要注意的是，RDMA的使用需要应用程序的代码配合（RDMA编程）。与传统TCP传输不同，RDMA并没有提供socketAPI封装，而是要通过verbsAPI来调用（使用libibverbs）。出于避免中间层额外开销的考虑，verbsAPI采用了贴近硬件实现的语义形态，导致使用方法与socketAPI差异巨大。RDMA与TCP以太网Socket编程的主要区别：
1.TCP以太网socketAPI都是同步操作，而RDMAAPI都是异步操作。
2.RDMA编程还有一个关键要素，即所有参与发送、接收的数据，所在的内存必须经过注册。
Socket接⼝是⼀种标准的TCP⽹络编程接口，⼏乎所有操作系统和编程语⾔都⽀持。所以柏睿数据通过将RDMA封装成SocketAPI接⼝，让开发⼈员可以使⽤熟悉的Socket编程模型，无需直接处理RDMA的复杂性，直接使用RDMA的高性能网络。
柏睿数据通过将RDMA封装成Socket接口，使得开发人员可以使用熟悉的Socket编程模型，而无需直接处理RDMA的复杂性。这一创新简化了RDMA的应用门槛，可以更容易地与现有的应用程序和系统集成，提高了可移植性、兼容性和易维护性。
近期在一个大规模 400G RoCE 集群测试结果显示，使用柏睿 RDMA Socket 可以大大提升网络响应速度和带宽传送能力。柏睿 RDMA Socket 比TCP 的网络时延快近7倍，而仅需要使用 TCP 以太网的 1/32 传送包(size)，仅需要使用 TCP 以太网的 1/4 线程即可达到满 400G 带宽的传输能力。在单机双向同时收发的情况下，柏睿RDMA Socket 可以将双向共 800G 带宽跑满，而 TCP 仅能将双向带宽跑到 500G。值得一提的是其稳定性，在网络时延和带宽的测试中，柏睿RDMA Socket 的性能数据平滑，没有抖动出现。
据了解，数据中心中已安装的以太网交换机端口数量超过了4亿个。鉴于其广泛的存在，以太网将在AI/ML网络中发挥越来越大的作用，未来会有越来越多的RDMA操作通过以太网完成。650 Group预计，到 2028 年，RDMA 网络市场规模将超过 220 亿美元。而柏睿数据的RDMA技术突破将为未来的AI基础设施提供重要支持。
推荐阅读
