接上篇：上半篇我们梳理了 AI 系统瓶颈从 GPU 算力转向内存数据流的底层逻辑，讲解 HBM、DDR 在推理集群中的分层作用。本篇将从四层架构的核心 SEFS Memory Pool 开始，完整拆解分布式共享内存、NVMe 冷数据分层方案，同时解读 Memory Fabric 对 AI 基础设施行业带来的变革。
四、SEFS Memory Pool：把分布式内存变成 AI 推理的数据平面
四层结构中最关键的变化，是引入 SEFS Memory Pool 这样的分布式共享内存层。它既不是传统本地内存，也不是普通文件系统，而是面向 AI 推理的数据流中枢。它将跨节点内存、对象缓存、Tensor Streaming、共享参数池和高速网络访问组织在一起，使多个 GPU、多个推理实例和多个节点能够围绕同一套全局数据平面工作。
在传统架构中，每台服务器、每块 GPU、每个推理进程往往各自维护数据副本。模型层、Embedding 缓存、检索对象和中间状态不断重复加载，造成内存浪费和 IO 放大。当请求规模上升后，系统瓶颈不只是单节点带宽，而是全局数据组织能力。SEFS Memory Pool 的意义在于，把原本分散的数据变成可共享、可寻址、可调度的内存资源。
对于推理系统来说，SEFS Memory Pool 可以承担四类核心职责。
作为共享 Tensor 池，避免不同 GPU 和不同实例重复加载相同模型数据。 作为 Streaming Layer，在 GPU 真正需要之前，将下一批 Tensor 按顺序送入 DDR 或 HBM。 作为对象缓存，把 Embedding、RAG 片段、上下文对象和热数据保留在更靠近计算的位置。 作为跨节点内存访问层，通过 RDMA 等网络路径降低远端数据访问开销。
这使得推理系统从 “每台机器自己找数据”，转向 “整个集群围绕统一 Memory Fabric 调度数据”。当模型越来越大、上下文越来越长、并发请求越来越多时，这种全局内存池的价值会快速放大。它不仅提升性能，更改变了 AI 基础设施的成本结构：昂贵 HBM 不再需要承担全部容量，普通 DDR 和分布式内存可以承担大量中热数据，NVMe 则回到持久化和冷数据角色。
五、NVMe：仍然重要，但不应直接成为 GPU 等待的原因
NVMe 在 AI 基础设施中仍然不可或缺。Checkpoint、训练数据集、冷模型版本、历史上下文、归档对象以及大规模检索数据，都需要持久化存储承载。NVMe 的优势是容量大、成本低、部署成熟，但它的延迟特征决定了它不应直接暴露在 GPU 关键路径上。如果 GPU 在推理过程中频繁等待 NVMe 读取，那么再强的算力也会被数据路径拖慢。
推理时代对 NVMe 的正确使用方式，是将其作为 Memory Fabric 的最底层，而不是让它直接参与每个 token 的实时路径。冷数据可以长期停留在 NVMe；当系统判断某些模型层、对象或检索片段即将变热时，再通过 SEFS Memory Pool 和 DDR 逐级升温。这样，NVMe 提供容量和持久性，SEFS 提供共享与流式，DDR 提供缓冲与常驻，HBM 提供最终计算。
这类似现代供应链：仓库很重要，但不能让生产线每加工一步都去远程仓库取零件。真正高效的系统，会在仓库、区域分拨中心、线边缓存和生产工位之间建立连续补给机制。NVMe 就是 AI 推理系统的大仓库，而 Memory Fabric 就是从仓库到 GPU 工位的智能补给网络。
因此，NVMe 不应该被简单看作 “慢存储”，而应被看作四层 Memory Fabric 中的容量底座。它的价值不是直接喂 GPU，而是通过分层升温机制，让冷数据在合适时间进入合适位置。一个优秀推理系统的目标，不是消灭 NVMe，而是避免 GPU 直接等待 NVMe。
六、为什么推理性能最终取决于 Memory Fabric
很多企业在部署大模型推理时会遇到一个反直觉现象：GPU 很贵，规格很高，但实际利用率并不稳定。系统监控显示，GPU 并不是一直在计算，而是在等待数据、等待缓存命中、等待参数加载、等待检索结果、等待上下文整理。这时候继续增加 GPU 数量，未必能线性提升吞吐，反而可能放大数据路径上的拥塞。
这就是推理系统的核心矛盾：算力越来越强，但数据组织能力没有同步升级。训练时代的优化重点是扩大 Batch、提高并行度、减少通信开销；推理时代的优化重点则变成了减少等待、提高命中、提前预取、降低数据搬运成本。Memory Fabric 要解决的不是单点带宽问题，而是端到端数据流问题。
具体来说，Memory Fabric 至少要完成五件事。
判断哪些数据最热，应该进入 HBM。 判断哪些数据即将被使用，应该提前进入 DDR 或 SEFS 缓冲。 避免不同 GPU 重复加载相同对象。 让 KV Cache、Embedding 和 RAG 对象在多层内存之间动态迁移。 把 NVMe 读取从实时路径中剥离出来，变成后台升温过程。
当这些能力形成闭环后，GPU 看到的世界会发生变化。它不再面对杂乱无序的 IO 请求，而是面对连续、可预测、已经预取好的 Tensor 流。此时，推理系统的瓶颈才有可能重新回到计算本身。换句话说，Memory Fabric 并不是削弱 GPU 的重要性，而是释放 GPU 的真实能力。没有 Memory Fabric，GPU 只是昂贵的等待器；有了 Memory Fabric，GPU 才重新成为高效率计算引擎。
七、产品架构到市场叙事：Memory Fabric 将成为AI 基础设施的新类别
从市场角度看，Memory Fabric 不是一个边缘优化，而是 AI 基础设施的新产品类别。过去，企业采购 AI 基础设施时，主要关注 GPU 型号、显存容量、网络带宽和存储容量。未来，企业会越来越关注一个更系统的问题：这套基础设施能否以合理成本支撑持续推理？能否让 GPU 保持稳定利用率？能否在多模型、多租户、多上下文、多检索场景下保持低延迟？
这些问题单靠 GPU 无法回答，也单靠存储无法回答。传统存储系统擅长容量和可靠性，却不理解 Tensor 热度、KV Cache 生命周期和推理流水线。传统内存系统带宽很高，却局限在单机或单进程范围内。传统网络系统提供连接，却不直接表达 AI 数据对象的语义。Memory Fabric 的价值正在于把这些能力重新组合：用内存语义理解 AI 数据，用网络能力连接分布式资源，用缓存和预取机制支撑推理节奏，用分层架构平衡成本与性能。
这也是为什么 “此存储、非彼存储”。AI 推理时代需要的不是更大的磁盘阵列，而是能够进入计算节奏的数据平面。SEFS Memory Pool 的定位，不是把 NVMe 包装成更快的文件系统，而是把分布式内存和对象缓存纳入推理流水线，让模型参数、Tensor、KV Cache 和检索对象在整个集群中形成统一调度。
当 AI 应用从聊天机器人走向企业知识库、代码智能体、视频理解、机器人控制和实时决策，推理将不再是单一模型服务，而是复杂的数据流系统。谁能控制数据流，谁就能控制推理成本；谁能控制 Memory Fabric，谁就能释放 GPU 价值。
结语
AI 基础设施的历史，正在从单纯追求峰值算力，转向追求端到端系统效率。GPU 仍然重要，而且在可预见未来仍将是 AI 计算的核心。但推理时代的问题已经不再是 “有没有 GPU”，而是 “GPU 是否一直有数据可算”。
HBM、DDR、SEFS Memory Pool 和 NVMe 构成的四层 Memory Fabric，提供了一种新的系统答案：让最热的数据进入 HBM，让常驻和中热数据停留在 DDR，让跨节点共享和流式加载交给 SEFS Memory Pool，让冷数据和 Checkpoint 留在 NVMe。通过这种分层设计，推理系统可以在性能、容量和成本之间获得新的平衡。
未来的 AI 竞争，不会只发生在芯片参数表上，也不会只发生在存储容量表上，而会发生在整个数据平面的架构能力上。训练时代，GPU 定义了 AI 基础设施的上限；推理时代，Memory Fabric 将决定 AI 基础设施的真实效率。
一句话概括：训练时代属于 GPU，推理时代属于 Memory Fabric。
