MinIO 于 5 月 14 日推出 MemKV——专为 AI Agent 推理设计的上下文 KV 存储，PB 级数据规模下实现微秒级检索延迟，用于管理 LLM 和多智能体系统的对话历史与上下文窗口。
MemKV 加入 AIStor，成为 MinIO 产品组合的第二支柱，将公司从 AIStor 开始的数据基础扩展到推理运行的内存层。据 MinIO 称，新的 MinIO MemKV 产品能够在 GPU 集群间以现有内存和存储层无法实现的规模，提供持久且共享的上下文。
“行业多年来一直在掩盖上下文丢失，因为在小规模上你可能能够吸收重新计算税并继续前进。在超大规模开发者和新云开发者正在构建的 GPU 密度水平上，这种情况已不再成立。它已经产生的 GPU 重计算环境正在不断消耗电力，而在一千个 GPU 上，这不是低效，而是结构性阻力，“MinIO 联合创始人兼首席执行官 AB Periasamy 说。“在这种规模下，产出经济需要专门为推理数据路径设计的东西。MemKV 正是为此设计的。”
设计用于运行 NVIDIA BlueField-4 STX 架构，并原生支持 NVIDIA Dynamo 和 NVIDIA NIXL。MemKV 为企业、云服务提供商和 AI 平台提供了共享内存层级，结合了微秒响应速度和 PB 级容量。首次，整个 GPU 集群能够以跟上推理的速度访问一个公共上下文池，而无需等待存储。
MemKV 专为 AI 推理设计，并从零开始为 GPU 内存层级的 G3.5 层构建，能够以 SSD 经济性提供 PB 级共享上下文内存，取代 GPU HBM 和 DRAM 的成本和容量限制，实现独立于计算集群的扩展层级，公司表示。
该架构包含了 GPU 在推理时实际消耗数据的方式：
- NVIDIA BlueField-4 STX 的原生支持它直接运行在 NVIDIA STX 基础设施中，作为单一 ARM64 原生二进制，嵌入存储层，而非部署在通过网络连接的独立 x86 存储服务器上。
- 端到端 RDMA 传输： KV 缓存通过 RDMA 从 GPU 内存迁移到 NVMe，完全绕过文件系统或对象存储协议。
- GPU 原生块大小： 运行在 2-16 MB 块中，优化于吞吐量导向的 GPU 访问模式，而非为遗留存储负载设计的 4 KB 块。
- 线速织体性能： 专为 NVIDIA Spectrum-X 以太网网络和 PCIe Gen6 打造，将物理织体吞吐量提升至接近线速。
MinIO MemKV 现已上市。
欲了解更多相关信息，请访问 www.min.io
