Last Week in Milvus

What's New

过去一周集中于 2.2.4 发布的冲刺，请期待即将发布的新版本。

Core Updates

#22244^[1] 在 2.2.4 和 2.3 版本中，增加了当 DataNode 内存不足时自动持久化，防止 DataNode OOM，进一步增强了在高并发场景下的系统稳定性。可以通过 memory.forceSyncEnable 参数打开/关闭此功能。

#22431^[2] 在 2.2.4 和 2.3 版本中，修改 rocksmq 的默认 page size为 256MB，在 Milvus 的 standalone 模式下会使用基于 rocksdb 开发的 rocksmq 作为消息队列，在之前的版本中默认值是 2G，会导致 rocksmq 的垃圾回收在使用了 512*2G=1T 磁盘之后出发，这是很多用户反馈 Milvus standalone 模式占用磁盘过高的原因之一。默认值改为 256M 后，垃圾回收会在 512*256M=128G 时触发，大大减少对磁盘的占用。

#22052^[3] 在 2.3 版本中，会使用 mmap 机制管理内存，众所周知 Milvus 在提供查询前要将数据 load 进内存（DiskANN 索引除外），但内存很昂贵，引入 mmap 机制可以让 Milvus 在内存不足时将数据 swap 到指定的磁盘路径，这样既可以规避 OOM 问题，又可以降低用户的使用成本。通过 queryNode.mmapDirPath 参数指定 mmap swap 数据的路径

#22390^[4] #22473^[5] #22532^[6] Milvus 团队正在对现存的 error handling 和 ErrorCode 进行集中治理，把之前不合规范、引起误解的 error 使用方式进行重构，这三个 pr 只是前奏，会持续对错误处理机制进行优化，可以期待在 2.3 系列中错误处理会有翻天覆地的改观。

Knowhere

#708^[7] #711^[8] 呼声很高的 GPU 支持，在 Knowhere 内核持续迭代中，预计很快会在 milvus 中能够使用 GPU 加速查询。

Deployment

#22531^[9] 为 docker-compose 部署 Milvus 增加了 active-standy 的模板，详见代码 deployments/docker/cluster/docker-compose.yml

What's Up Next

本周会发布 2.2.4，包含资源组、collection rename 等功能。

Milvus-Storage^[10] ：最近 milvus-io 中新增了一个 repo，目前信息还不多，可以猜一下是干什么用的。

Did you know

在 Milvus 2.2.0 中增加了 DiskANN 索引，顾名思义它是基于磁盘的索引类型，适合对 latency 要求不高但数据量超过 1B 的场景，经过 Milvus team 的测试成本可以节约 5 倍左右。

具体的使用方式和限制详见官方文档: https://milvus.io/docs/disk_index.md.

参考资料：

[3]        #22052：https://github.com/milvus-io/milvus/issues/22052

[4]        

#22390：https://github.com/milvus-io/milvus/issues/22390

[5]        

#22473：https://github.com/milvus-io/milvus/issues/22473

[6]        

#22532：https://github.com/milvus-io/milvus/issues/22532

[7]        

#708：https://github.com/milvus-io/knowhere/pull/708

[8]        

#711： https://github.com/milvus-io/knowhere/pull/711

[9]        

#22531：https://github.com/milvus-io/milvus/pull/22531

[10]      

Milvus-Storage：https://github.com/milvus-io/milvus-storage