为了赋予智能体强大的知识能力，CAMEL-AI 内置了先进的 RAG 机制，同时在向量数据库上选择与 OceanBase 深度融合，为其 RAG 和 Graph RAG 能力提供坚实的技术支持。4 月 24 日，CAMEL-AI.org 核心工程师范文栋与 OceanBase 高级技术专家傅榕锋将为大家带来《CAMEL-AI×OceanBase：多智能体协作创新》的直播。如果你在备战 OceanBase AI 黑客松，想用 CAMEL-AI 打造亮点项目，欢迎预约收看，助你在比赛中脱颖而出！
一、CAMEL-AI 的 RAG与 Graph RAG 能力
CAMEL-AI 框架内置了强大的检索增强生成（RAG）能力，这是当前 LLM 应用中至关重要的一环。RAG 技术允许模型在生成回答时检索和参考外部知识，从而提高回答的准确性和相关性。CAMEL-AI 的 RAG 实现主要包括：
1、多种检索方式支持
CAMEL-AI 支持多种检索方式，包括：
👉 向量检索（Vector Retrieval）：基于语义相似性的检索方法。
👉 BM25 检索：基于关键词匹配的传统检索方法。
👉 混合检索（Hybrid Retrieval）：结合向量检索和关键词检索的优势。
👉 重排序检索（Rerank Retrieval）：对初步检索结果重新排序，提高相关性。
2、自动检索（AutoRetriever）
CAMEL-AI 的 AutoRetriever 组件能够自动选择最适合的检索方法，并处理文档的解析、分块和嵌入，大大简化了 RAG 应用的开发流程。用户只需提供查询和内容，系统会自动完成剩余的工作。
3、Graph RAG 能力
CAMEL-AI 还实现了基于图的 RAG（Graph RAG）能力，这是对传统 RAG 的重要扩展：
👉 知识图谱集成：将结构化的知识图谱与非结构化文本相结合。
👉 关系检索：不仅考虑内容的相似性，还考虑实体间的关系。
👉 自动知识图谱构建：使用 Agent 自动抽取实体和关系信息，构建知识图谱。
这些 RAG 能力使 CAMEL-AI 能够处理更复杂的知识检索和推理任务，为智能体提供更丰富、更准确的信息支持。
二、为什么选择 OceanBase作为 CAMEL-AI 的向量数据库？
在构建高效的 RAG 系统的过程中，向量数据库的选择至关重要。CAMEL-AI 框架选择支持 OceanBase 作为向量数据库，主要基于以下技术优势：
1、卓越的高维向量处理能力
OceanBase 的向量索引默认支持高达 4096 维的向量，最高支持 16000 维的 Float 类型的稠密向量，这已经覆盖了市面上绝大多数主流 Embedding 模型的需求。更重要的是，这个上限是可配置扩展的，意味着研究人员可以放心选用更高维度的模型来追求更好的效果，无需为了数据库的限制而牺牲模型精度去进行降维处理。
在 CAMEL-AI 的实现中，OceanBaseStorage 类完全利用了这一优势，允许用户根据其 Embedding 模型的输出维度灵活配置向量存储。
2、原生混合检索：精准与高效并重
OceanBase 的一大杀手锏是其向量索引原生支持混合检索。在 CAMEL-AI 的实现中，用户可以直接在查询时进行精确的标量过滤和高效的向量相似度搜索。
results = self._client.ann_search(table_name=self.table_name,vec_data=query.query_vector,vec_column_name="embedding",distance_func=distance_func,with_dist=True,topk=query.top_k,output_column_names=["id", "embedding", "metadata"],)
这种混合检索的优势显而易见：
💡 精准：先框定范围再搜索，确保查询结果的有效性，避免数据丢失。
💡 高效：索引层直接搜索，避免了应用层二次过滤的开销，查询速度更快。
💡 简单：无需编写复杂的 SQL 语句，API 接口简洁明了。
3、智能化的空间回收机制
OceanBase 底层采用了基于 LSM-Tree 的架构，这种架构在处理数据的增删改和空间回收方面有其独到之处。它拥有更完善、更自动化的空间回收机制，对于向量这种体积大、可能更新频繁的数据类型更加友好。
在 CAMEL-AI 的实现中，用户几乎不需要关心空间回收问题，OceanBase 会在后台平稳、高效地处理空间回收，减少了数据库膨胀的烦恼，也大大减轻了运维负担。
4、分布式架构的先天优势
OceanBase 作为原生分布式数据库，在高并发、大数据量下的水平扩展能力和高可用性方面有先天优势。这对于 CAMEL-AI 这样需要处理大量向量数据的框架来说，提供了未来扩展的可能性，无需担心数据规模增长带来的性能瓶颈。
5、简单易用
OceanBase 向量检索提供灵活的访问接口，不仅支持通过 MySQL 协议使用各种语言客户端以 SQL 方式访问，也支持通过 Python SDK 访问。
6、完备的工具体系
OceanBase 具备完备的数据库工具体系，支持数据开发、迁移、运维、诊断等数据全生命周期的管理，给 AI 应用的开发维护保驾护航。
三、CAMEL-AI 中OceanBase 的实现与效果
CAMEL-AI 框架已实现对 OceanBase 向量数据库的支持，主要通过 OceanBaseStorage 类提供全面的向量存储和检索功能。
1、完整的向量操作支持
OceanBaseStorage 类实现了 BaseVectorStorage 接口的所有方法，提供了完整的向量操作支持：
💡 向量添加：支持批量添加向量记录，并自动处理 ID 和元数据。
💡 向量删除：支持通过 ID 删除向量记录，包括数值 ID 和非数值 ID。
💡 向量查询：支持基于相似度的向量查询，并提供丰富的查询选项。
💡 状态查询：支持查询向量数据库的状态，包括向量维度和数量。
💡 清空操作：支持清空向量存储中的所有记录。
2、与 CAMEL-AI 检索系统的无缝集成
OceanBase 存储已经与 CAMEL-AI 的检索系统实现了无缝集成，用户可以通过 VectorRetriever 和 AutoRetriever 轻松使用 OceanBase 进行文档检索：
# 使用OceanBase作为向量存储storage = OceanBaseStorage(vector_dim=embedding_model.get_output_dim(),table_name="CAMEL AI _documents",uri="oceanbase-host:2881",user="root@test",password="password",db_name="test")# 创建检索器retriever = VectorRetriever(embedding_model=embedding_model,storage=storage)# 处理文档retriever.process(content=document_path)# 查询相关内容results = retriever.query(query="我的查询", top_k=5)
3、实际应用效果
在实际应用中，OceanBase 作为 CAMEL-AI 的向量数据库展现出了优秀的性能和稳定性：
🔎 查询性能：在大规模向量集合上，OceanBase 的查询速度表现出色，特别是在混合查询场景下。
🔎 存储效率：得益于 OceanBase 的存储架构，向量数据的存储更加紧凑，空间利用率更高。
🔎 运维简便：自动化的空间回收和管理机制，减少了运维负担。
🔎 扩展性好：随着数据量增长，OceanBase 能够平滑扩展，保持稳定的性能。
四、未来展望与合作方向
CAMEL-AI 与 OceanBase 的合作才刚刚开始，未来还有广阔的发展空间：
1、多模态 RAG 支持
扩展 OceanBase 在 CAMEL-AI 中的应用，支持多模态数据的存储和检索：
🔎 图像向量存储：存储和检索图像的特征向量。
🔎 音频向量存储：支持音频内容的向量化和检索。
🔎 跨模态检索：实现文本到图像、图像到文本等跨模态检索能力。
2、企业级应用场景拓展
针对企业级应用场景，进一步优化 CAMEL-AI 与 OceanBase 的集成：
📕 私有化部署方案：提供完整的私有化部署方案，满足数据安全要求。
📕 行业特定解决方案：针对金融、医疗、法律等特定行业开发专用解决方案。
📕 大规模多智能体系统：构建基于 OceanBase 的大规模多智能体知识共享系统。
3、性能优化与扩展
持续优化 CAMEL-AI 与 OceanBase 的集成性能：
📕 查询优化：针对特定查询模式进行优化，提高检索效率。
📕 批量处理优化：优化大批量数据的处理流程。
📕 新特性支持：及时支持 OceanBase 的新特性和功能。
CAMEL-AI 作为一个强大的多智能体框架，通过集成 OceanBase，为其 RAG 和 Graph RAG 能力提供了坚实的技术支持。OceanBase 凭借其高维向量处理能力、原生混合检索、智能化空间回收和分布式架构等优势，成为 CAMEL-AI 实现高效知识检索的理想选择。
目前，CAMEL-AI 已经实现了对 OceanBase 的全面支持，并在实际应用中展现出优秀的性能和稳定性。未来，双方的合作将进一步深入，在 Graph RAG、多模态 RAG、企业级应用等方面展开更广泛的探索，为 AI 应用提供更强大的技术支持。
💡 备战直播：CAMEL-AI x OceanBase 技术融合深度解析
