为什么大模型拼命提升输入量？

柏睿数据 2024-03-27

382

国内AI独角兽月之暗面3月18日官宣，其AI应用产品Kimi智能助手启动200万字无损上下文输入。长文本的突破能让Kimi具备很多领域初级专家的水平。Kimi用户数量攀升，彻底火爆出圈的同时，大厂迅速开“卷”长文本。阿里通义千问更是直接加码到1000万字，成为全球文档处理容量最大的AI应用。

对比国外应用来看，GPT-4 Turbo支持128k的上下文能力是约10万汉字，Claude3支持320k的上下文能力是约16万汉字。因此，国产自主的大模型产品更适中文环境的使用。

那么问题来了：

Question 1

为什么大模型开“卷”长文本能力？

主要在于长文本的以下几个特性：

1.上下文理解：大型模型需要足够的上下文来理解问题。有时，问题本身可能不足以提供足够的信息，因此更多的上下文可以帮助模型更好地理解用户的意图。

2.歧义消除：某些问题可能存在歧义，例如指代问题（“它是什么？”）。更多的上下文可以帮助模型确定指代的是什么，从而提供更准确的答案。

3.连贯性：大型模型会尝试生成连贯的回答。如果只有少量上下文，模型可能会产生不连贯或不完整的答案。

4.避免错误：大模型的知识不全面，针对专业或最新的知识，提供更多的上下文可以帮助模型避免错误。例如，如果问题涉及特定的时间、地点或人物，模型需要足够的上下文来正确回答。

长文本适合解决专业问题，而不仅仅是跟大模型闲聊。大模型在回答问题时需要更多的上下文输入，超长文本的理解、记忆、总结能力能增强大模型记忆能力，更加像人，保证了准确性和连贯性。

Question 2

谁使用如此多的单点长文本输入？

从上面的内容分析，大模型在与用户沟通时，希望得到更多的相关输入信息。而用户在向大模型提问时，一般只会输入问题，不会把问题相关的资料都同时提交给大模型，那么谁使用如此多的单点长文本输入？

答案是大模型业务本身。

Question 3

大模型如何获得更多单点长文本输入？

众所周知，大模型训练一次需要成百上千张GPU卡和几周的训练时间，所以大模型的更新不会很频繁，即大模型内部的知识不是实时更新的。因此大模型通常会外接一个更新频繁的向量数据库。

在用户输入一个问题时，会从向量数据库中检索出相关的知识，通过长文本输入做为附加材料提供给大模型，这样大模型在附件材料的基础之上，就能更准确的回答用户问题。由此可见，大模型支持的单点长文本输入越大，则回复问题的准确性就越高。

从这里能看出，向量数据库就是大模型业务耳朵和眼睛，大模型业务是十分依赖向量数据库的。

Question 4

为什么选择柏睿向量数据库？

柏睿向量数据库，是柏睿数据在自有的全内存分布式数据库的基础之上增加向量计算引擎，为用户提供的全内存分布式向量数据库。

与大模型业务配合，柏睿向量数据库具有如下优势：

1. 分布式：使用数据库的分库分表方法，将向量均衡存储在每个数据库节点，在每个存储向量数据的节点实现本地计算。

2. 全内存：向量数据计算全部在内存中，无需像传统磁盘数据库将数据从磁盘加载到内存的数据迁移。

3. CPU计算：大模型是重GPU资源业务，现在一块英伟达H800 GPU的售价已达3万美金/块。柏睿向量数据库的向量计算无需使用GPU，全部由CPU完成计算，这将为用户节省很大使用成本。

4. 查询速度快：经内部测试，柏睿向量数据库查询170万条文本小说的整体速度比单机向量数据库快20倍左右。

5. 双接口：基于自有全内存分布式数据库，为用户标准的SQL和向量查询提供，提供标准数据库的CURD（建立、更新、读取、删除）操作。

推荐阅读

AI+数据驱动智能制造产业焕新！

国际标准，全球视野 | 柏睿数据入选北京市数字经济标杆企业

两会热议“智能制造”，AI+Data助力梦想照进现实

你的在看为智能数据算力点赞

文章转载自柏睿数据，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。

评论