DataStax在周三宣布与位于休斯顿的初创公司ThirdAI合作，将大型语言模型（LLMs）引入其数据库产品，如用于本地部署的DataStax Enterprise和NoSQL数据库服务AstraDB。
据DataStax首席产品官Ed Anuff表示，这项合作是公司将人工智能引入数据所在位置的战略的一部分。
ThirdAI可以安装在与DataStax运行的集群中，无论是本地部署还是云上部署，因为它附带一个小型库，并且安装可以使用Python进行处理。
"好处在于数据不需要从DataStax移动到另一个环境，只需传递给与其相邻的ThirdAI。这样可以确保完全的隐私，并且由于不需要在网络上传输数据，所以速度更快，"DataStax的一位发言人表示。
"ThirdAI可以作为一个Python包运行，也可以通过API访问，具体取决于客户的偏好，"该发言人补充道。
运行DataStax Enterprise或AstraDB的企业可以利用存储在这些数据库中的数据以及ThirdAI的技术和LLMs来启动自己的生成式人工智能应用。ThirdAI的基础模型可以经过训练，理解数据并回答查询，例如根据客户的历史记录推荐哪种产品可能导致销售。
ThirdAI的LLMs的集成将使DataStax吸收该初创公司的Bolt技术，该技术可以在相对较小的模型上实现比GPU更好的AI训练性能。这样做的优势在于CPU的价格通常比GPU低，而GPU通常用于AI和机器学习工作负载。
“Bolt引擎是用于训练深度学习模型的算法加速器，可以大幅度降低计算量。与量化、修剪和结构稀疏等标准技巧只能提供轻微的恒定因子改进不同，该算法每秒浮点运算（FLOPS）仅需要1%或更少。" ThirdAI在一篇博客文章中提到。
"无论是英特尔、AMD还是ARM，这些速度提升都自然地在任何CPU上观察到。即使是较旧版本的通用型CPU也可以被赋予与A100 GPU相同的能力，更快地训练百亿参数的模型，"他们补充道。
ThirdAI还表示，Bolt可以通过对现有Python机器学习流程中的“仅有几行”进行修改来调用。
这次与ThirdAI的合作是DataStax推出的新合作伙伴计划中的第一个，该计划旨在引入更多来自AI初创公司的技术，帮助在DataStax数据库中存储的数据的企业开发生成式人工智能应用。
