构建 AI 应用：开源 infra 项目指南

Bytebase 2023-06-05

1587

近半年，AI 相关工具的发布不断更新了大家的认知，好用的新工具在不断涌现，搭建 AI 应用的门槛在逐渐降低，方便开发者更简单快速地构建酷炫项目 - 因此，我们收集了一些可以直接拿来构建 AI 应用的开源 infra 项目。🐍

Chroma

出道半年，Chroma (https://github.com/chroma-core/chroma) 今年四月初宣布了 1800 万美金种子轮。它是一个向量嵌入（embedding）存储，嵌入是 AI 原生表示不同类型数据的方式，因此也是与 AI 驱动的工具和算法的完美选择。

虽然已经有不少向量数据库解决方案，但 Chroma 团队认为都不够开发环境友好（没有找到想要的东西，所以就自己来写一个），它内置了你搭建 AI 应用在嵌入存储方面会需要的所有东西，只要 `pip install chromadb` 就可以了，无需配置或者额外安装别的东西。

因为羡慕，所以再来看一眼他们星光璀璨的资方列表。

Langchain 🦜🔗

LangChain (https://github.com/hwchase17/langchain) 2022 年 10 月发布，是一个能使开发 AI 应用程序更加灵活的框架。

LLM 虽然可以执行许多任务，但无法为某个深入领域知识或专业知识的问题提供具体答案。LangChain 可以看作是个衔接工具，方便开发者将不同的 prompt "链" (chain) 在一起⛓️。链条可以由多个模块的多个组件组成，包括：

大型语言模型（LLMs）：比如 GPT-3, BLOOM 等。
代理：决定应该采取什么行动。可以使用网络搜索或计算器等工具，并将所有的操作打包成一个逻辑循环。
记忆：短期或长期记忆。

🔗 你可以把一连串命令连在一起，这样 AI 模型就可以知道它需要做什么，产生什么答案，或者执行什么任务了。

比如 Chroma 和 LangChain 就可以无缝一起运行：开发者使用 LangChain 构建 LLM 应用程序背后由 Chroma 提供动力。

GPTCache

GPTCache (https://github.com/zilliztech/GPTCache) 是 Zilliz 开发的 LLM 语义缓存层。

比如你开发的 AI Chatbot 越来越受欢迎，流量逐渐变大，可能会出现的问题包括调用 API 的费用变高，响应速度变慢。GPTCache 就是为了解决这类问题而诞生的，其实 Zilliz 开源 GPTCache 也是因为他们的问答机器人 OSSChat 遇到了性能逐步下降、服务费用不断增加的情况。🚑

除了提升性能和节省开销，用户可以根据自己的需求（输入类型，输出格式，响应长度等）自定义缓存规则，最大化缓存效率。以及 - GPTCache 也已经跟 LangChain 完全集成了。

Dify

Dify.AI (https://github.com/langgenius/dify) 是一个开箱即用的 LLMOps 平台，提供了可视化的 prompt 编排，运营，数据集管理等功能，创建有用的 AI 应用变得更加方便了。

它提供了一些常用的应用模板（比如他们就有一个 SQL Creator 的模板，可以给你生成 SQL 语句🤗）

所以即便不是开发同学，也可以自己做简单的 LLM 应用并且直接给别人使用，进阶一点可以接入自己数据集，选择 LLM 模型，数据标注等等，开发者之后可以持续改进和调整 prompt。

Stable Diffusion

Stable Diffusion (https://github.com/CompVis/stable-diffusion) 是由 stability.ai 开发的一个 ML 模型，可以从文本中生成图像。stability.ai 去年十月已经完成了 1.01 亿美元的融资，它可以在你自己的机子上跑（对显卡要求可能比较高🤣），其它一样出名的 AI 作画模型包括 DALL·E 2 和 Midjourney，看了一些对比，感觉每家都各有千秋，只能说各取所需吧。

Stable Diffusion 是开源的，所以基于或围绕它的项目也很多，比如 Stable Diffusion 的 prompt 搜索引擎，Figma 和 PS 的插件等等。

前不久，Stability AI 宣布开源了 AI 图像生成平台 StableStudio (https://github.com/Stability-AI/StableStudio)，也是 DreamStudio 的开源版本，背后的模型是最新的 SDXL，可以在线生成，编辑，修复 AI 图像了，这是要 one up Midjourney 的节奏吗🤔️。