Star History 月度开源精选｜Llama 2 及周边生态特辑

Bytebase 2023-08-23

470

7 月 18 日，Meta 发布了 Llama 2 (https://ai.meta.com/blog/llama-2/)，大语言模型 Llama 1 的进阶版，可以自由免费用于研究和商业，支持私有化部署。

所以本期 Star History 的主题是：帮助你快速把 Llama 2 在自己机器上跑起来的开源工具，无论你的机器是什么！

Llama

Llama (https://github.com/facebookresearch/llama) 本身是个开源的基础大语言模型 (LLM)，由网上公开可获取到的数据训练完成。它于今年 2 月正式开源 (https://ai.meta.com/blog/large-language-model-llama-meta-ai/)，五个月之后就发布了新一代版本，Llama 2。

相比原版，Llama 2 在 2 万亿个标记上进行了训练，上下文长度翻了一倍，有 3 种不同大小的参数：7B, 13B 和 70B，参数的区别在于你希望使用更小、更快速的还是准确性更高的模型？

llama.cpp

llama.cpp (https://github.com/ggerganov/llama.cpp) 是在 Meta 官方公告里提到的社区在 Llama 上实现的成果之一，用 C++ 重写了 Llama 的推理代码，通过一些优化和量化权重，颠覆了我们的认知：它可以在普通硬件上本地快速运行大型 LLM，比如可以

在 Google Pixel5 上，以 1 token/s 的速度运行 7B 参数模型。
在 M2 Macbook Pro 上，以 16 token/s 运行 7B 参数模型。
在 4GB RAM 的 Raspberry Pi 上运行 7B 模型，速度 0.1 token/s。

这个项目是如此成功，以至于作者 Georgi Gerganov 把自己的 side project 正式成立为了一家初创公司 ggml.ai (这是个用于机器学习的张量库，llama.cpp 和 whisper.cpp 的背后都用着它)

Ollama

Ollama (https://github.com/jmorganca/ollama) 为运行、创建和分享大型语言模型（比如 Llama 2）而设计，现支持 macOS 系统，Windows 和 Linux 用户暂时需要自己通过源码编译。下好 Ollama 后，运行 `ollama run llama2` 就可以在你的 Mac 上用 Llama 2 了。

Ollama 的作者之前在 Docker 工作过，开源语言模型的兴起让他觉得大型语言模型也需要类似的东西，所以就有了为预先编译好的包，而用户可以自己调节一些参数。

MLC LLM

MLC LLM (https://github.com/mlc-ai/mlc-llm) 旨在让你能在任何设备上开发、优化和部署 AI 模型。任何语言模型都可以在各种硬件后端和本地应用程序上原生部署（支持的设备包括各种移动端，平板端，电脑端，和 Web 浏览器），无需服务器支持，你也可以进一步优化模型性能，以适应自己的使用场景。

MLC Chat 已经在苹果应用市场上线了，现支持 Llama-2-7b 模型，好奇的小编立刻试用了一下，很简单好用，就是手机容易发烫😅。

（题外话：感觉 Llama 2 还有很大增长空间呀）

LlamaGPT

LlamaGPT (https://github.com/getumbrel/llama-gpt) 实力证明了 AI 浪潮依然强劲，五天前才开源，GitHub 现在已经有 6.6K 星星了。

它是个自托管的聊天机器人，体验类似 ChatGPT，不会将任何数据传输到外部设备，目前三种 Llama 的模型都已经支持上了，背后也用到了之前提到的 llama.cpp。所以和前的几个工具相比的话，LlamaGPT 是一个更完整的应用程序，包含了 UI，也不需要手动设置任何内容、优化参数，这应该是最适合非技术人员用上 Llama 2 的方法了。

最后

作为开源、免费、可商用的大语言模型，Llama 把我们和 AI 的距离又拉近了一些，虽然相比一些收费模型，Llama 还是差了一点意思，但是就像 Meta 在新闻通稿里提到的「我们经历了开源带来的好处，比如 React 和 PyTorch ，这些已经成为整个技术行业常用基础设施。我们相信公开分享大型语言模型将支持有益且更安全地生成 AI 技术的发展。」相信有了社区的力量，Llama 和周边生态会越来越棒😆

最后的最后，当然，还有很多其他方式用上 Llama 2：比如通过 Homebrew 下载，Poe，等等等等，更多可以参考以下：