Snowflake 开源 “Arctic”大模型：性能媲美Llama 3 70B，训练成本大降！

摘要：作为云数据仓库界的“大佬”，Snowflake携开源大模型“Arctic”（北极），向生成式AI领域发起了挑战。这款模型不仅想与OpenAI的GPT-4、谷歌的Gemini、Meta的Llama 以及Mistral AI的Mixtral等业界“大咖”一较高下，更自称是市场上最开放、最企业级的LLM之一。

Snowflake夸下海口，“Arctic”不仅架构创新，以“专家混合”模式优化了模型，以应对五花八门的企业用例，而且在Apache 2.0许可下，大方公开了模型的权重及训练细节，为AI界树立了新的“开放”标杆。

据悉，这款模型从零开始构建，只用了不到三个月的时间，训练成本更是同类LLM的“八分之一”。这一创新，不仅为LLM的训练和成本设定了新的标准，更有望助力企业在更大规模上构建成本更低的生成式AI模型，可谓是“物美价廉”。

从云数仓到LLM，Snowflake展现出了“不务正业”的强烈竞争意识

Arctic的亮相，是Snowflake新任CEO Sridhar Ramaswamy的“大手笔”。这位前AI产品经理在接替前CEO Frank Slootman后，面对公司财务不佳的挑战，计划更加强烈地转向AI领域，Arctic的推出正是这一战略转型的体现。然而，Ramaswamy也不忘“初心”，重申Snowflake本质上是一家数据公司。

过去，Snowflake更多地投资于向LLM提供数据，而非创建自己的LLM。Ramaswamy表示：“通过以真正开放的方式向AI社区提供行业领先的智能和效率，我们正在推动开源AI的可能性。”他强调，Snowflake的目标并非将自己定位为AI公司，而是使客户能够更高效、更可靠地使用AI。

“我们正在进行基础投资，”Ramaswamy在一次新闻发布会上表示，“这是我们在生成式AI方面的第一步，接下来还会有更多动作。”其中，包括即将于6月初在旧金山举行的Snowflake Summit活动。

“我们在数据领域已经领先多年，现在我们将同样的思维方式带到AI领域，”他说，“没有数据战略，就没有AI战略。良好的数据是AI的‘燃料’。我们认为，Snowflake是地球上最重要的企业AI公司，因为我们拥有坚实的数据基础。我们相信，AI的发展将建立在我们正在构建的数据基础之上。”

据上个月Snowflake发布的报告，对超过9400个客户账户的分析显示，AI用例在其用户群体中日益普及。这其中，Python编程语言的使用、标签、非结构化数据以及专为AI开发的工具的使用均呈现出两位数或三位数的增长。

此前，竞争对手Databricks推出其首个LLM——Dolly，而Snowflake在短短一年多的时间里便迎头赶上。Constellation Research Inc.的分析师Doug Henschen表示，Snowflake展现出了“不甘示弱”的竞争意识。

今年3月，Databricks推出了开源DBRX，进一步增强了其在生成式AI领域的实力。该模型似乎赢得了市场的广泛关注。面对这一竞争威胁，Snowflake显然不甘示弱，推出了全新的Arctic LLM以回应。

Arctic与其他LLM的比较

Snowflake的研究团队，这支来自微软deepspeed团队的精英力量，采用了他们称之为“密集MoE混合变换器架构”的技术来构建Arctic。这种架构将训练和推理请求精准地分配给128位专家，这一数量远超其他MoEs通常使用的8到16位专家，如Databricks的DBRX和Mixtral。

Arctic的训练方式也别具一格，它在一个独特的“动态数据课程”上进行，旨在通过模拟人类学习的方式，灵活调整代码与语言的混合比例。Snowflake的首席AI软件工程师、deepspeed的创始人之一Samyam Rajbhandari表示，这种训练方式使得Arctic展现出了更为出色的语言和推理能力。

根据Snowflake分享的基准测试数据，在性能上，Arctic在GenAI基准测试中与其他LLMs得分相近，平均得分为65%，与Llama 3 70B的平均企业性能相当，并仅略逊于Mistral 8X22B的70%得分。

这一声明无疑是非常大胆的，毕竟Llama 3 70B在与其他主流模型如GPT-4 Turbo和Claude 3 Opus的对比测试中，都展现出了卓越的性能。据悉，Meta即将推出的模型在MMLU（主题理解）、GPQA（生物学、物理学和化学）以及HumanEval（编码）等基准测试中，也取得了高分。

在Spider基准测试中，该模型在SQL生成任务中取得了79%的高分，不仅超越了Databricks的DBRX和Mistral 8X7B，还与Llama 3 70B和Mistral 8X22B旗鼓相当。在编码任务方面，公司综合考虑了HumanEval+和MBPP+得分的平均值，

Arctic以64.3%的得分再次超越Databricks和较小的Mistral模型，仅落后于Llama 3 70B和Mistral 8X22B。

然而，最值得一提的是IFEval基准测试，该测试旨在衡量模型的指令遵循能力。Arctic在该测试中取得了52.4%的得分，超越了大多数竞争对手，仅次于最新的Mistral模型。

值得一提的是，Arctic虽然拥有高达4800亿个参数，但在任何时刻用于训练或推理的仅有170亿个。这种设计有效减少了资源消耗，与Llama3 70B相比，Arctic在训练中消耗的资源减少了16倍，而DBRX则多消耗了8倍的资源。

Snowflake的另一位杰出AI软件工程师、deepspeed的创始人之一Yuxiong He指出，这种资源节约的设计是故意的。“作为研究LLM的研究人员和工程师，我们梦想着拥有无限的GPU资源，”他说，“但现实是，我们总是面临资源有限的挑战。”

Arctic在拥有1000个GPU的集群上仅训练了三周，相当于投入了200万美元。然而，Rajbhandari表示，客户只需使用配备8个GPU的单个服务器，就能对Arctic进行微调并运行推理工作负载。

“Arctic在保持高效的同时，实现了先进的性能，”Snowflake的AI负责人Baris Gultekin强调。“尽管预算有限，Arctic不仅比使用类似计算预算训练的开源模型更强大，而且在企业智能方面表现出色，甚至超过了那些使用更高计算预算训练的模型。”

在Apache 2.0许可下的可用性

Snowflake称，其Arctic模型现已在自家的LLM应用开发服务Cortex中，以及Hugging Face、Lamini、Microsoft Azure、Nvidia API目录、Perplexity和Together等多个知名模型平台和目录中上线。特别是在Hugging Face平台上，用户可以直接下载Arctic模型的权重和代码，并且这一切都在Apache 2.0许可的框架下，这意味着无论是个人、商业还是研究机构，都可以无限制地使用该模型。

然而，这仅仅是Snowflake“真正开放”战略的一部分。除了提供模型权重和代码，公司还大方地分享了一份“数据配方”，这份配方旨在帮助企业在单个GPU上就能高效地进行模型微调。此外，公司还发布了一份详尽的“研究食谱”，其中包含了模型设计和训练方式的深入见解。

在新闻发布会上，Snowflake的AI负责人Baris Gultekin表示：“我们推出这份“研究食谱”，旨在加速任何对世界级MoE模型感兴趣人士的学习进程。这份食谱不仅提供了高层次的模型设计思路，还详细阐述了构建像Arctic这样的LLM所需的技术细节，让每一位用户都能以高效且经济的方式打造出他们所需的智能。”

目前，所有开源或近乎开源模型的兴起，带来了一个有趣的观察：生成式AI市场并不会像搜索市场那样成为赢家通吃的局面。Ramaswamy对此指出：“人工智能正在迅速走向去中心化。”这一趋势意味着，未来的AI领域将更加多元化，为各类企业和开发者提供更多选择和机会。

参考资料：

https://siliconangle.com/2024/04/24/snowflake-taking-openai-google-meta-others-open-source-arctic-ai-model/

https://venturebeat.com/data-infrastructure/snowflake-launches-arctic-an-open-mixture-of-experts-llm-to-take-on-dbrx-llama-3/

https://www.datanami.com/2024/04/24/snowflake-touts-speed-efficiency-of-new-arctic-llm/

https://www.infoworld.com/article/3715390/snowflake-s-open-source-arctic-llm-to-take-on-llama-3-grok-mistral-and-dbrx.html

https://mspoweruser.com/snowflake-arctic-takes-pride-as-the-best-llm-for-enterprise-ai-thats-quite-a-big-claim/