暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Mistral Large 模型首次登陆 Azure

Azure云科技 2024-03-05
180


Mistral AI 正在与微软合作,将其大型语言模型引入 Azure。在去年12月,Mistral AI 的开源模型 Mixtral-8x7B 和 Mistral-7B 已经添加到 Azure AI 模型目录中。今天,我们很高兴地宣布,Mistral AI 的新的旗舰版模型 Mistral Large 也在 Azure AI 模型目录中亮相。Mistral Large 模型将通过“模型即服务”(Models-as-a-Service,MaaS)提供,提供基于 API 的访问和基于 Token 的计费方式,使构建人工智能应用程序变得更加容易。开发人员只需数秒即可配置 API 端点,并在 Azure AI Studio 沙盒中试用该模型,或将其与业内常用的大语言模型应用程序开发工具一起使用,例如:Azure AI 提示流和 LangChain。API 支持两层安全性,首先,模型内置了对“安全提示”参数的支持;其次,启用了 Azure AI Content Safety 可筛查模型生成的有害内容,帮助开发人员构建安全可信的应用程序。 



           Mistral Large 模型 

Mistral Large 是 Mistral AI 最先进的大型语言模型,首次在 Azure 和 Mistral AI 平台上推出。由于其具备先进的推理和知识能力,它可用于全面的基于语言的任务。主要特点包括: 

专注于 RAG:不会在冗长的上下文中丢失关键信息。支持多达 32000个token。 

强大的编码能力:支持所有主流编码语言的代码生成、审查和注释。 

多语言设计:除英语外,还在法语、德语、西班牙语和意大利语环境中表现出色,目前可支持数十种语言。 

负责任的人工智能:在模型中内置了高效的防护措施,并通过安全提示选项提供额外的安全层保护。 


基准测试:您可以阅读 Mistral AI 博客,了解有关模型的更多信息并查看评估结果

https://mistral.ai/news/mistral-large   



           在 Azure AI 上使用 Mistral Large 

让我们先来了解前提条件: 

如果您还没有 Azure 订阅,请先访问下方链接获取:

https://azure.microsoft.com/en-us/pricing/purchase-options/pay-as-you-go 

创建Azure AI hub和项目,请确保 Azure 区域选择美国东部 2 区或法国中部。 

创建和管理 Azure AI 中心资源:

https://learn.microsoft.com/zh-cn/azure/ai-studio/how-to/create-azure-ai-resource

在 Azure AI Studio 中创建 Azure AI 项目:

https://learn.microsoft.com/zh-cn/azure/ai-studio/how-to/create-projects


接下来,您需要创建一个部署来获取推理 API 和密钥: 


在模型目录中打开 Mistral Large 模型卡:https://aka.ms/aistudio/landing/mistral-large 

单击“部署”并选择 “即用即付”选项。 

订阅并进行部署。您还可以在此步骤中查看 API 定价。 

大约需要一分钟,您即可进入部署页面,该页面会显示 API 和密钥。随后您可以在playground上输入提示信息开始操作了。 


有关前提条件和部署步骤的说明,请参见产品文档:

https://learn.microsoft.com/en-us/azure/ai-studio/how-to/deploy-models-mistral 


您可以在各种客户端中使用 API 和密钥。如果您想将 REST API 与自己的客户端集成,请查看 API 模式:

https://learn.microsoft.com/en-us/azure/ai-studio/how-to/deploy-models-mistral#reference-for-mistral 

让我们一起看一些常用客户端的示例。 

使用 curl 和 Python 网络请求的基础命令行界面(CLI)示例::

https://github.com/Azure/azureml-examples/blob/main/sdk/python/foundation-models/mistral/webrequests... 

Mistral 客户端:Mistral Large 的 Azure API 与 Mistral AI 平台上提供的 API 模式兼容,您可以使用 Mistral AI 平台上的任何客户端与 Azure API 进行交互。Mistral python 客户端的示例:

 https://github.com/Azure/azureml-examples/blob/main/sdk/python/foundation-models/mistral/mistralai.i... 

LangChain:API 兼容性还使您可以使用 Mistral AI 的 Python 和 JavaScript LangChain 集成。LangChain 示例:

https://github.com/Azure/azureml-examples/blob/main/sdk/python/foundation-models/mistral/langchain.i... 

LiteLLM:LiteLLM 易于上手,并提供已知的输入/输入格式。LiteLLM 示例:

https://github.com/Azure/azureml-examples/blob/main/sdk/python/foundation-models/mistral/litellm.ipy... 

提示流:提示流在Azure AI Studio 和 VS Code 扩展中提供网络体验,它提供综合性的解决方案,用于简化 AI 应用程序的原型设计、试验、迭代和部署过程。

了解更多信息:

https://learn.microsoft.com/zh-cn/azure/ai-studio/how-to/prompt-flow 

在 Azure 上也即将推出 Mistral AI API 开箱即用服务,同时您也可以使用 API 和密钥创建自定义连接,并在提示流中使用 Python 工具进行生成。 



          集成内容安全进行开发部署 

Azure 上的 Mistral AI API具有两层安全策略 —— 通过系统提示对模型进行指导,以及额外的内容过滤对提示和生成的内容进行有害信息筛查。Azure AI Content Safety 系统由一系列分类模型组成,可筛查特定类型的有害内容。外部系统旨在有效抵御对抗性提示攻击,例如要求模型忽略先前指令的提示。当内容过滤系统检测到有害内容时,如果 prompt 提示被归类为有害,您将收到一个错误提示,如果生成的输出被归类为有害,响应将被部分或全部截断,并附带一条适当的信息。请确保在构建应用程序时考虑到 API 返回的内容被过滤的这些情况。 



         常见问题及解答 

 000000000000000000


● 在 Azure 上使用 Mistral Large 的费用是多少? 

根据提示和完成 token 的数量计费。您还可以在 Azure Marketplace 上找到定价:

https://azuremarketplace.microsoft.com/zh-cn/marketplace/apps/000-000.mistral-ai-large-offer 

● 使用 Mistral Large 时,是否需要 Azure 订阅中有GPU 容量? 

不需要。与使用在线端点部署到带有 GPU 的虚拟机的 Mistral AI 开源模型不同,Mistral Large 模型作为 API 提供,是一种高级模型,因此无法自行将其部署到虚拟机。 

● Azure Machine Learning Studio 中是否支持Mistral Large? 

是的,Azure AI Studio 和 Azure Machine Learning Studio 的模型目录中都有 Mistral Large。 

● Azure 上的 Mistral Large 支持函数调用和 Json 输出吗? 

Mistral Large 模型可以进行函数调用和生成 Json 输出,对这些功能即将在 Azure上推出。 

● 我可以直接从 Azure Marketplace 购买和使用 Mistral Large 吗? 

Azure Marketplace 支持 Mistral Large 的购买和计费,但购买只能通过模型目录访问。如果尝试从Azure Marketplace购买Mistral Large,将被重定向到Azure AI Studio。 

● 鉴于Mistral Large是通过Azure Marketplace计费的,这是否会消耗我的Azure消费承诺(MACC)? 

是的。Mistral Large是“Azure权益”产品,符合MACC条件。关于 MACC 的具体信息,请参考

https://learn.microsoft.com/zh-cn/marketplace/azure-consumption-commitment-benefit  

● 我的推理数据是否会共享给 Mistral AI? 

不会,Microsoft 不会与 Mistral AI 共享任何推理请求或响应数据的内容。 

● Azure 上的 Mistral Large API 是否有速率限制? 

Mistral Large API 具有每分钟 20 万个token和每分钟 1 千个请求的限制。如果这还不够,请联系 Azure 客户支持。 

● Mistral Large Azure API 是否针对特定区域? 

Mistral Large API 端点可以在 AI Studio 项目中创建,并连接到美国东部 2 区或法国中部 Azure 区域的 Azure 机器学习工作区。如果要在其他地区的项目或工作区的提示流中使用 Mistral Large,可以手动使用 API 和密钥进行连接。基本上,只要在美国东部 2 区或法国中部创建了 API,就可以在任何 Azure 区域使用 API。 

● 我可以微调 Mistal Large 模型吗? 

暂时还不支持, 敬请期待 。

立即使用 Mistral Large,提升您的 AI 应用吧! 



文章转载自Azure云科技,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论