（本文翻译自微软官方博客）
什么是 LLMOps？
过去一年中，AI 和基础模型领域的变革加速了企业内部对 AI 的采用。他们看到了像 Azure OpenAI 服务等技术的价值，指出了对新工具和流程的需求，以及在技术和非技术团队之间如何进行根本性的协作，以规模化管理人工智能实践。
这即是 LLMOps（大语言模型应用开发与运营维护）。事实上，在 LLMOps 这一语词大规模流行之前，Azure AI 已经有许多工具用于支持健康的 LLMOps，这以 MLOps（机器学习运营）平台为构建基础。但 Azure AI 一项新功能 prompt flow（提示流）的推出，为 LLMOps 构建了新标准。九月，微软在 Azure AI 软件开发工具包、命令行界面和 VS Code 扩展中发布了 prompt flow 的代码优先体验的公共预览版。
最新的基础模型往往作为头条谈资引人兴奋，但不可忽视的是，在使用 LLMs 构建系统时涉及许多复杂因素：合适的模型选择、架构设计、提示编排、将其嵌入应用程序、检查通用性，并使用负责任的 AI 工具链进行监控。
与输出更具可预测性的传统 ML 模型不同，LLMs 可能是非确定性的，而这需要采用不同的处理方式。当今的数据科学家擅长控制训练和测试数据、设置权重，使用 Azure 机器学习中的负责任 AI 仪表板等工具来识别偏差，并监控生产中的模型。
这些技术中的大多数仍然适用于基于 LLM 的现代系统，但还需要增加：提示工程、评估、数据基础、向量搜索配置、分块、嵌入、安全系统以及测试/评估最佳实践。
与 MLOps 一样，LLMOps 不仅仅是技术或产品的单一采用，而是融合了问题领域的专家人员、使用的流程以及用于实施这些流程的产品。将 LLMs 部署到生产中的企业通常涉及跨数据科学、用户体验设计和工程领域的多学科团队，还纳入了合规或法律团队以及主题专家的参与。随着系统扩展，团队需要准备好如何处理模型输出中可能出现的变异，或如何更好地解决安全问题等常规性复杂问题。
创建基于 LLM 的应用系统将分为三个阶段：
阶段 1
启动或初始化阶段
用户选择业务用例，并迅速构建概念验证。选择理想的用户体验，所需引入的数据（例如通过检索增强生成），回答有关业务问题并符合您所期望的影响。在 Azure AI 中，您可以在数据上创建一个 Azure AI 搜索索引，在用户界面将数据添加到 GPT 4 等模型中，以创建端点，开始使用。
阶段 2
评估和优化
概念验证成功之后，构建的重心将转向“优化”——尝试不同的元提示、不同的数据索引方式和不同的模型。使用 prompt flow 创建流程和实验，根据样本数据运行流程，评估提示性能，在必要时迭代流程。通过在更大的数据集上运行模型，来评估流程性能、提示的有效性，并按需优化。如果结果符合预期标准，则进入下一阶段。
阶段 3
生产
系统在评估中的表现如预期，您就可以使用标准的 DevOps 实践来部署，并在生产环境中利用 Azure AI 监控其性能，收集使用数据和反馈。您可以使用这些信息来优化流程，并为进一步迭代做好准备。
微软致力于不断提高 Azure 的可靠性、隐私、安全性、包容性和准确性，专注于识别、量化和缓解潜在的人工智能危害。Llama 2 和 GPT-4 大型语言模型（LLMs）提供先进的自然语言处理（NLP）内容和代码生成能力，微软已经为其定制了缓解措施，以确保负责任的解决方案。通过在应用程序进入生产流程之前缓解潜在问题，微软已经简化了 LLMOps 并完善了运营准备计划。
Prompt flow 和 Azure AI Content Safety 等 Azure AI 工具能够有所助益，同时应用程序开发人员和数据科学团队亦重任在肩。用户可以在生产过程中采用设计-测试-修订的方法，强化应用程序性能，获取更满意的结果。
微软在与客户合作以及创建自己的 Copilots 的过程中，对模型生命周期有了更深入的理解，并在 Azure AI 产品组合中创建了能够帮助简化 LLMOps 流程的工具。
LLMOps 的关键在于编排层，它将用户输入与底层模型连接起来，确保提供精确、上下文感知的响应。
Prompt flow 作为 Azure LLMOps 的突出能力，促进了前所未有的 LLMs 的可扩展性和编排，精确管理多个 prompt 模式。它确保了强大的版本控制、无缝的持续集成和持续交付集成，以及对 LLM 资产的持续监控。这些属性显著增强了 LLM 管道的可复制性，并促进了机器学习工程师、应用程序开发人员和 prompt 工程师之间的协作，帮助开发人员实现一致的实验结果和性能。
数据处理也是 LLMOps 的关键所在。Azure AI 能够与任何数据源无缝集成，并经过优化以与 Azure 数据源结合使用，包括向量索引如 Azure AI Search 以及数据库如 Microsoft Fabric、Azure Data Lake Storage Gen2 和 Azure Blob Storage。该集成意味着，开发人员能够轻松访问数据，用以增强 LLMs 或微调以满足特定要求。
除了 GPT-4 和 DALL-E 等在 Azure AI 服务上运行的 OpenAI 前沿模型之外，Azure AI 还拥有强大的基础模型目录，其中包括 Meta 的 Llama 2、Falcon 和 Stable Diffusion。通过使用模型目录中的预训练模型，用户可以减少开发时间和计算成本，快速轻松地启动项目。丰富的模型选择使开发人员能够在 Azure 的端到端内置安全性和可扩展性的支持下，充满信心地定制、评估和部署商业应用。
近期，微软还在 Azure AI 模型目录中推出了 Vision Models。现在，Azure 庞大的模型目录已经囊括了丰富多样的经设计的模型，可供社区使用。Vision 包括图像分类、对象分割和对象检测模型，已完成了对不同结构的全面评估并搭载了默认的超参数，确保模型在开箱即用时具有卓越性能。
此外，微软提供了丰富的资源包括认证课程、教程和培训材料，支持用户在 Azure 上的成功。关于应用开发、云迁移、人工智能和 LLMOps 的课程正在不断新增，以满足提示工程、微调和 LLM 应用开发方面的最新创新。
