枫清科技（Fabarta）大语言模型/算法专家
嘉宾介绍：枫清科技（Fabarta）大语言模型/算法专家，负责大模型应用的底层架构和解决方案研发，曾任职 IBM 数据科学家，在计算机视觉、大模型项目落地有丰富经验。
分享时间：2024年8月15日 下午 14:05-14:40
分享地点：【LLMOps 最佳实践】·舞台 2·源聚
分享议题：《函数式大模型应用的 LLMOps 实践经验》
大模型应用通常以链的等方式构建，链中包含不同的子过程，子过程之间有嵌套、回退、跳转、并行、汇总等复杂处理。相比于传统的应用，大模型应用需要追踪链路执行顺序，分析执行过程并计算并发度。本次分享将会介绍复杂大模型应用（超过200+子过程、10+分支）的监控方案，基于监控结果可以实现用量统计、性能分析、log 收集、评估等功能。同时，本次分享也将为大家带来 RAG、text2sql、text2api 的统一问答方案，以及大模型应用链路回退、并行和聚合、子链路跳转的设计方案等前沿技术热点。
1、函数式大模型应用 LLMOps 痛点
典型案例简介：rag、text2api、text2sql、澄清反问、生成图表。
痛点分析：链路太长，调用复杂，嵌套深，链路跳转和回退，监控不同过程的模型用量，找不到性能瓶颈，算法端和前端之间参数传递以及增加新参数不够灵活等。
2、大模型应用 llmops 经验介绍
性能分析：分析火焰图和时序图，找出性能瓶颈，并发执行可拆分、可并行的模块，如并发执行意图确认和生成链路。
对话评估：通过自动化评估找到薄弱环节，如在链路中加入 text2api 参数、text2sql 数据项澄清和反问，提高大模型在智能问数场景下的正确率和用户体验。
用量监控：监控链路中不同过程的 prompt 长度，当 prompt 超长时，允许回退到其他子链路，如重新召回，切换模型。
基于 json config 的前后端分离开发模式：使用统一的 json config 管理前后端参数。
本次大会将集结全球范围内对开源技术充满热情的开发者、社区成员、创业者、企业领袖、媒体人，以及各开源项目应用场景的产业精英、跨界才俊与年轻力量。通过主题演讲、圆桌讨论、创新集市、人才集市、黑客松、技术展示和互动工作坊等形式，与会者将有机会交流实践经验、探索前沿技术，让我们一起激发创新活力、展示开源魅力、促进跨领域合作。欢迎点击阅读原文，查看完整日程并报名参会。
推荐阅读
