【货拉拉】落地15项生成式 AI应用，敏捷创新打造智慧物流！

货拉拉是一家专注于货运物流领域的科技公司，通过采用亚马逊云科技 Amazon Bedrock 快速落地15项业务生成式 AI 应用，提升客户体验，打造智慧物流平台。

货拉拉是一家专注于货运物流领域的科技公司，公司的核心业务包括同城和跨城货运，以及为企业专门定制的企业版物流服务、跑腿、汽车租赁及后市场等等。公司使命是通过互联网和移动互联网技术，打造一个高效、透明、便捷的货运物流服务平台，为货主和货车司机提供优质的货运服务，提高物流效率，降低物流成本。目前，货拉拉使用的亚马逊云科技产品与解决方案包括：Amazon Bedrock 中 Anthropic Claude 3 Haiku、Amazon Bedrock 中 Anthropic Claude 3 Sonnet、Amazon API Gateway、Amazon Lambda 等。

货拉拉在全国范围内拥有庞大的货车司机网络和货源网络，快速高效地完成货物运输是货拉拉拥有高度竞争优势的重要因素之一。随着业务的蓬勃壮大，货拉拉期望不断引入最新的人工智能、大数据等新技术来提升运营智能化水平，实现货车调度智能化，提高运力利用率。

生成式 AI 技术问世以来，货拉拉立刻成立专门项目组，评估生成 AI 的能力范围和对其业务影响后，坚定地认为，生成式 AI 必将重构大部分对外的业务场景如营销类和公司内部的提质增效类场景，并开始积极拥抱。除了公司的产品、算法团队持续研究和推动生成式 AI 技术的应用外，越来越多的业务部门开始主动关注，如何应用大模型来解决、优化业务中的问题。如何应用大语言模型、服务好业务，货拉拉主要关注3大方面：采用生成式 AI 技术所带来的成本、生成式 AI 对业务带来的收益、以及应用生成式 AI 的同时如何保障数据安全和合规。

· 成本：货拉拉业务广、场景多，Token 数巨大，以质检业务为例，每天有数万通电话，而质检又包含多个维度，因此每月需要的 Token 数非常庞大，采用业界大模型无论是自己部署还是调用 API，成本都较高；

· 收益：如何保障生成式 AI 不同模型的效果，比如之前采用文本分类处理，其结果是可控的，但生成式 AI 可能会出现模型幻觉，在实际的业务场景中如何规避？

· 数据安全和合规：货拉拉的业务中，涉及到海量的司机、用户数据，数据安全和合规是其应用生成式 AI 中最大的挑战之一。

货拉拉与亚马逊云科技有坚实的合作基础，依托于亚马逊云科技广泛而深入、灵活可靠、安全合规的基础设施，货拉拉采用微服务化、自动伸缩、具备成本效益的基础架构，快速实现了在东南亚和拉丁美洲的业务突破，打造了高性能、高可靠性和高扩展性的智慧货运平台。因此，货拉拉选择将亚马逊云科技作为生成式 AI 在上述业务场景应用的合作伙伴，探索更多 AI 创新应用。

作为一家互联网物流企业，我们一直致力于利用创新技术，将社区与简化递送服务无缝连接。通过创新物流解决方案赋能广大用户和合作伙伴，必将助力数字化进程，推动社会数字包容性的提升。我们借助亚马逊云科技在生成式 AI、大模型方面的服务和能力，探索前沿生成式 AI 技术，优化业务运营，并将生成式 AI 融入商业模式之中。

— 张洪龙

货拉拉算法专家

货拉拉各业务部门对生成式 AI 技术的应用需求非常旺盛，目前诸多业务已经进行了探索和实践，包括 HR、PMO、教育培训（邀约客服培训、质检）、安全风控、财务、金融（客服问答）、客服提效（车型推荐）、数据洞察（周日报生成、埋点答疑）、营销定价（助理机器人）、营销、故障演练、悟空平台等14类场景的数十个应用，都已经或开始测试基于亚马逊云科技部署生成式 AI 应用。

在各类场景的生成式 AI 应用具体部署中，货拉拉还需解决模型评估和筛选、数据质量和微调模型等系列问题，亚马逊云科技提供了一站式端到端的生成式 AI 应用创新服务，来加速货拉拉的生成 AI 应用落地。

· 模型评估和筛选：市面上的大语言模型众多，由于参数量、训练数据及模型架构不同，大模型能力存在一些显著差异，需要根据具体业务需求和场景选择合适的模型。对于大模型的全面的基准测试和评估，需要消耗大量的人力和计算资源。

针对货拉拉的业务流程，亚马逊云科技 AI 应用科学家先后使用 Claude 3、Llama 2 等10款模型进行测试评估，评估数据为线上的真实数据以及LLM生成的数据相结合，数量1000条，将准确率、召回率、任务完成率作为模型选择标准。以邀约质检场景邀约话术场景为例，Claude 3 Sonnet 基准测试中准确率为0.98，精准度为0.99，召回率为1，F1-Score 为0.99，模型横向评估中获得第一。

· 数据生成和数据质量提升：使用亚马逊云科技提供的 LLM（大语言模型），根据基本业务流程和提示词来生成数据、清洗数据提升数据质量，使用亚马逊云科技提供 LLM 的 API 共生成3000条数据，平均轮次18轮。清理过滤掉轮次过短的对话，过滤掉说话主体不明确的对话，过滤没有模拟生成 API 接口输出的对话。

· 模型微调：亚马逊云科技基于货拉拉的业务需求对多款开源模型进行了微调，由于当前训练数据相对较少，因此最终采用了 Lora 的方法进行训练。并尝试构造更多样化的数据及人工清洗的方式，在保证数据的质量和多样性的基础上，进行全参微调，进一步提高模型泛化能力。

货拉拉的业务处理中，接收到的信息从原来的文字版信息，越来越多地转向为各类图文信息，接收到的图文问答、保险单比价，都需要从图片里面去解析和提取信息。货拉拉通过亚马逊云科技 Amazon Bedrock 访问 Claude 3 模型，多模态识别能力优秀，从货拉拉的业务实际应用看，基于大语言模型进行图文问答、图文推荐、比价等众多场景的效果非常好。

比如车险比价场景中，可能接收到用户对于车险选择的咨询，然后收到一个截图。以前，只能借助文字去跟用户沟通，一步一步地询问各种信息、可能中间还涉及大量地解释和沟通，才能获取到足够的信息来定位问题。借助大语言模型的多模态识别，迅速就能根据图片解析各类数据和信息，业务人员能更及时、更清晰地了解用户的诉求、用车等相关信息，可以更快地为用户推荐适配需求的车险，大大加快问题处理速度，提升用户体验。

货拉拉基于亚马逊云科技的技术架构示意图

亚⻢逊云科技 AI 应用科学家与货拉拉智能运营技术团队深度合作，项目共创。根据货拉拉提供的加密测试数据数据，构建或改进机器学习的算法，验证技术可行性，提供模型优化思路和改善建议，帮助货拉拉智能运营技术团队学习构建模型的方法。协助评测了市面上多款的大语言模型和生成式 AI 工具，并针对不同的应用场景完成多次 POC 测试，为货拉拉智能运营技术团队自研 LLM 应用平台提供新思路和建议。在邀约质检场景，模型在准确性、精确度和召回率等指标上提高了5%，提示语的长度缩短了30%以上。货拉拉已将亚马逊云科技的 LLM 大模型整合到自研 LLM 应用平台中，该平台为整个公司提供了 Claude 3的快速接入通用能力。

生成式 AI 在货拉拉内部已经处于爆发阶段，很多业务部门主动来寻求产品和算法团队的支持，带着业务的应用场景来积极推进应用的落地。通过与亚马逊云科技的通力合作，货拉拉业务的各个领域，包括对内、对外的14类业务场景和41个业务已经开始尝试采用生成式 AI，其中15个业务的生成式 AI 应用已经上线。

利用亚马逊云科技在生成式 AI 上的能力，货拉拉可以减少模型训练的时间，并快速验证不同基础模型能力与业务场景需求的匹配度，快速进行业务创新实验，实验时间从3个月缩短到6周，将更多的时间用于准备更为精确的业务数据并根据模型进行提示词优化。

以前货拉拉内部上线一项新应用或功能，可能需要一至两天。货拉拉通过构建悟空平台，集成业界主流大模型，面向公司内部的业务部门，通过低代码或零代码方式快速搭建应用，利用模型组件化，可视化地、采取拖拉拽式的操作，仅十几分钟就能把一项业务搭建起来，大大地促进业务上线效率。

引入生成式 AI 在效率提升的同时，还为业务实现了成本节省，比如培训业务中引入生成式 AI 后，除了提升司机体验外，每年预期为培训师节省上千小时的培训时间，大大降低公司的培训成本。

通过大模型进行质检，可以更多地去检测发现业务运营中的问题。以前由于人力、成本的限制，质检抽样率较低。现在，货拉拉基于亚马逊云科技的生成式 AI 能力可以将抽检率提升10倍，将对客服邀约人员与司机对话的规范性进行更为广泛、高效的审核，规范邀约人员话术行为，必将增强司机的体验。

未来，货拉拉将继续与亚马逊云科技加大包括图片在内的其他多模态方面应用，包括视频、音频等，提升运营效率和服务质量，构建了更敏捷、高性能、低成本智慧货运平台，为客户带去更加优质的货运体验。

货拉拉是一家物流平台，是从事同城 跨城货运、企业版物流服务、搬家、零担、跑腿、冷运、汽车租售及车后市场服务的互联网物流商城。2013年在中国香港成立，2014年进军中国内地及东南亚等市场。以 2023年上半年闭环 GTV 计，货拉拉是全球闭环货运交易总值最大的物流交易平台，市场份额为44.0%。截止目前，货拉拉的业务遍布全球11个市场超过400个城市。