客户说｜光云科技 X AnalyticDB：构建AI时代下的云原生企业级数仓

阿里云瑶池数据库 2024-11-26

189

阿里云AnalyticDB承载了光云海量数据的实时在线分析，为各个业务线的商家提供了丝滑的数据服务，支持实时物化视图、租户资源隔离、冷热分离等企业级特性，很好地解决了SaaS场景下的业务痛点，也平衡了成本。同时也基于通义+AnalyticDB研发了企业级智能客服、智能导购等行业解决方案，借助大模型和云计算为商家赋能。

—— 光云科技CTO 王祎

客户介绍

光云科技是中国首批电商SaaS服务商，是互联网SaaS模式的软件技术创新型企业。光云科技秉承“让企业经营更卓越”的使命，专注于为企业提供电商运营的全链路解决方案，致力于成为全球企业软件服务领域的领跑者。光云科技累计服务包括海澜集团、慕尚集团、地素集团、百丽集团、森马集团在内的数十家上市集团以及超过2000家大型国内知名电商及零售企业，服务范围涵盖服装、鞋靴、箱包、运动品类、配饰等泛时尚类目。

在Data+AI技术发展驱动下，电商软件服务正在发生变革，在线数据处理、实时分析和智能化决策成为新的业务趋势。

技术挑战

随着海量数据在线处理、实时分析、智能化成为客户刚性需求，现有的数据仓库技术面临五大挑战。

挑战一：复杂自定义配置

业务上开放了自定义配置能力，商家修改配置后想要立马看到配置之后的数据。数据仓库引擎需要具备丰富的函数支持、事务以及复杂逻辑处理能力，能够根据配置在线重算历史数据并且对客提供分析服务。

挑战二：实时计算能力

海量数据需要数仓具备处理复杂逻辑的能力，并支持长周期窗口实时分析和与历史同环比分析的能力。

挑战三：长周期数据应用

长周期数据分析对商家来说很有价值，数据仓库引擎需要支持冷/热数据分层来控制长周期数据存储成本，引擎自动实现归档和路由，同时在开发和使用上对业务是无感的。

挑战四：混合业务负载

在业务高峰期同时存在高吞吐写入、批处理、实时计算和在线查询混合业务负载的需求。

挑战五：高可用和高可靠

由于对外提供服务，因为需要保障业务的连续性。发生单节点宕机时需要保障集群性能不降级。

数仓升级之路

应对业务发展对技术的挑战，光云科技基于阿里云瑶池旗下的云原生数据仓库 AnalyticDB PostgreSQL 版实现了架构升级，打造新一代的在线数仓，同时构建AI原生的仓内智能能力，并且在AI创造场景上进行了探索。

动态资源弹升

数据产品对外提供付费服务，因为需要时刻保障业务连续性。开源MPP架构产品虽然能提供高可用能力，但在计算节点依赖的宿主机发生宕机情况下会影响整个集群的性能。为了保障集群性能不降级，AnalyticDB for PostgreSQL提供了动态资源弹升的能力。

流批一体实现商品分析

AnalyticDB for PostgreSQL提供增量实时物化视图，经过验证后符合生产的功能与性能要求：语法支持丰富，多表关联、嵌套子查询、窗口函数等复杂语法都可以支持。支持行级数据刷新和级联刷新，不需要业务上来实现数据任务的调度依赖。在Upsert下通过分布式直写计算节点能力可达到10W+ RPS的写入吞吐，目前在商品分析、利润分析、物流预警等场景上已实现落地。

混合负载与资源隔离

集群同时存在高吞吐写入、历史数据重算、实时计算和在线分析服务需求，因此需要支持混合业务的数仓负载。AnalyticDB for PostgreSQL基于CGroup、共享内存等实现资源组技术，支持对并发数、CPU资源、内存资源等进行管理；构建不同的资源组，根据业务在不同时间段的重要性动态地分配资源，比如在早上需要保障在线分析服务和实时计算的业务连续性，在数据刷新的资源可以调低一些。在凌晨则相反，批处理加工的资源最大，同时也保留一部分资源保障KA客户的分析服务。通过资源配置，在保证业务资源权重的基础上，充分利用其他租户业务的闲置资源。

冷热数据分层存储

AnalyticDB for PostgreSQL基于ESSD+OSS实现数据冷热分层，降低数据存储成本。基于TTL/HPN进行自动化冷热调度，无需手动干预；基于保留时间TTL或热分区数HPN进行自动冷热调度，无需定制业务逻辑。同时保障业务灵活性，支持分区级别冷热调度及字段值冷热调度，非时间字段分区表也可进行冷热分层。

实时数据集成

AnalyticDB for PostgreSQL提供Zero-ETL、Kafka订阅、写入能力扩展和实时数据集成能力。

Zero-ETL：提供Zero-ETL服务，将分散、零乱、标准不统一的数据整合到一起，实现数据平滑“无感”的流动，为企业的决策提供分析依据，并降低建仓资源成本。

Kafka订阅：提供Streaming Server服务，支持订阅Kafka数据直接入库，将数据直接并行写入Segment节点，实现高性能流式数据写入。

写入能力扩展：支持横向及纵向扩展Streaming Server资源及节点数量，实现更高吞吐写入。

实时数据集成：提供Flink Connector和ClientSDK等，支持Flink及应用直接对接Streaming Server。

AI赋能业务的探索实践

光云科技在数据仓库之上进行了AI场景化探索，主要是企业级智能客服解决方案的实践。

大模型服务拥有强大的意图理解和人性化表达能力，并基于AnalyticDB for PostgreSQL引入私域知识，通过RAG能力调优提升知识匹配精准性、提高问答准确率，为客户提供严谨的智能导购服务。光云科技支持将各类ERP、OMS等外部系统集成到快麦小智，并支持前端淘宝、天猫等各类电商平台的交互，提供客服机器人、人工客服、自动化订单任务等多样化服务。

总结与展望

光云科技和AnalyticDB for PostgreSQL一起打造了最适合电商行业的数据仓库及最佳实践，针对五大挑战提供了创新的技术解决方案，单一引擎同时满足离在线处理、实时数据分析和智能化场景，大大降低了开发和运维成本。同时，在业务上为商家提供灵活、敏捷、实时和智能的数据分析服务。通过这次的架构升级，光云科技完成了Data+AI升级和转型，对外能提供AI原生能力，让AI应用的开发和应用更普惠，通过循序渐进的探索和落地，未来在ERP上一定会实现全面智能化。

光云科技在核心交易场景同时使用了阿里云数据库PolarDB，搭配Serverless实现无感动态弹升，用于承载电商大促交易。阿里云瑶池数据库助力光云科技业务稳定运行。