华米科技 x StarRocks：让智能穿戴数据焕发新活力

StarRocks 2022-03-23

511

华米科技是一家基于云的健康服务提供商，拥有全球领先的智能可穿戴技术。在华米科技，每天都会有海量埋点增量数据，主要来源于固件和 App 数据，以往基于 HBase 建设的埋点计算分析项目往往效率相对低，查询方式不够灵活。

在埋点分析中，用户往往是基于单维度或者多维度组合去查看某个指标，这里的维度可以是时间、事件名称、城市或者设备属性等，指标可以是用户量，某个埋点的次数等。在此海量埋点数据背景下，如何比较灵活、高效地完成维度 + 指标的计算，满足用户快速查询分析的需求，是一个值得探索的问题。基于高效的 OLAP 引擎建设埋点分析平台就成为了业务发展中的重要一环。

原有方案及其痛点

在之前的架构中，华米科技的埋点数据统计相关信息，需要根据统计的指标，优先将需要计算的指标（例如 PV、UV）通过 Spark/Hive 进行预计算操作，然后写入到 HBase 中，对下游相关用户提供点查的能力。

对于该方案，以下三点是较为不便的：

在 HBase 中，数据以 KV 形式存储，只能提供点查能力，不具备复杂的统计分析能力；
无法使用 Bitmap 相关技术，需要将需要的指标事先计算出来，方式不够灵活，不能做集合操作；
流程链路较长，维护复杂度高，不具备模型抽象能力，业务升级有所不便。

引入 StarRocks

针对数据存储层的问题与挑战，我们着力于寻找一款高性能，简单易维护的数据库产品来替换已有的 Spark + HBase 架构，同时也希望在业务层上能突破 Hbase 点查的限制，通过实时多表关联的方式拓展业务层的需求。

目前市面上的 OLAP 数据库产品百花齐放，诸如 Impala、Druid、ClickHouse 及 StarRocks。在经过一系列的对比之后，StarRocks 高效的读写性能在众多产品中脱颖而出。同时，高度活跃的社区生态给开发者与用户带来了良好的开发与使用体验，所以我们选择了 StarRocks 来作为华米的 OLAP 引擎，替换原有的 HBase 成为存储层的新选择。

从上面的对比可以看出，StarRocks 是一款极速全场景 MPP 企业级数据库产品，具备水平在线扩缩容、金融级高可用，兼容 MySQL 协议和 MySQL 生态，提供全面向量化引擎与多种数据源联邦查询等重要特性，在全场景 OLAP 业务上提供统一的解决方案，适用于对性能，实时性，并发能力和灵活性有较高要求的各类应用场景。

方案改造

华米埋点数据分析平台架构设计

当前产线埋点数据主要来源于 App 以及固件上传的埋点数据，数据经由网关转入 Kafka，采用 Hudi on Flink 的模式进行数据清洗、过滤、转换，基于流式数据湖构建 OLAP 的预处理层。根据数据特性和写入的性能要求，分别基于 Hudi 的 Upsert 和 Append 模式构建 DWD 层（借助 Hudi 的去重、追加能力），定时离线处理数据转入 DWS，考虑数仓的整体架构以及成本优化，将 DWS 数据定时离线导入到 StarRocks 中。最后经由 ZDS（Zepp Data Studio，华米大数据统一查询平台）查询 StarRocks 数据。

华米埋点数据流程

详细流程如下：

1. 对原始数据进行 IP 转换、数据清洗转换、维度匹配、唯一主键生成等处理，然后根据数据特性，分别以 Upsert 模式和 Append 模式接入 Hudi（对数据重复不敏感的业务数据直接以 Append 模式高效写入 Hudi）；

2. 将产出的数据经由 Broker Load 写入带有 Bitmap 字段的聚合模型，生成业务 Bitmap 数据；

3. 根据业务需求，自定义对 Bitmap 进行集合操作（当前的应用场景为生成 PV、UV 等数据）；

4. 用户根据大数据统一查询平台进行自助业务指标查询。

性能指标

通过 StarRocks 的监控平台，我们可以看到，查询的平均耗时在 100ms 左右，p99 延迟大概在 250ms 左右，能够很好满足我们埋点数据分析平台业务上的需求。

改造收益

高效：能够快速响应用户的查询分析需求，很多大查询效率从分钟级别降低到秒级。

灵活：满足多维度、多时间段自由组合的指标统计分析，不需要提前计算冗余统计指标。

节约空间：StarRocks自身的高效存储结构，同等业务量的数据存储成本较以往下降 20%。

简单：相较于 ClickHouse，维护管理所需的人力成本有所降低。

便捷：用户自助查询便捷，取数体验有所提升，部分指标点查速度从之前的分钟级降低到秒级，部分指标可以达到毫秒级。

社区贡献

开放活跃的社区环境也是我们产品选型的一个重要的指标，作为用户，开放的社区可以更快捷高效的帮助我们了解产品的特性，处理产品使用中的问题。同时，作为一个大数据技术从业者，我们也愿意参与到开源社区的共建之中，希望通过我们的努力回馈开源社区，共同进步。华米计算框架部在使用过程中对 StarRocks 做出以下改进，并合入社区主分支：

修复发现的 StarRocks 建立物化视图过程中的 Bug
支持更多 StarRocks 数据导入的对象存储类型
丰富特定数据导入场景下的参数配置

总结与展望

整个华米科技大数据 OLAP 平台建设过程中，就业务落地、问题追踪解决等方面，我们与 StarRocks 社区保持着高度密切的沟通，社区的专家们积极回应社区成员提出的 Issue，并及时反馈行之有效的建议。

正是在这种 Open & Collaborate 社区精神的影响下，不仅使 StarRocks 用户的棘手问题得以高效解决，还使得社区参与者自身在技术层面获得较大的提升，再次向 StarRocks 社区表示感谢。

StarRocks 是一款优秀的 OLAP 产品，华米愿意使用并陪伴它一同成长，在未来也会继续投身于 StarRocks 社区的共建之中。目前我们做了两点规划：

当前生成 Bitmap 需要将明细数据增量导入到聚合模型中，尚不能直接导入 Bitmap 字段的 Parquet 文件，在异构存储的场景下方式不够高效。华米计算框架部也正与 StarRocks 社区协同，关注及解决该问题，详见：https://github.com/StarRocks/starrocks/issues/3279
华米将进一步建立海外 OLAP 平台，推动 StarRocks 落地并服务于全球业务。

作者

徐昱 | 华米科技大数据高级工程师

StarRocks Contributor，Apache Hudi/Flink Contributor，任职于大数据及云平台计算框架部，主导/参与华米科技湖仓一体化改造、OLAP 平台建设以及大数据基础设施性能优化等相关工作。

冯璐 | 华米科技大数据开发工程师

任职于大数据及云平台计算框架部，主导/参与华米科技集成平台、元数据管理、数据门户 ZDS、OLAP 平台建设以及大数据基础设施性能优化等相关工作。

巨东东 | 华米科技大数据开发工程师

任职于大数据及云平台数据中台部，主要从事大数据开发、数仓体系建设和模型设计、数据规范、数据应用及服务等相关工作。

推荐案例

阿里云京东到家小米

DMALL 海尔云链信也科技

携程汽车之家滴滴

如希望了解更多详情请关注我们！