
小米早在 2019 年便引入 Apache Doris 作为 OLAP 分析型数据库之一,经过五年的技术沉淀,已形成以 Doris 为核心的分析体系,并基于 2.1 版本异步物化视图、3.0 版本湖仓一体与存算分离等核心能力优化数据架构。本文将详细介绍小米数据中台基于 Apache Doris 3.0 的查询链路优化、性能提升、资源管理、自动化运维、可观测等一系列应用实践。
小米集团成立于 2010 年,是一家以智能手机、智能硬件和 IoT 平台为核心的全球领先科技企业,业务遍及全球 100 多个国家和地区。小米构建了全球最大的消费类 IoT 物联网平台,同时持续推进“手机×AIoT”战略。旗下产品涵盖智能手机、电视、笔记本、可穿戴设备及生态链智能产品,并投资孵化众多智能科技企业。

一、数据中台 OLAP 发展与挑战
01 架构演变历程


数据冗余:同一份数据在多个系统中存储,增加成本; 口径不一致:不同系统处理逻辑差异导致结果偏差; 排查困难:当 BI 看板数据出现差异时,需跨多个系统定位问题; 开发负担重:业务方需自行维护 ETL 链路和多套查询接口。

主从复制(CCR):依赖较新版本支持,缺乏生产验证,主备切换复杂,客户端需双连,恢复时间长;

跨可用区副本分布:通过 Resource Group 将副本分散至不同机房,虽可避免单点故障,但跨机房读写带来性能损耗。





统一认证鉴权:在连接层,将不同引擎的权限和认证体系统一提升到网关层,用户通过网关统一查询,无需担心引擎权限问题。 SQL 改写:利用 Doris 的 SQL 改写能力,将其提升到网关层,帮助用户在不同引擎间平滑切换,避免因 SQL 语句不兼容导致出错。 连接协议优化:采用 Arrow Flight SQL 传输协议和 ADBC 连接方式,传输效率较 JDBC 高 10 倍以上,真实业务场景查询耗时减少 36%,Kyuubi 实例内存用量减少 50%,代理层服务的管理效率显著提升。


CREATE MATERIALIZED VIEW mv
BUILD DEFERRED
REFRESH INCREMENTAL
ON COMMIT
PARTITION BY (date)
DISTRIBUTED BY RANDOM BUCKETS 4
PROPERTIES ('replication_num' = '3')
AS
SELECT
date,
k1+1 AS k2,
SUM (a1) AS a2
FROM
paimon.data.table
WHERE date >= 20250222
GROUP BY 1, 2;



完成 Doris 版本收敛工作:将核心功能并线至 2.1 和 3.0 版本,并统一工具链版本依赖以减少环境差异,最终实现开发迭代效率的显著提升,为后续功能迭代奠定高效基础。 围绕湖仓一体能力进行深度优化:重点提升湖仓支持的完整性与稳定性,推动 Doris 存算分离架构的大规模落地,同时完善增量计算能力的覆盖范围,以满足复杂场景下的实时数据处理需求。 拓展新场景与 AI 融合方向:孵化日志、Tracing 等数据存储能力,通过 AI for Doris 提升运维管理效率,并探索 Doris for AI 的反向赋能能力,构建数据平台与智能技术的双向协同生态。

更多标杆企业信赖
智慧金融与政企:东北证券|国金证券|国信证券|杭银消金|河北幸福消费金融|汇添富基金|金融壹账通|陆金所控股|霖梓控股|拉卡拉|平安人寿 | Planet|奇富科技|上海证券 | 同程数科|通联支付|无锡锡商银行|星云零售信贷|星火保 | 宇信科技|银联商务|易生支付|招商信诺人寿|招联金融|中信银行信用卡中心|360 数科|360 企业安全浏览器
互联网与文娱:菜鸟|抖音集团|斗鱼|叮咚买菜|浩瀚深度|京东|工商信息查询平台|货拉拉|快手|荔枝微课|票务平台|墨迹天气|MiniMax|奇安信|趣丸科技|顺丰科技|腾讯音乐|天眼查|网易|网易游戏|网易严选|网易云信|网易云音乐|小米|小鹅通|迅雷|约苗|字节跳动|知乎|360 商业化
企业服务与新经济:宝尊科技| 波司登|Cisco|橙联|度言|观测云|慧策|快成物流|领健|领创|灵犀科技|名创优品|Moka BI|美联物业|钱大妈|拈花云科|森马 |思必驰|顺丰科技|上海家化 | 物易云通|云积互动|有赞|雨润集团|纵腾集团|中通快递
先进智造与电信:爱玛|长安汽车|极越汽车|金风科技|科大讯飞|岚图汽车|Lifewit|哪吒科技|四川航空|上海通用五菱|三星电子|蜀海供应链|特步|天翼云|雅迪|中国联通
作为基于 Apache Doris 的商业化公司,飞轮科技秉承着 “开源技术创新”和“实时数仓服务”双轮驱动的战略,在投入资源大力参与 Apache Doris 社区研发和推广的同时,基于 Apache Doris 内核打造了聚焦于企业大数据实时分析需求的企业级产品 SelectDB ,面向新一代需求打造世界领先的实时分析能力。自 2022 年成立以来,获得 IDG 资本、红杉中国、襄禾资本等顶级 VC 的近 10 亿元融资,创下了近年来开源基础软件领域的新纪录。




