多模数据库Lindorm再升级：对接Dataphin，打通数据治理“最后一公里”

阿里云瑶池数据库 2024-06-20

161

随着车联网、IoT和AI应用的普及，多模数据处理需求日益增长，企业面临的挑战不仅仅在于数据的收集和存储，更在于如何高效进行数据的计算和治理，从而实现数据价值最大化。

以车联网数据为例，这一场景在数据链路和数据处理上的需求都十分复杂：

首先，数据类型多样，包含车机状态、地理位置信息、运行日志等多种具备明显时序特点的数据，在业务视角上又需要建模成超级大宽表。
其次，在数据处理链路上，既有实时链路，也有离线链路，需要同时覆盖业务的在线查询、多维检索、实时分析以及离线分析等多种数据处理要求。
此外，随着汽车智能化的快速迭代，业务中会持续新增或变更字段，整个数据平台还需要频繁应对全链路的字段变更需求。

传统的方案从互联网技术栈演进而来，往往涉及多个产品（时序数据库、时空数据库、HBase、Hive、Spark等）的组合，缺少针对车联网数据特点的理解和优化，不但架构复杂，价格高昂，而且会导致开发和运维的效率低下。

图：传统车联网数据架构链路长、冗余多

阿里云云原生多模数据库Lindorm可通过一个产品将架构收敛，支持宽表、时序、时空、JSON、BLOB、向量等数据类型的存储、查询、分析和推理，并且支持通过统一的SQL进行不同数据类型的处理。目前，Lindorm还通过与Dataphin的深度整合，进一步解决了数据集成和数据治理的问题，为企业提供更加高效和更具性价比的方案。

Lindorm车联网数据处理的核心优势

Lindorm提供海量时序数据低成本存储、在线查询和检索、离线分析、AI推理的一站式数据服务，是互联网、IoT、金融交易、监控等场景的首选。车联网数据本质是以时序数据为主的多模型数据，因此Lindorm更是完美适配车企的智能化、数字化需求，成为了车联网数据中台的理想选择：

▶︎ 高并发在线车机数据服务。Lindorm的宽表引擎支持万列大宽表模型和千万级QPS的在线点查，通过Lindorm的搜索引擎扩展车机数据的在线多指标条件查询、聚合等能力。

▶︎ 全量车机时序数据低成本存储。Lindorm以Iceberg湖表格式存储海量车机数据，基于列存适合压缩的特点，通过自研高压缩算法提供Parquet的2倍压缩比，结合冷热分离的异构存储能力，存储成本降低50%以上。

▶︎ Serverless弹性计算。Lindorm使用Serverless计算引擎按需申请计算资源完成ETL任务，无资源空置；同时，计算引擎中内置查询加速组件，数据无需转移到新的数据仓库，即可原地交互式分析。一份数据对接业务需要的离线分析、BI报表、自助分析等场景。

▶︎ 车辆轨迹处理。Lindorm提供原生的GIS数据类型，可以实现对轨迹数据的实时查询和地理围栏分析，还可以由Lindorm计算引擎配合进行时空聚合分析。

图：Lindorm一站式车联网数据架构

相对于传统多个组件搭配组合方案，Lindorm不仅一体化覆盖了多模数据处理需求，而且能够通过高压缩、弹性计算来降低综合成本，保证高性能来提升业务效率，充分满足企业数据建设与治理的需求。

Lindorm再升级

携手Dataphin共筑数据治理解决方案

现如今，Lindorm已成为70%的头部车企和国内80%的造车新势力企业的选择。通过与Dataphin对接，不仅进一步为用户带来了成本节约与开发简化，更是解决了数据集成与治理的“最后一公里”问题。

图：“Lindorm+Dataphin”开启高性价比数据治理

Dataphin是阿里巴巴十余年内部治理实践及方法论的产品化输出，针对各行业大数据建设、治理及应用诉求，提供全域数据集成、可视建模及规范定义、数据资产治理及运营等能力，帮助企业一站式构建标准统一、质量可靠、安全稳定、消费便捷的数据体系。

通过Lindorm与Dataphin的接力，企业能够轻松实现数据中台构建，享受标准化和可交互的数据管理和数据资产治理过程，包括多源数据写入、分层建模、ETL任务调度、用户数据资产体系建立、以及业务场景数据标签开发等。企业的多源数据汇总成统一数据，仅需根据业务逻辑进行白屏化的数据建设、任务管理和指标观测，从而更加高效地挖掘车联网数据潜力。