TSDB在高速公路大数据平台的应用

好久没有跟大家聊TSDB的应用场景了，Jesse也在国庆期间进行了补课，今天就跟大家聊聊TSDB在高速公路大数据平台的应用。本文借鉴了郝建明、袁逸涛发表在《上海船舶运输科学研究生学报》的《基于时序数据库的高速公路数据集成平台》一文，感谢二位对行业的贡献。

本文仅代表个人观点，如有偏颇之处，还请海涵～

🤠🤠🤠

TSDB在高速公路大数据平台的应用

世界上第一条高速公路投入使用是在1932年的德国，其连接了德国的工业重镇科隆以及彼时的政治中心波恩。中国的高速公路还要追溯到1988年，短短20公里的沪嘉高速一期正式通车，其中真正达到高速公路标准的仅有16公里。时过境迁，如今的中国高速已经发生了翻天覆地的变化，其公路里程已经超过美国，也让中国成为世界高速公路里程数量最大的国家。

伴随着物联网技术的发展和车流量的增长，带来了来自摄像头、传感器、门架系统等多方所产生的数据呈指数级增长，特别是交通运输部近年来主导实施了如“取消高速公路省界收费站”和“高速公路视频云联网”等重大项目，极大地提升了高速公路上ETC门架、智能摄像机等感知设备的建设规模。而这些传感器设备所产生的海量数据都带有时序特征，利用好这些数据可以为智慧高速运营管理提供更可靠的数据分析服务。

传统DBMS面临挑战

根据行业调研我们发现，仅以高速公路的ETC门架来说，其单日单一设备的时序数据采集量峰值可以达到上万条；与此同时，从高速公路整体的数据容量而言，单个省份每年高速公路的时序数据存储容量需求会达到PB级别。在这种数据规模下，以MySQL和Oracle为代表的传统关系型数据库由于受到存储结构限制，在数据库设计层面无法完成对海量时序数据的快速连续存储。此外，传统关系型数据库的B - Tree结构在处理时序数据的检索查询问题时，速度较慢，致使数据的实时分析和展示效果都很差。而这正是TSDB的擅长之处，其基于时序数据的结构特点，在数据写入性能、数据查询性能和数据存储压缩率等方面做了针对性优化，相比关系型数据库在性能上有了极大的提升。

高速公路产生的时序数据

高速公路上装有的大量物联网感知设备，是新基建的重要组成部分。这些设备采集的数据大部分带有时序特征，怎样对这些时序数据存储、治理、分析、展示和挖掘，已成为高速公路大数据平台需解决的核心问题。具体而言，高速公路所产生的时序数据如表1所示。

表1：高速公路产生时序数据情况

高速公路的时序数据需求

通过研究，我们发现对高速公路时序数据的应用需求主要有：

（1）数据高并发写入：高速公路IoT设备采集的时序数据每日入库数据量超亿级。

（2）数据的高效分析：运营公司对高速公路路况进行实时监测。因此，数据分析的实时性要求高（秒级），公司需要根据采集到的时序数据快速、可靠地分析出路网的运行态势。并且，目前数据的复杂性和分析频次都还在呈指数级增长。

（3）数据的安全性：高速公路的部分数据，比如，车辆精细化收费金额等，属于较为敏感性的数据。

高速公路大数据平台设计

高速公路大数据平台整合高速公路运营体系内的数据，对高速公路数据进行采集、加工、存储、治理、分析和共享，从而实现高速公路数据的应用和分析，其可以分为五层架构，如下图1所示。

图1：高速公路大数据平台架构

首先，最底层是数据采集层，其主要汇集了来自外场设备的数据 — 时序数据的主要来源，以及第三方系统的业务数据。聚焦我们关注的时序数据，外场设备会通过各种协议再经数据传输接入平台中，这些协议比如有MQ、MQTT、HTTP、TCP等。其次来到硬件层，其通过物理服务器集群搭建私有云平台，建立虚拟资源池，实现对服务器资源的统一规划调度。基础环境下的私有云平台又可以划分为计算资源池、存储资源池和网络资源池。网络环境下的5G物联网也可以分为传统的收费专网、监控专网和互联网。第三层来到数据层，在数据层传统关系型数据库和时序数据库依据各自优势，协同发挥作用。所有数据经过Kafka消息队列处理之后进入Redis缓存池，最终存储到数据库中。所有设备产生的时序数据都由Kafka消息对接进行消费，随后进行噪点清洗，将有用的数据及时更新到关系型数据库和时序数据库中。第三方系统数据主要通过中间库的库表交换方式与HTTP接口交互。第四层是应用支撑层。基础支撑平台是支撑平台应用的引擎底座，通过对存储的数据进行分析处理，为上层应用提供支撑，主要包括数据接口认证、BI分析工具、GIS地图、Zookeeper监测工具、智慧高速算法引擎和视频智能分析算法等基础支撑服务。最上层就是应用层。在对数据进行处理分析之后，为平台用户提供实时路况分析、拥堵治理、交通流量监测和匝道智能控流等多个应用场景。

通过时序数据库构建的高速公路大数据平台，为路网运行提供了态势感知、路网流量分析监测、路网流量预测研判和高速公路出入口智能管控等多种服务。也解决了传统关系型数据库无法满足高速公路信息化领域的海量时序数据存储和高效查询需求的难题。

站在更高的视角维度来看，当前正是我国信息化发展的关键时期，大量企业仍在用传统关系型数据库来存储时序数据，我们相信随着数据量的爆发，从关系型数据库切换到时序数据库的比例将越来越多。今天就到这里，各位小伙伴，我们下期再见。

参与CnosDB社区交流群：

扫描下方二维码，加入CC进入CnosDB社区进入社区交流，CC也会在群内分享直播链接哒