《数字中国发展报告(2021)》和《“十四五”数字经济发展规划》等政策对数字技术自主创新、加强数字基础设施建设等信创和信息安全的指导意见,强有力地支撑和推动了作为信创产业核心品类——数据库的新一轮国产替代和发展浪潮。而随着大数据时代逐步走向成熟阶段、多模数据存储一体化逐渐成为大趋势,不同类型数据的存储、处理与分析技术也在逐步细分化发展以实现广度上的统一融合与深度上的持续挖掘,使得专业的应用场景能够持续以点精准突破从而带动面的发展。
随着物联网、车联网和工业互联网等的迅速发展,各类应用产生的时序数据量呈爆炸式增长,并具有海量性、关联性、时效性、实时性等特征。尤其是在工业互联网领域,工业和信息化部近2年印发了一系列发展规划,例如在《工业互联网创新发展行动计划(2021—2023年)》中提出,到2023年,我国工业互联网新型基础设施建设量质并进,新模式、新业态大范围推广,产业综合实力显著提升;新型基础设施进一步完善、融合应用成效进一步彰显、技术创新能力进一步提升、产业发展生态进一步健全、安全保障能力进一步增强。
据中国信通院统计分析,截止2022年6月,全球时序数据库有51个,在非关系数据库中占比 18.2%。根据DB-Engines官网数据库流行度曲线显示,在过去2年里,时序数据库流行度高居榜首,可见市场对时序数据库的关注和相应需求的迫切。在墨天轮数据库流行度排名中,截止2022年6月底,中国有36个时序数据库产品参与排名。由此可见,时序数据库正处于高速发展阶段,时序数据技术逐步走向成熟,竞争激烈。
图1:DB-Engines近两年各模型数据库流行度趋势图
时序数据库作为非关系型数据库中的细分类型,且基于国家政策与行业发展在物联网和金融数字创新领域的持续推动与强劲需求,当前已逐步成为重点发展和首要突破的对象之一。尤其在金融行业,大量时序数据每分每秒都在呈指数级增长,且随着更多金融市场参与者逐步推进数字化进程,更多种类的时序数据也在不断地增加,因而对高并发的数据写入、多维度的海量数据存储以及多类型的高效数据处理、分析与计算要求日渐提高。
时序数据库有几点重要的技术发展方向,如具有分布式架构,能够灵活扩展,以满足海量时序数据库的存储和计算要求;超高的数据压缩能力,大幅降低企业硬件存储成本;更强的数据导入、存储和计算性能,并且基于分布式特性能够线性扩展,以满足更大数据量、更高的分析要求;此外,为了更高效的满足多种应用场景,需要能够支持丰富的API接口,如支持C++与Java语言开发接口,RESTful API等,并且能够支持包括OPC-UA/DA,MQTT等多种标准化通信协议,从而更好地支持多样化端传感器的数据采集工作,像在金融量化领域,还需支持Python API,并提供了对分布式文件系统格式数据的读取与入库支持,极大降低了从数据层到应用层的数据流转技术门槛,使更多的金融领域数据工作者能够快速上手。
国外比较典型的厂商有InfluxDB,Kdb+等,国内代表的厂商有如云厂商腾讯云CTSDB,涛思数据TDengines、智臾科技DolphinDB等。其中,涛思数据和智臾科技是专门做时序数据库的厂商,也有如阿里云Lindorm、星环科技ArgoDB这种多模数据库来支持时序数据的存储计算,此外,星环科技也推出了单独的分布式时序数据库产品Timelyre,基于星环夯实的大数据技术底座,针对金融行业对海量、高频的时序数据存储、处理和分析以及大量衍生因子的计算、策略回测的需求,通过严谨的技术框架搭建与灵活、高可用的语言体系支持,支持高吞吐实时写入、时序精确查询、多维检索等多功能时序数据库产品,可以有效支撑金融量化场景中海量因子计算、复杂策略回测的场景。




