暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

时序数据库革新,某运营商破解国产替代之路!看TimeLyre如何平滑接力InfluxDB,铸就自主可控新里程碑

783

点击蓝字关注我们



物联网(IoT)实时数据处理、金融数据分析、监控和警报系统、能源管理、医疗保健应用···


这些对“时间”敏感的应用场景拥有大量的时序数据,均可以通过分布式时序数据库进行快速处理,获得有价值的信息,做出更明智的决策,获得独特的竞争优势。


对于时序数据的处理,如果用传统的关系型数据库,则性能无法保证,成本也高得吓人。而采用新的NoSQL数据库——时序数据库,专门用于存储时间序列数据如日志 、传感器读数或交易数据等,能够高效地查询和分析时间相关数据,则可以事半功倍。


最近某运营商采用星环科技符合信创要求的分布式时序数据库TimeLyre,实现了对开源时序数据库InfluxDB的平滑迁移,不仅解决了时序数据量级持续增长情况下对时序数据库安全、性能等的高需求,而且降本增效,服务企业创新和业务增长。





1.需求:替代国外订阅式开源时序数据库,实现自主可控



某运营商的定位应用项目自2020年建立以来,均采用开源的时序数据库软件InfluxDB集群版本订阅服务,进行时间序列数据存放,以及监控数据汇总、数据的增、删、改查等。


随着数据量的增大、业务需求的增加,该应用所采用的开源时序数据库的性能已经无法满足发展的需求,并且所面临的网络安全风险日益增大。


该运营商明确采用国产自研时序数据库,支持非关系数据库时间序列数据存放与处理,支撑其业务服务。为此,提出了明确的需求:


第一,时序数据库软件必须为国产化自研数据库,第三方机构出具的自主代码率超过50%。


第二,明确了国产自主可控时序数据库的技术指标要求。项目要求既包括整体数据库时序集群高可用保障实现SLA为99.95%以上,支持集群在线水平扩展节点,支持异地容灾、数据增量、全量备份等要求。


在性能指标,要求系统对时序数据压缩后存储,压缩前后的比值可达20:1;支持百亿级数据聚合计算查询,2秒内返回结果等。


在使用上,要求兼容支持InfluxDB/OpenTSDB/Prometheus等业界时序数据库的写入协议等,支持通过InfluxQL/标准SQL语言进行数据查询等。


第三,提供时序数据库国产化迁移技术方案,保证现有时序数据库平滑迁移,保障业务正常运转。项目要求将InfluxDB数据存量快速迁移到目标数据库;迁移后,存量时序数据库InfluxDB数据完整且未破坏;可直接兼容InfluxDB数据库相关协议,无需修改应用代码即可基于新国产时序数据库集群运行;支持国产主流操作系统且为自主代码,为国产化软件等,结合高精度定位业务应用程序情况,实现无缝国产化数据库替换。


第四,在时序数据库国产化替代中,提供国产时序数据库高可用集群支撑服务,实现国产时序数据库服务技术性支撑,进行InfluxDB数据库平滑替换。服务实施主要实现全程国产化支撑、数据替换、无缝切换、不修改应用代码等要求。





2.方案:星环科技分布式时序数据库TimeLyre脱颖而出



针对该运营商的应用需求,在有多家企业参与的情况下,星环科技分布式时序数据库TimeLyre脱颖而出,成为了用户的最终选择,主要包括以下三点:


第一,满足该应用项目自主研发国产数据库的应用场景的技术要求


星环科技自研的高性能分布式时序数据库TimeLyre可以替代开源时序数据库InfluxDB,解决开源时序数据库不支持复杂分析、只能做简单点查或者指定设备分析,服务不稳定,以及缺乏安全可控性等问题。


星环科技TimeLyre存储压缩比高,在常见的时序数据上可达5~20倍压缩率以上,远优于传统数据库,单节点磁盘可用容量高,可大大节约成本。


同时,TimeLyre统一标准SQL,支持完整的标准SQL查询语言,支持主流的SQL模块化扩展,兼容通用开发框架和工具,支持事务特性,保证数据的准确性。同时支持复杂分析能力,支持关联、聚合、嵌套查询等复杂SQL分析模型。


另外,TimeLyre多模分析能力支持多模平台,打破数据孤岛,支持对不同存储模型数据表进行跨模分析,支持国产化软硬件平台,支持异构集群部署。


第二,时序数据库迁移解决方案保证迁移的平滑性。


星环科技的时序数据库迁移方案具有两大优势:首先,方案经过业务验证,可以做到从InfluxDB到Timelyre无缝迁移,用户不需要更改应用。


其次,为时序数据库迁移制定了应急预案。在双写阶段、存量数据迁移阶段、查询试用阶段等都制定了完善的应急预案保证在出现问题时,能快速处理,并不影响企业业务的正常运营,保证了用户数据库迁移的万无一失。


第三,一流的服务得到了用户认可。


在数据库迁移中,星环科技提供了准确、及时、规范的服务,实现了“四化”:


规范化,根据项目管理方法,在人员、质量和时间进度等方面进行严格把控;


标准化,严格遵守国家、行业以及中移(上海)信息通信科技有限公司、中移智行网络科技有限公司的相关法规、标准,并借鉴国际标准及最佳实践来实施提供项目服务;


可用性,保证服务可用性,及时处理实施过程中发生的各项问题;


互动性,在进行项目服务过程中,加强与用户之间的沟通,确保项目执行的效果。





3.核心:国产化替代背后的自研技术实力



TimeLyre通过提供与InfluxDB兼容的解决方案,使得国产时序数据库的替代之路更加平滑。其核心是:


高可用性:TimeLyre支持高可用性部署,确保在迁移过程中监控系统可以在线持续运行,从而保障了迁移过程的安全性和稳定性。


性能优化:为了达到InfluxDB的最优性能,TimeLyre可能会采用类似的配置策略,比如调整缓冲区大小以适应大规模设备的写入,并开启时间序列索引(TSI)等功能。


数据压缩优化技术:TimeLyre采用了行业领先的数据压缩技术,实现了5-20倍的压缩率,这不仅提高了资源利用率,还大幅降低了用户的硬件成本。


它支持多种压缩算法,如snappy、gzip、lzo、zstd等,并且还支持通过Delta编码存储连续样本之间的差异,以及根据数据类型和分布范围进行特定的编码,进一步提升了时序数据的压缩效果。


接口兼容度:TimeLyre对InfluxDB的API和查询语言(InfluxQL)具有良好的兼容性,可以实现在不修改业务代码的情况下,将运行在InfluxDB中的业务和数据平滑迁移至TimeLyre。


中间件与应用层软件兼容性:TimeLyre考虑到替换InfluxDB可能涉及到的中间件和应用层软件的兼容性问题,因此在设计上确保了与这些组件的兼容性,以便实现低成本、安全的迁移。


平滑迁移策略:TimeLyre采用两段式替代方案,先替换InfluxDB的数据库服务,后完成从InfluxQL到TimeLyre标准SQL的改造工作,这样可以确保原系统和服务的迁移是低成本且安全的。





4.效果:为运营商业务创新创造价值



在该项目中,星环科技为该运营商提供国产时序数据库高可用集群支撑服务,实现了国产时序数据库服务技术性支撑,进行从InfluxDB商业版数据库到国产自研分布式时序数据库TimeLyre平滑替换。


结合该运营商业务应用情况,项目实现了时序数据库无缝国产化数据库替换,用户时序数据库软件实现自主可控。随着国际形势变化,企业的核心业务系统唯有实现自主可控,才能最大限度上规避风险。


星环科技的自研分布式时序数据库TimeLyre,支持7 种国产操作系统、6大国产CPU,满足各类信创软硬件环境需求,支持同一集群混合架构部署,最大化利用硬件资源,实现了InfluxDB商业版数据库的平滑替换。


保证该运营商业务高可用,满足业务创新发展需求,提高效率。相比于原系统等竞品,星环科技TimeLyre时序数据库集群高可用保障实现SLA为99.95%以上,支持集群在线水平扩展节点,扩展过程中不影响业务运行。


在性能上,星环科技TimeLyre承载数十万每秒的写入,实现高效的时间序列数据写入性能;支持百亿级数据聚合计算查询,2秒内返回结果;相比于原系统等竞品,TimeLyre入库性能出众,节点数据入库速度是开源产品的5~10 倍;采用原生分布式架构,标签(TAG)数量、入库吞吐、计算能力具有水平可拓展性等。


在满足业务发展需求的基础上,降低了该运营商应用成本。用户原来的时序数据库产品为订阅制产品,星环科技则为永久许可的本地化分布式部署。在业务开发上,星环TimeLyre产品支持标准SQL,相较开源产品,支持多表关联查询、子查询等复杂SQL,在开发和运维上大大降低了使用者的学习成本。同时集群对时序数据压缩后的存储,压缩前后的比值可达20:1,帮助客户节省存储空间。


兼容原有系统,支持行业标准,方便用户应用开发。星环科技时序数据库TimeLyre产品与服务支持沿时间线的聚合查询,包括按等间隔划分窗口的查询、按某列枚举值划分窗口的查询、按照时序记录的连续性划分窗口,满足用户的应用需求。同时,提供完整的SQL支持,覆盖关联查询、聚合查询、子查询等多种复杂SQL分析功能,支持通过InfluxQL/标准SQL语言进行数据查询等,方便用户业务创新。


DB-Engines的数据显示,时序数据库已成为目前增长最快的数据库类型。面对日益增加的应用场景以及市场空间,国产自研的时序数据库开始替代国外的开源系统和商用系统,应用场景不断扩大,应用日益凸显,服务企业的业务创新,助力企业持续发展。


参考资料:


·https://www.dataversity.net/a-guide-to-time-series-databases/


·https://mp.weixin.qq.com/s/m22BCLypvbti2P5hiPsSrg


·https://mp.weixin.qq.com/s/qhyvWxVJsm_J3wKrMBgI0Q


·https://mp.weixin.qq.com/s/TpB-XbgNjqInFnIsuSO2Hw


·https://mp.weixin.qq.com/s/D_mHx2LEjr8UJSm8nUDcJg


·https://db-engines.com/en/ranking/time+series+dbms




相关文章


·创新引领应用案例与国产化替代系列开源Elasticsearch or Opensearch之争如火如荼,Scope国产替代成本亲民,政务应用效果显著解燃眉之急!


·创新引领应用案例与国产化替代系列革命性转变:MariaDB替代MySQL理想破灭,MySQL 5.7退役引发轰动,替代开源数据库还需看国产数据库崛起


·创新引领应用案例与国产化替代系列设备时序数据、消费者行为图数据、交易关系型数据···建设高效稳健大数据平台,某烟草企业实现多模式数据的深度价值变现


·创新引领应用案例与国产化替代系列许可变更、服务改变、安全威胁和成本增加、性能难以提升···一家航空公司用国产化替代一招解决开源大数据CDH所有烦恼!


·创新引领应用案例与国产化替代系列:打破数据架构边界,实现数据集中管理和分析!这家头部农商行湖仓一体做到了!






大数据应用


END







文章转载自Hadoop大数据应用,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论