TDengine 3.0 自 2022 年 8 月于 TDengine 开发者大会正式亮相后,至今已经历多次更新迭代,不久前发布的《3.2.1.0 发布!时间转换函数+BI 集成+视图正式上线!》为大家介绍了最新版本 3.2.1.0 的优化详情。可以说,经过产品研发人员和社区用户的不断努力,3.0 的稳定性和易用性也在不断提升。在 3.0 版本中,我们对产品底层进行了全面的变化和调整,除了架构的科学性和高效性外,还将用户体验作为重点优化方向之一。
为了让大家更深入地了解到 TDengine 3.0 在实际企业环境中的应用和效果,本篇文章汇总了四个真实的企业部署实践案例,给到有需要的用户参考。
“在地震监控领域的可视化中,最重要的就是展示信息的完整性、实时性、可交互性,灵活性。TDengine 高效的查询能力以及简单易用的 SQL 语句可以很方便的完成上述工作。通过网页展示工具调用 TDengine 的 SQL,我们完成了展示地震事件的主看板:看板中的地图可以展示台站的每秒峰值记录,点击近期地震事件便可以进行一段时间(例如该地震发生时刻前 1min 和后 2min)内的地震数据回放。”

“我们当前使用的是 3.0.2.5 版本,但是由于业务本身不允许停机,所以没办法做离线升级,后续会由 TDengine 企业版团队协助我们在线升级至最新版本。TDengine 3.0 的安装部署上保留了和 2.0 一样的简单易用模式,升级操作只需要备份数据文件目录,覆盖安装即可,而且写入速度极高,接近硬盘的连续写入性能。”

目前该项目共有 102 万张子表,已经累积的总数据量已经达到了 2000 亿行,3 副本,磁盘占用 3.1TB。在迁移到 TDengine 3.0 之后,各方面的表现依然非常不错:业务的写入峰值达到了 1.2-1.3w 行/s ,数据迁移的过程中可以达到 20w 行/s,这些情况下 TDengine 都可以轻松处理;存储大约只有 MySQL 的 1/7;读取数据性能也很突出,其最常用的单设备单日查询,可以在 0.1s 内返回结果。
“由于‘超级表’的存在,数据建模变得非常清晰,几乎所有查询都可以以‘超级表’为核心用简单的 SQL 完成。此外,基于‘自动建表’这个特色功能,我们可以无需校验就能够直接建表,这让我们得以非常轻松地完成各只基金数据的拆分建表以及写入工作。”
对于搜狐基金来说,其所购买的数据源的基金数据都是混在一起的,包含来自国内的 2 万只基金,跨越几十年(从九几年至今)的数千万行较宽的数据。此前他们通过 MySQL 来存储这些数据,首先要把每个基金的数据分表,有一定程度的工作量,只能先全量保存这些数据在一张表中,但这种大表会导致查询的性能非常低下,为了应对这一问题,只能通过离线查询生成每天的基金数据图片返回给用户,无法对外提供自定义查询服务。在此背景下,搜狐基金决定基于 TDengine 3.0 尝试一下全新的方案。

“当前 TDengine 3.0 已成功应用于我司多个工业项目中,涵盖数万台各类工业设备的数据存储与查询。作为数据中台,TDengine 为上层应用提供了高效的历史数据查询,精确到秒级和分钟级粒度,帮助我们大幅提升了应用效率,同时减少了硬件和人力资源的消耗。”

写入存储方面,同样是列式存储,以半年的数据作为比较,三副本的 HBase 的总数据量占用是 10TB,TDengine 三副本的磁盘占用只有 2TB,存储成本仅为 HBase 的 20 %。(由于和其他应用共用,内存、CPU 方面不好估算,但成本均大幅降低)
在查询上,智光研究院的业务主要就是针对 rundata_t1m(分钟级数据)、rundata(原始数据)这两张千亿级别的大型超级表的筛选、过滤、降采样。应用的查询性能和 SQL 筛选的时间范围相关较大,整体上的耗时大概在毫秒级至 2 秒内。
通过上述案例我们能看到,在经过不断打磨优化后,如今的 TDengine 3.0 已经在性能、功能、稳定性各个方面均有大幅提升,从一款时序数据库(Time Series Database,TSDB)蜕变成为高性能、云原生、分布式的物联网、工业大数据平台。为此,我们也强烈建议老用户尽快向 TDengine 3.0 版本进行迁移,以便体验到 TDengine 更加强大的产品力。
为了帮助大家最短时间内在本地完成自助式版本迁移,除了官方文档以外,我们还准备了大量技术文章,全部汇总在《万字解读|怎样激活 TDengine 最高性价比?》中,以供有需要的用户参考。如果你在迁移工作中遇到任何问题,欢迎添加小T vx:tdengine 寻求帮助。

往期推荐

👇 点击阅读原文,快速体验 TDengine 3.0!




