从新创公司到国内时序数据库巨头,涛思数据是如何用短短几年时间实现“大跃进”并走向海外的?
一、一个专为物联网场景设计的大数据平台是如何诞生的?
近年来物联网、车联网、工业互联网兴起并迅速壮大起来,带来的海量时序数据处理需求让以往应用于互联网场景的通用大数据处理平台力不从心,逐渐显现出了开发效率低、运行效率低、运维成本高、应用推出慢、私有化部署太重等问题。
针对这种情况想要解决上述问题,就需要针对物联网的场景做细致的分析,涛思数据总结了物联网数据的12个特点:①数据是时序的,一定带有时间戳;②数据是结构化的;③数据极少有更新或删除操作;④数据源是唯一的;⑤相对互联网应用,写多读少;⑥用户关注的是一段时间的趋势,而不是某一特定时间点的值;⑦数据是有保留期限的;⑧数据的查询分析一定是基于时间段和地理区域的;⑨除存储查询外,还往往需要各种统计和实时计算操作;⑩流量平稳,可以预测;⑪往往需要有插值等一些特殊的计算;⑫数据量巨大,一天采集的数据就可以超过100亿条。这些特点与以往互联网场景下的数据处理需求大为不同,这也是传统通用大数据处理平台在此种应用场景受限的主要原因。
那么我们为什么不针对以上特征,开发一个针对物联网场景的大数据平台呢?基于对此种需求的洞察,涛思数据将目光瞄准了日益增长的物联网数据市场,针对上述时序数据的十二大特点,不依赖任何开源或第三方软件,开发了拥有自主知识产权、100% 自主可控的高性能、分布式、支持 SQL 的时序数据库 TDengine,并可广泛运用于物联网、车联网、工业互联网、IT 运维等领域。
二、上云、引入流式计算,打造极简时序数据处理平台
2022 年 8 月,TDengine 3.0 版本在首届 “TDengine 开发者大会”上正式发布,在线上、线下数千名开发者共同的见证下,TDengine 正式升级成为了一款真正的云原生时序数据库,破解了困扰时序数据库发展的高基数难题,支持 10 亿个设备采集数据、100 个节点,支持存储与计算分离。同时这一全新版本还针对存储引擎、计算引擎进行了升级优化,并打造了全新的流式计算引擎,无需再集成 Kafka、Redis、Spark、Flink 等软件,大幅降低了系统架构的复杂度。
TDengine 3.0 升级了大数据处理所需要的缓存、消息队列、流式计算等系列功能,进一步简化了企业数据架构的复杂度。要知道,在典型的物联网、车联网场景里,采集的数据量占有整个系统的数据量的99% 以上,使用TDengine,就能很好的解决整个平台的大数据问题,完全可抛弃掉Kafka、HDFS、HBase、Spark和Redis等一大堆软件,大幅简化数据平台的设计,降低研发成本及运维门槛。而且系统将更加健壮,数据的一致性更有保证。
最后值得一提的是,对于私有化部署的物联网、车联网平台,因为TDengine部署简单,增加一个节点几秒搞定,无历史数据、实时数据之分,数据备份恢复全部自动,相对于通用的大数据平台而言,将大幅节省现场实施和后续的维护成本。
三、把握开源风口,实现引领超越
涛思数据CEO陶建辉认为,开源是成为赢者的唯一机会,为了凝聚广大开发者的智慧,推动产品技术更上一层楼,在2019 年 7 月,涛思数据宣布将TDengine 在GitHub上开源。核心代码的开放为一家初创企业带来的究竟是更多机会,还是毫无反响就此销声匿迹?
对于种种猜测,涛思数据交出了一份令所有人震惊的答卷:TDengine上线仅3个月,star数量破万!到目前开源仅仅才发展了三年时间,star 数已经达到了 20.9k,且多次登顶 GitHub 全球趋势排行榜, TDengine 也已成长为时序数据库领域 star 数排名第三的新星项目,并在全部开源数据库产品中,位居第六。在 2022 年,中国开发者个人贡献 Top 20 中,就有四位是来自涛思数据的开发者。
凭借着开源开放的力量,在产品和服务质量的双重保障下,TDengine 的用户群体也在不断扩大,全球运行的 TDengine 实例数超过了 214.2k,平均每天新增数百个新部署,用户遍布全球 50 多个国家/地区,发展了包括京东云、货拉拉、中节能风电、和利时、陕西煤矿、蔚来能源、同程旅行、亿咖通、58同城、西门子、美的、中通在内的众多行业头部企业客户,并与中天钢铁、中泰证券、一汽解放、华锐技术等一众知名企业达成合作,利用在时序数据处理方面的技术优势,推动着工业互联网、钢铁、金融、汽车等行业的数字化发展。
TDengine 开源用户的全球分布
中国科学院计算技术研究所博士廖浩均作为涛思数据的联合创始人,在涛思主导 TDengine 查询计算引擎的研发,他将在4月8日的第十二届『数据技术嘉年华』专题论坛『开源自研:分布式数据库』上为我们带来题为《将流式计算引入时序数据库,TDengine 3.0 的分布式架构实践》的主题演讲,主要介绍 TDengine 3.0 中引入的以事件时间为基准的实时流式计算功能的实现和其全新的分布式架构。使用海报上方专属优惠码即可在嘉年华官网购票时0元购取普通门票一张,数量有限,先到先得!




