TDengine 首席架构师肖波：探索新型电力系统的五大关键场景与挑战

TDengine 2024-08-22

284

在 7 月 26 日的 TDengine 用户大会上，涛思数据（TDengine）首席架构师肖波进行了题为《TDengine 助力新型电力系统高质量发展》的主题演讲。他不仅分享了 TDengine 在新型电力系统中的应用案例，还深入探讨了如何利用 TDengine 的高性能数据处理能力，推动电力行业的数字化转型与智能化升级。本文根据演讲内容整理而成。

什么是新型电力系统？

在今天的讨论中，我想先分享一些个人的理解，特别是关于新型电力系统的相关内容。回顾几十年前，国内的电力系统仍然处于计划经济时代，主要是以销定产和强计划性为特征。当时，国家电网和南方电网的资源调配能力使其能够决定电力供应的数量。在这样的背景下，火电在 20 年前的发电量中占据了 70% 以上。随着国家经济的发展和新型电力系统的提出，我们迎来了国家双碳政策的实施。

在这一政策的要求下，大规模可再生能源的介入成为了重要的背景。以数据为依据，2017 年我国的电力装机容量大约为 17.7 亿千瓦，而到 2023 年这一数字已增至 29.2 亿千瓦，预计到 2060 年实现碳中和时，装机容量可能达到 71 亿千瓦。这一增长速度是显著的。具体来看，2017 年火电占比为 62%，而到 2023 年已降至 38%。根据预测，2030 年碳达峰时，火电占比将降至 30%。与此同时，风电和光伏的比例从六年前的 16% 增长至去年的 36%。

在这样的发展趋势下，我们来探讨下新型电力系统的特点。首先，高比例的可再生能源介入是其重要特征。截至去年，风电和光伏的装机容量已达到 10.5 亿千瓦，加上水电，整体可再生能源的比例已超过 15 亿千瓦。未来，这一绝对数量和相对比例都将快速攀升，导致可再生能源在电力结构中的比重加大。

我们看到，风电、光伏与储能的集成已成为趋势，针对大规模的风电和光伏项目，其测点数量也显著增加。例如，一个核电岛通常有约 20 万个测点，而集中式风电和光伏项目的测量点可能从数百万到数千万，这对生产安全和运营管理提出了更高的要求。

其次，智能电网的建设也在加速推进。微电网、虚拟电厂和电力市场机制的引入，进一步提高了对电网的要求。例如，20 年前我国的电网尚未实现分布式光伏接入，而如今，分布式光伏已在全国范围内接入了数百万户，带来了新的监测、预警和控制挑战。过去，电力调度不需要关注这些问题，但现在情况已大为不同。

此外，电力市场机制的引入也是新型电力系统的重要组成部分。目前，以国家电网为例，其营销任务中仅承担 20%，剩余 80% 则依靠其他市场经营主体的竞争。此外，充电桩的建设、新能源的使用以及负荷侧管理和需求响应等概念，都是近十年才逐渐形成的，构成了新型电力系统的独特特点。

在这样的一个发展趋势下，TDengine 在全球的用户数量也在急剧增长。截至目前，TDengine 在全球已运行超过 57 万个实例，每天新增 500 多个实例。如下图所示，尽管我们在台湾省和欧洲等地尚未设立办事处，但依然有大量用户在使用我们的产品。

我们的主要电力行业客户包括国家电网、五大发电集团、地方能投公司等，越来越多的企业选择我们的产品，并在多个项目中应用。像大唐、国电投等企业均已有三个以上的项目在运行。此外，金风科技、远景能源、沃泰、天合光能、宁德时代等一线主机厂和组件供应商也都是我们的客户。

通过以上分析，可以看出新型电力系统在面对可再生能源快速增长的同时，也带来了许多新的挑战和机遇。我们需要不断适应这种变化，以推动电力行业的可持续发展。

新型电力系统的时序场景

在面对新型电力系统时，我们首先需要考虑一个重要命题：如何提高运营管理水平。为此，我们需要实现精益化和智能化的管理。具体而言，这要求我们在以下几个方面进行提升：首先，提升数字化水平；其次，提高即时感知力；最后，增强决策效率。在这之中，即时感知力尤为重要，如何有效地利用海量数据驱动业务将是我们关注的焦点。

回顾过去，在电网调度和电厂运行中，实时感知力的重要性愈发凸显。以十年前的一个实例为例，我的一位同事在京能的火电厂工作，当时新能源的接入给他们带来了巨大的挑战。为了应对变化，他们每天需要至少调节机组负荷两次，这在十年前是不可想象的。以大亚湾核电站为例，其机组出力非常稳定，几乎没有波动。然而，一旦进入新能源领域，出力的波动性显著增加，例如光伏发电的波动会直接影响火电的出力，带来了诸多挑战。因此，实时感知力的提升显得尤为关键，调度人员必须及时了解机组的运行风险以及外部电源的变化情况，以确保安全生产和经济运行。

在这里，我们需要思考如何提升感知力，实现精益化和智能化。信息电力系统的数据特征主要包括显著的结构化特征和日益增加的采集频度。某五大六小发电集团的新能源集控，需要接入全国数百个新能源场站，测点规模突破亿级，需要对这些海量遥测遥信测点进行实时处理。以南方电网为例，广东省的电表数量已达 5100 万，每个表计测量的物理量超过 10 个，导致测点总量达到亿级。这些测点的数据处理和响应要求我们具备强大的即时感知能力。

然而，当前时序数据处理面临诸多挑战。下图是大部分企业采用的数据架构图，数据从采集后进入 Kafka，通过流批处理后存储到实时数据库、历史数据库和数据仓库中。这样的架构中，数据存储的参考点往往不止一个，数据可能被存储在多个地方，有一些数据流的 Pipeline 级数多达四五级。这种多层次的数据流架构导致了许多问题，例如写入性能不足、实时告警的复杂性、实时分析的延迟和数据分发的资源浪费等。

在写入性能方面，许多企业依赖Hadoop的分布式能力进行数据接入，但其数据存储为非结构化，处理效率低下，资源消耗巨大。例如，我曾参与一个新能源场站的项目，接入两年的数据量达到 2 万亿条，我花了 13 小时把数据写入到 TDengine 中，它之前的架构 count 一次数据需要 15 小时，接入 TDengine 后 count 一次大概是 30 多秒到 40 秒，而且前者对资源消耗也是巨大的。相比之下，TDengine 的结构化存储和高性能写入能力，显著降低了处理时间，减少了资源浪费。

在实时告警方面，实现通常依赖 Kafka、Flink、Spark 和 Redis 的结合，然而，这种架构的复杂性导致数据重复处理，消耗大量资源。实时分析方面，有些企业选择直接在 Flink 中处理数据，还有一些通过搭建数仓的方式，但写入性能的不足使得全量数据难以入库。面对高基数问题，一些人会选择搭建多个实时数仓，这又导致融合变得很难，大大降低数据的关联性和分析的灵活度。此外，数据分发环节也需要从 Kafka 再次消费数据，造成资源浪费和数据一致性维护的高成本。

此前，针对数据治理并没有一个很好的技术方案，很多企业就选择重复消费 Kafka，在很多电网公司省一级公司的营销侧，为满足巨量的消费能力，他们的 Kafka 集群是巨大的，能达到十多个甚至数十个节点，以满足多路应用重复消费数据的需求。大家可以想象，这是一个多么臃肿的架构，但当时确实没有更好的方案，也因此带来了很多难以解决的问题。

基于 TDengine，我们提出了一种简化的数据处理方案。通过对数据进行一次持久化和清洗，确保在数据进入前就完成治理，避免后续的重复处理。下图中绿色的这几条线代表结构化数据在进行消费，你可以从 TDengine 的实时和历史数据库中用 Flink 对它进行订阅消费，可以把它推送到任何数据源目的地。你的实时应用也可以利用 TDengine 内嵌的消息订阅接口来进行数据订阅，数据可以消费出去，也可以处理后再回写回来。除此之外，应用还可以通过 TDengine 的实时查询方法获取最新数据，驱动相关业务。

TDengine 在写入性能方面能够支持亿级测点的低延迟写入。通过其结构化数据存储和预计算功能，TDengine 实现了非常高的性能。当数据经过结构化处理后，所消费的数据也是结构化的，这对于进行预聚合计算时，能够显著提升性能。此外，在实时告警方面，TDengine 通过实时订阅和最新数据查询，能够满足对延迟敏感业务的需求。在实时分析方面，TDengine 内置的流计算功能结合多窗口和标签多维度的能力，能够为各种实时分析提供全面支持。最后，TDengine 还具备内嵌的结构化消息队列，能够轻松实现实时数据分发，进一步解决相关问题。

以河北电力为例，我们成功实现了全省分布式光伏的接入。他们的省级调度中心和营销中心的数据接入量极大，将近 3000 万表计，达到每 15 分钟 7 亿到 8 亿条报文。借助 TDengine 的结构化实时入库、数据分发，能够高效支持实时业务场景，性能优于传统的 Kafka +ETL 架构。

总结而言，TDengine 作为新型电力系统的时序大数据基座，不仅能够独立运作，也能够与现有的时序数据生态良好结合，替代 Kafka 等传统架构。如果企业已经在现有架构上进行了投资，TDengine 同样能够与之融合，提供更高效的解决方案。这样，我们就能够在新型电力系统的建设中，更加灵活地应对未来的挑战。

新型电力系统 5 类场景分析与挑战

在接下来的讨论中，我将分享我对新型电力系统场景分析的一些理解。结合新型电力系统的业务特点，我们将其划分为五类场景：第一类是新一代调度云；第二类是电网营销的时序数据平台；第三类是新能源大基地的创新集控，包括设备运维；第四类是电力湖仓一体的时序数据解决方案；第五类是在人工智能背景下的时序预测。

电网调度的现状与挑战

当前电网调度面临以下三大现状：

OT 域场景：实时数据库与历史数据库分离，系统的高可用性较为脆弱。
稳态 SCADA 与 WAMS 实时采集：主要依靠这些系统支撑调度业务。
数据存储：目前历史数据主要存储在关系数据库中，仅保留 SCADA 的分钟级数据。

基于上述现状，电网调度面临三大挑战：

新能源发电数据接入难：分布式光伏和配变的接入困难。
回溯与问题分析难：在需要回溯问题时，往往缺乏秒级或毫秒级的断面数据。
数据实时分发难：在某些情况下，数据分发必须通过重复消费 Kafka 进行处理。

针对这些挑战，TDengine 提供了有效的解决方案。

实时与历史库的合一：在 TDengine 中，实时数据与历史数据并无区分，数据写入后即可进行实时订阅，同时成为历史数据的一部分。
全量 SCADA 稳态遥测与遥信实时写入：以前较为困难的任务，如秒级数据的实时写入，现在已经能得到很好的解决。
全面接入与监控：包括 PMU/WAMS、故障录波等中高频数据的实时写入，以及分布式光伏和配变的接入。
实时计算与数据分发：TDengine 支持功率、发电量等多维度的实时聚合计算，并能按需实时分发结构化数据。数据分析师可以通过窗口和流计算的结合，利用 TDengine 的 SQL 和相关函数，无需编写代码即可实现创新查询。

电网营销的现状与挑战

电网营销方面的现状同样不容忽视，主要表现为以下几点：

巨量测点数：用户电能表与分布式光伏接入的测点数达到亿级至十亿级，且多数基于 Hadoop 或 GP 方案，这些方案的缺点是要么资源消耗高，要么存在高基数问题。
采集频率提升：频率从 15 分钟逐渐缩短到 1 分钟，数据量持续增长。
业务需求规划难：即席分析功能的满足率低。

由此，电网营销面临的挑战包括：

实时性需求难以满足：数据链路长、批处理延时长。
业务创新受限：即席查询受到限制，数据一致性难以保证。
需求开发周期长：技术栈复杂，数据链路复杂。
功率预测效果不理想。

在电网营销中，TDengine 能够实现亿级测点的实时写入，确保数据的新鲜度和低延时。数据快速接入后，便可进行实时计算，支持负荷评估与综合能源管理。同时，TDengine 还能够满足突发性计算的需求，助力业务创新。

此外，TDengine 在实时数据的高效采集方面为用户用电行为分析提供了支持，这为诸如车联网、虚拟电厂以及电力市场交易平台等一系列对数据实时性有较高要求的应用场景奠定了坚实的基础。

以疫情期间的一个实际案例为例，某些省份通过监测老年家庭的用电和用水情况，及时发现家中是否存在突发问题。这一场景凸显了实时数据的重要性。如果没有实时的数据写入和消费机制，及时响应将变得极其困难，可能需要等待数小时才能发现异常。而如果数据采集的频率仅为 5 分钟一次，就能够通过实时写入+实时预警迅速识别出问题。TDengine 在技术上为这一需求提供了可能性，其实时数据处理能力显著优于传统的批处理方式。若采用批处理，实施类似的应用将面临更高的复杂性和挑战。

新能源大基地的创新集控

新能源大基地的创新集控及设备监测是我们重点攻克的市场之一。在风电、光伏和储能领域，集中接入千万级测点的实时写入已成为基本要求。然而，像国电投和三峡集团等大型项目，实际测点数量更是达到上亿级别。这对实时监测、告警和计算分析提出了更高的业务需求。

此外，端边云的协同能力也愈发重要。得益于 TDengine 采用 C 语言全栈自主研发的底层技术，我们的性能超出了客户预期，并将在此领域持续发力。目前，我们的系统已广泛应用于国防领域，包括空中和海上的多种平台。

在电力行业，存在众多应用场景。例如，在储能电站中，结合 AI 技术进行电芯预警的预测场景是我们未来的重要发展方向。此外，我们还提供了分布式和集中式的混合解决方案。这意味着我们的方案能够将数据汇聚到中心端，同时也允许用户根据数据的价值灵活选择存储位置。对于价值较低的数据，可以选择在场站侧进行存储，而将高价值数据提取到中心侧，从而有效降低成本，避免高带宽和高存储成本的负担。

总而言之，在新能源大基地的创新集控项目中，我们提供了多种解决方案，以满足不同应用场景的需求。

电力湖仓一体的时序数据解决方案

我们也在尝试探索电力湖仓一体的时序数据解决方案。下图展示了 TDengine 的时序数据库架构，我们可以通过边缘侧将数据汇聚到中心侧，从而实现高效的实时数据采集。

此外，我们还发现一些特定场景需要同时处理时序数据和非时序数据，并支持结构化和非结构化数据。因此，我们与合作伙伴联合推出了一揽子解决方案，旨在提供卓越的实时性与强大的湖仓能力的方案，从而简化用户架构，降低用户的总拥有成本（TCO）。

尽管在我们的整体数据中，时序数据占比高达 90%，但从用户的角度来看，全面的数据处理需求依然存在。因此，我们致力于提供满足各种需求的解决方案，以更好地服务我们的用户。

电力时序预测

最后，我们推出了基于预训练 LLM 的时序数据 AI 分析工具 TDgpt。其应用场景包括基于历史数据的未来预测、真实数据的历史回补以及异常监测。电芯的热失控监测是一个典型的应用示例。通过对电池内阻和温升等数据进行实时分析，及时识别异常情况。

未来，各类业务场景将对预测有更高的需求，特别是在源荷储和电力交易等领域。在电力行业中，准确的未来预测是至关重要的，它能够帮助调整发电企业的出力，优化营销策略，以及在负荷管理中决定是否启用需求响应、调动虚拟电厂以快速调整负荷，或者提供储能与反向发电服务。借助 TDgpt 进行更准确的预测，我们可以显著降低社会运行成本，从而提升整体效率。

进入 https://www.taosdata.com/tdgpt 查看 TDgpt 更详细信息

结语

在新型电力系统的建设与发展中，TDengine 作为时序数据的高效处理平台，展现了强大的能力和应用潜力。未来，随着电力行业对实时数据和智能分析需求的不断增加，TDengine 将继续发挥其技术优势，推动电力行业的数字化转型与智能化升级。我们将不断优化和扩展我们的产品，以满足各类业务场景的需求，提升电力系统的运营效率和安全性。通过与合作伙伴的紧密合作，我们期待在电力行业的各个领域中，推动创新，助力可持续发展，为构建更加智能、高效和绿色的电力系统贡献力量。