能源行业正在从以系统为中心向小规模和分布式智能电网和微电网转变。一个智能电网需要实时数据集成和处理的灵活的，可扩展的，弹性的，可靠的云基础架构本土。这篇博文探讨了在能源行业使用Apache Kafka进行事件流的用例、架构和实际部署，以实现智能电网和实时端到端集成。
智能电网——未来的能源生产和分配
能源部门包括主要从事生产或供应化石燃料或可再生能源等能源业务的公司。
什么是智能电网？
一个智能电网是电网，其中包括了各种运行和能源的措施,,包括智能电表，智能家电，可再生能源和能源效率的资源。电力生产和分配的电子功率调节和控制是智能电网的重要方面。
在欧盟委员会专责小组智能电网 提供了智能电网的定义作为：
“智能电网是一种电力网络，它可以经济高效地整合所有与之相连的用户的行为和行动——发电机、消费者和两者兼而有之的人——以确保经济高效、可持续的电力系统，低损耗和高质量水平以及供应和安全保障。智能电网采用创新产品和服务，结合智能监控、控制、通信和自愈技术，以：
更好地促进各种规模和技术的发电机的连接和操作。
让消费者参与优化系统的运行。
为消费者提供更多关于他们如何使用供应的信息和选择。
显着降低整个供电系统对环境的影响。
保持甚至提高现有的高水平系统可靠性、质量和供应安全性。
有效地维护和改进现有服务。
”
智能电网的技术和演进
智能电网技术的推出也意味着电力服务行业的根本性重新设计，尽管该术语的典型用法集中在技术基础设施上。关键的智能电网技术包括太阳能、智能电表、微电网和自优化系统：
对智能电网和现代能源基础设施的要求
可靠性：智能电网使用状态估计等技术，可改进故障检测并允许网络在无需技术人员干预的情况下自我修复。这将确保更可靠的电力供应并减少对自然灾害或攻击的脆弱性。
网络拓扑的灵活性：下一代输配电基础设施将能够更好地处理可能的双向能量流动，允许分布式发电，例如从建筑物屋顶上的光伏电池板，以及向/从电动汽车、风力涡轮机的电池充电、抽水发电、燃料电池的使用和其他来源。
效率：预计智能电网技术的部署将对能源基础设施效率的整体提高做出许多贡献，特别是包括需求侧管理，例如，在电价短期飙升期间关闭空调，减少在可能的情况下通过电压/无功优化 (VVO) 降低配电线路上的电压，消除抄表的上门服务，并通过使用高级计量基础设施系统的数据改进停电管理来减少上门服务。总体效果是减少输配电线路的冗余和提高发电机的利用率，从而降低电价。
可持续性：智能电网提高了灵活性，即使不增加能量存储，也可以更大程度地渗透太阳能和风能等高度可变的可再生能源。
市场赋能：智能电网允许供应商（他们的能源价格）和消费者（他们的支付意愿）之间进行系统的沟通。它允许供应商和消费者更加灵活和复杂的运营策略。
网络安全：提供安全的基础设施，在整个供应链中大规模地进行加密和身份验证的通信和实时异常检测。
用于智能电网的 Kafka 架构
从技术角度来看，诸如负载调整/负载平衡或峰值削减/平衡和使用时间定价等用例无法像过去在能源行业中使用的那样使用传统的单体软件来实现。
一个智能电网需要一个云计算的本地基础设施，灵活，可扩展的，弹性的，可靠的。所有这些都与实时数据集成和数据处理相结合。这些要求解释了为什么越来越多的能源公司严重依赖 Apache Kafka 及其生态系统的事件流。
混合架构的能源生产和分配
许多能源公司都有云优先战略。他们在云中构建新的创新应用程序。尤其是在能源行业，这很有意义。对弹性和可扩展数据处理的需求是成功的关键。然而，并非一切都可以在云中运行。大多数与能源相关的用例也需要在边缘进行数据处理。这对于能源生产和能源分配来说是正确的。
以下是在云和边缘利用 Apache Kafka 的示例架构：
云中的集成需要连接到现代技术，例如 Snowflake 数据仓库、基于 TensorFlow 的谷歌机器学习服务或 Salesforce 等 3rd 方 SaaS 服务。边缘是不同的。连接所需的机器，设备，传感器，PLC，SCADA系统，以及许多其他系统。Kafka Connect 是一个完美的 Kafka 原生工具，可以实时、大规模地实施这些集成。
边缘站点和云之间的实时复制是另一个重要的案例，MirrorMaker 2 或 Confluent 的cluster linking等工具非常适合。
对于数据的连续处理（又名流处理），使用Kafka stream或ksqlDB 来做非常合适，使用 Apache Flink 等外部工具也很可以。
使用 5G 校园网络在边缘进行能源生产的事件流
边缘的Kafka是新的潮流。能源生产就是一个很好的例子：
有关在边缘站点部署 Kafka 的更多详细信息，请参阅“使用 Apache Kafka 和 5G 校园网络构建智能工厂”一文。
所述边缘通常由云或远程数据中心断开。即使互联网连接不可用或不稳定，关键任务应用程序也必须以解耦方式 24/7 全天候运行：
示例：在公用设施部门使用 Kafka 进行实时停电管理
我们来看一个在公用设施部门实现的例子：用 Kafka 和 ksqlDB 连续处理智能电表传感器数据：
在预处理和滤波发生在边缘，如图上面的图片。然而，智能电网的所有资产（包括智能家居、智能楼宇、电力线、开关等）的聚合和监控发生在云端：
实时数据处理不仅对运营很重要。巨大的附加值来自改善的客户体验。例如，停电管理操作工具可以实时提醒客户：
现在让我们看一些与能源相关的用例的实际示例。
Kafka 在能源领域的实际部署
本节探讨了基于 Kafka 的基础设施的三种截然不同的部署和架构，以构建智能电网和能源生产相关用例：EON、WPX Energy 和 Tesla。
EON – 使用 Kafka 实现能源生产和分配的智能电网
该EON流媒体平台是建立在以下范式提供了云计算的本地智能电网基础设施：
公有云提供商的物联网规模能力
独立于云提供商的 EON 微服务
由 Apache Kafka 提供支持的实时数据集成和处理
WPX Energy – 用于集成和分析的边缘 Kafka
WPX Energy（现并入 Devon Energy）是一家石油和天然气行业的公司。数字化转型创造了许多机会来改进该垂直领域的流程和降低成本。WPX 利用 Hivecell 边缘硬件上的 Confluent Platform实现边缘处理和实时大规模复制到云端。
该解决方案专为真正的实时决策和未来潜在的闭环控制优化而设计。WPX 进行边缘流处理以在井场实现真正的实时决策。他们还将机器学习模型产生的业务相关数据流和井场分析预处理数据复制到云中，使 WPX 能够利用其实时事件的全部功能。
边缘（即数据中心外）的 Kafka 部署越来越多地出现在能源行业，但也出现在工厂、餐馆、零售店、银行和医院。
Tesla – 基于 Kafka 的数据平台，每天处理数万亿个数据点
特斯拉不仅仅是一家汽车制造商。Telsa 是一家科技公司，编写了许多创新和尖端软件。他们通过 Telsa 超级充电站为汽车提供能源基础设施，在他们的超级工厂生产太阳能等等。处理和分析来自智能电网的数据以及与其他 IT 后端服务的实时集成是他们成功的关键：
特斯拉已经构建了一个基于 Kafka 的数据平台基础设施， “每天支持数百万台设备和数万亿个数据点”。特斯拉在 2019 年的 Kafka 峰会上展示了他们使用 Kafka 的有趣历史和演变：
Kafka + OT 中间件（OSIsoft PI、Siemens MindSphere 等）
一个常见且非常相关的问题是Apache Kafka 与传统 OT 中间件（例如 OSIsoft PI 或 Siemens MindSphere ）之间的关系。
TL;DR：Apache Kafka 和 OT 中间件相辅相成。Kafka 不是物联网平台。OT 中间件不是为 OT 数据与企业 IT 的其余部分的集成和关联而构建的。Kafka 和 OT 中间件相互连接得很好。双方都提供集成选项，包括 REST API、原生 Kafka Connect 连接器等。因此，在许多情况下，企业会利用和集成这两种技术，而不是只选择其中一种。
Kafka 在能源领域和智能电网中的未来
Kafka 与构建弹性和可扩展的智能电网基础设施的许多用例相关。更重要的是，许多项目在客户 360、支付处理和许多其他用例中大量使用 Kafka。查看各种“跨行业的 Apache Kafka 用例和架构”。能源公司也可以应用其中的许多用例。
如果您已经读到这里并且真的想知道在 Kafka 和 OT/IT 融合的上下文中“实时”实际上意味着什么，请查看帖子“ Kafka 不是硬实时”。
