eKuiper 1.5.0 发布: 实现无缝式工业数据采集+边缘流处理

各种 source/sink 是 eKuiper 连接数据处理生态的途径。新版本中，eKuiper 添加了更多的连接类型 Neuron 和 SQL。同时我们也改进了原有连接，例如 TDEngine sink 中添加了超级表的支持。

CREATE STREAM demo() WITH (TYPE="neuron",SHARED="TRUE")

"neuron": {
  "nodeName": "{{.node}}",
  "groupName": "grp",
  "tags": [
    "tag0"
  ]
}

SQL 拉取源提供了一种批量数据转为流式数据的方式，使得 eKuiper 支持初步的流批一体处理的方式。

在旧的系统升级改造过程中，我们往往还需要考虑对原有系统的兼容。大量的老旧系统采用传统关系数据库存储采集的数据。在新的系统中，可能也有保存在数据库中，不方便提供流式接入的数据却需要进行实时计算的数据。还有更多的场景需要接入形形色色数量庞大的支持 SQL 的数据库或其他外部系统。

eKuiper 提供了统一的\多数据库通用的 SQL 拉取 source，可定时拉取支持 SQL 的数据源的数据，并提供基础的去重能力，形成流式数据进行统一的流式计算处理。

该插件的预编译版本支持 MySQL、PostgresSQL 等常见数据库的接入；同时插件中搭载了几乎所有常见数据库的连接能力，用户只需要在编译时提供所需支持的数据库的参数，即可自行编译支持自定义数据库类型的插件。

除了数据拉取，我们也提供了数据写入的通用 SQL 插件。

需要注意的是，eKuiper 本身已经提供了针对 InfluxDB、TDengine 等时序数据库的专用插件。通用 SQL 插件同样可以支持连接这些数据库，但提供的是 insert 功能，不支持特定数据库的非标准概念，例如 TDengine 的超级表只能使用 TDengine 插件进行写入。

更多信息以及支持的数据库列表，请参见以下文档：

https://ekuiper.org/docs/zh/latest/rules/sources/plugin/sql.html

https://ekuiper.org/docs/zh/latest/rules/sinks/plugin/sql.html

内置函数是 SQL 完成各种计算的主要组织形式，也是 SQL 表达能力的重要来源。新版本中的 SQL 改进主要通过添加新的函数来实现。

规则的 SQL 语句中 select 选择出的所有列会组成一个对象，供 sink 插件和下游的应用进行处理。

在有些场景中，下游应用需要对选择的列进行分组，然后灵活地对每个分组进行处理。例如，把选择出来的结果分成多个 key/value 集合，其中 key 为文件名，这样可以动态地把结果写入到多个文件中。

新的内置方法 object_construct 可以轻松实现列的分组和命名。其语法为 object_construct(key1, col, ...)，可支持多个参数，并返回由参数构建的对象 。参数为一系列的键值对，因此必须为偶数个。键必须为 string 类型，值可以为任意类型。例如，用户需要把列 1，2，3 写入到文件 1；而列 4，5 写入到文件 2 中。则可使用一条 SQL 规则对列进行分组，并对组名进行赋值：

SELECT object_construct("key1", col1, "key2", col2, "key3", col3) AS file1, object_construct("key4", col4, "key5", col5) AS file2 FROM demoStream

其输出结果形如下列 JSON 对象：

{
"file1":{"key1":"aValue","key2":23,"key3":2.5},
"file2":{"key4":"bValue","key5":90}
}

新的版本在运维方面的主要改进包括提升了运行时的稳定性，提供了方便的编译参数方便用户根据需求进行软件功能的裁剪以适应更小算力的设备。

在 4 月上线的官网（https://ekuiper.org）中，eKuiper 文档进行了目录结构的重构，并编译到文档网站上。

新的文档网站增加了概念介绍、教程等模块，调整了导航树，希望能帮助用户更方便地找到有用的信息。

eKuiper 的版本迭代会尽量保持新旧版本的兼容，新的版本也不例外。升级到 1.5.0 版本，大部分功能无需改动即可平稳升级，但是有两处改动需要用户手动更改：

为了让大家能够快速且直观地了解 eKuiper 1.5.0 的新特性，在 5月26日（本周四） 20:00 的 EMQ Demo Day 中，eKuiper 团队将为大家演示 eKuiper 和 Neuron 的整合、变化检测、通用 SQL 插件以及按需编译等特性。

扫描下方二维码即可免费报名：