
全文约2415字,阅读约14分钟
近日,东方国信CirroData-TimeS时序数据库进行了全新升级,推出了V1.3.1版本。新版时序数据库新增四项新功能,分别在安全控制、数据同步、系统监控和序列视图方面带给用户全新体验!
此外CirroData-TimeS V1.3.1也对原有系统问题进行了修复,同时优化了多项功能操作,不断满足用户在新场景中的新需求。

新增审计日志功能,可以实现如下场景需求:
可以按链接来源决定是否记录审计日志,例如:非人为操作,像硬件采集器写入的数据不需要记入审计日志;人为操作,诸如普通用户通过cli等工具操作的数据,需要记入审计日志;
过滤掉系统级别的写入操作,如CirroData-TimeS监控体系本身记录的写入操作等。
数据同步功能可以将CirroData-TimeS的数据同步传输到另一个数据平台,我们将一个数据同步任务称为Pipe,一个Pipe包含三个子任务(插件):抽取(Source)、处理(Process)、发送(Sink)。
Pipe允许用户自定义三个子任务的处理逻辑,通过类似UDF的方式处理数据。在一个 Pipe 中,上述的子任务分别由三种插件执行实现,数据会依次经过这三个插件进行处理:Pipe Source 用于抽取数据,Pipe Processor 用于处理数据,Pipe Sink 用于发送数据,最终数据将被发至外部系统。
Pipe 任务模型如下:

描述一个数据同步任务,本质就是描述 Pipe Source、Pipe Processor 和 Pipe Sink 插件的属性。用户可以通过 SQL 语句声明式地配置三个子任务的具体属性,通过组合不同的属性,实现灵活的数据 ETL 能力。
集群监控:监控集群总CPU核数、总内存空间、总硬盘空间、集群包含ConfigNode与DataNode数、集群启动时长、写入速度、集群各节点当前CPU、内存、磁盘使用率、分节点信息等;
数据写入:监控写入平均耗时、耗时中位数、99%分位耗时、WAL文件数量与大小、节点WAL flush SyncBuffer耗时 等;
数据查询:监控节点查询加载时间序列元数据耗时、读取时间序列耗时、修改时间序列元数据耗时、加载Chunk元数据列表耗时、修改Chunk元数据耗时、按照Chunk元数据过滤耗时、构造Chunk Reader耗时的平均值 等;
存储引擎:监控分类型的文件数量和大小、处于各阶段的TsFile数量和大小、各类任务的数量与耗时 等;
系统监控:监控系统内存、交换内存、进程内存、磁盘空间、文件数、文件尺寸、JVM GC时间占比、分类型的GC次数、GC数据量、各年代的堆内存占用、网络传输速率、包发送速率 等。
在传统关系型数据库中,数据都必须存放在一个表中,而在CirroData-Times等时序数据库中,序列才是存储单元。因此,CirroData-Times中序列视图的概念也是建立在序列上的。
一个序列视图就是一条虚拟的时间序列,每条虚拟的时间序列都像是一条软链接或快捷方式,映射到某个视图外部的序列或者某种计算逻辑。换言之,一个虚拟序列要么映射到某个确定的外部序列,要么由多个外部序列运算得来。
用户可以使用复杂的SQL查询创建视图,此时序列视图就像一条被存储的查询语句,当从视图中读取数据时,就把被存储的查询语句作为数据来源,放在FROM子句中。
序列视图通常在以下实际场景中应用:
时间序列重命名(PI资产管理):实际应用中,采集数据的设备可能使用人类难以理解的标识号来命名,这给业务层带来了查询上的困难。而序列视图能够重新组织管理这些序列,在不改变原有序列内容、无需新建或拷贝序列的情况下,使用新的模型结构来访问他们;
简化业务层查询逻辑:有时用户有大量设备,管理着大量时间序列。在进行某项业务时,用户希望仅处理其中的部分序列,此时就可以通过序列视图功能挑选出关注重点,方便反复查询、写入;
辅助权限管理:生产过程中,不同业务负责的范围一般不同,出于安全考虑往往需要通过权限管理来限制业务员的访问范围。
优化权限模块,支持时间序列粒度的权限控制;
客户端服务器支持 SSL 通讯加密;
计算类型视图支持 LAST 查询;
优化 Python 客户端的性能;
优化查询执行过程;
增加一键启停集群脚本(start-all/stop-all.sh & start-all/stop-all.bat);
增加一键收集实例信息脚本(collect-info.sh & collect-info.bat);
新增标准差、方差内置聚合函数;
新增 TsFile 修复命令;
Load TsFile 完善内存控制,覆盖全流程;
Rest 接口(V2 版)增加列类型返回。
修复在 target path 中,使用反引号导致 select into 报错的问题;
修复网络分区环境下 show cluster 出现 NPE 的问题;
修复 duration 含多 unit 时 group by month 异常问题;
修复有 order by clause 时,limit 和 offset 不能下推的问题;
修复 group by month + align by device + limit 组合场景下的异常;
修复 IoT 协议同步时反序列化报错问题。





