大家好,今天很高兴为大家带来有数数据开发及管理平台的LTS6.4.0(Long Term Support即长期支持版本&私有化部署)的版本更新。此次新版本除了在指标系统、数据传输、数据测试中心、模型设计中心、离线开发、任务运维中心、数据质量中心、数据服务、数据地图、数据资产中心、安全中心等模块均有所优化,新产品--数据标准也华丽登场,快来看看吧!
关键词:数据标准、调度日历、逻辑数据湖、数据安全中心
数据标准:数据标准首个版本发布,完成了数据项标准的维护以及标准管理流程的建立,用户可根据需要建立新的或管理已存在的数据标准,完成标准上线发布的流程。
调度日历:新增调度日历,支持离线开发的调度任务按照调度日历指定的日期执行。系统已预置沪深交易日、沪港股通交易日等金融券商领域的日历,也支持调度日历新增。用户通过上传xls方式设置每个调度日历。
逻辑数据湖:对外部数据源的支持更加完善,数据地图支持Oracle、Greenplum搜索和详情展示,支持MySQL、Oracle、Vertica血缘展示;数据质量中心支持对MySQL、Vertica数据源的质量监控。
数据安全中心:用户现在可对库、表进行权限申请。权限也将有生命周期管理,即将到期的权限可通过续权申请延长权限有效期。
重点功能更新
1. 指标系统
项目配置中心改版,分为自定义指标模板、口径隐藏和审批设置三个功能项。其中,自定义指标模板功能增强,新增指标类型、系统通用字段、自定义字段、指标标识生成方式和模板预览五块内容。用户可根据实际业务需求配置不同的指标模板。

2. 数据传输
支持读取跨集群Hive数据源,实现Hive2Hive跨集群复制。需要在项目中心(新)中登记跨集群的Hive数据源,目前支持登记的Hive版本为:星环TDH5.2.2、神策Hadoop2.6.0-CDH5.12.1。

3. 离线开发
新增调度日历。在离线开发的任务编辑调度时,对于天、小时、分钟调度的任务,可以选择已启用的调度日历。选择调度日历后,可以在日历中设置的“调度日”当日或者次日来执行调度。比如金融券商,常常会有交易日调度的诉求,则可以选用对应的日历。

对于设置了调度日历的任务,在任务运维中心,也会有对应的标记显示。

4. 任务运维中心
(1)新增单个/批量任务补数据功能

(单个任务补数据功能)

(批量任务补数据功能)
(2)新增基线增加通知方式的设置,去掉值班组通知方式的设置。原来基线告警的通知方式是设置在值班组上的,一个值班组负责多条基线的报警时,所有基线都是用一样的告警模式(例如都是电话,短信),这样就会导致高优基线和低优基线告警方式一样,值班人无法分辨哪些告警是重要的,哪些告警是不重要的。所以需要更改通知方式的设置界面,将通知方式从值班组中设置改为在基线中设置。

5. 数据质量中心
数据质量中心全面支持MySQL、Vertica数据源,新增相应功能包括支持对MySQL、Vertica数据源进行数据质量监控配置、支持适用MySQL、Vertica数据表的规则模板、支持展示监控对象为MySQL、Vertica数据源的相关质量结果等。

6. 数据服务
(1)SQL和向导模式下,创建API支持TiDB和Doris数据源类型,支持筛选查看等功能
(2)在API集市中申请API时,支持行级和列级权限选择
(3)服务概览页面,细粒度监控下,页面展示内容更加丰富,新增累计请求返回量数值指标、API调用次数趋势图、API返回量趋势图、资源组请求趋势图等。

(API调用次数趋势图)

(API调用比率)
(4)API监控详情页面,细粒度监控下,页面展示内容更丰富,新增QPS趋势图、数据服务错误码数量趋势图、增加响应时间趋势图等。

(调用总次数)

(平均响应时间)
7. 数据地图
(1)支持Oracle、Greenplum搜索和详情展示

(2)支持MySQL、Oracle、Vertica血缘展示

(3)新增Hive表权限展示及申请功能,新增查看当前用户对Oracle/Vertica/MySQL/Greenplum数据源的使用权限。
8. 模型设计中心
(1)表设计工单管理,新建表或修改表,支持对表字段设置“字段附加列”。该功能支持在新建表或修改表工单中,对不同分层的表设置不同的字段附加列,比如字段的“加工来源表”、“加工来源字段”等。

(2)表设计工单管理,新增加“批量上传建表”方式创建表。用户先下载xls模板,并按要求填写模板内容,然后上传附件后,系统会自动解析其中的内容。解析到的每个库表都会生成一条记录。用户可以预览这些记录的详情,系统会自动扫描其相关信息。如果没有异常,用户可以选择提交工单。工单提交后,会和原来的直接创建工单的方式一样,生成一个工单记录。之后,用户可以将任务提交上线,进而开始工单的审批流转。

(3)表设计工单管理,支持对ods层表创建建表工单。
9. 数据资产中心
(1)资产大盘分为三种视角:项目组总览、项目总览和我的总览。资产大盘增加费用和治理效果等内容。
(2)新增任务流中节点任务粒度级别的成本分析。支持对任务流展开查看,针对节点可查询节点名称、执行耗时、预估费用等信息。
(3)新增外部表生命周期到期后,数据处理策略。

10. 数据安全中心
(1)安全中心支持个人、项目账号对已公开库、表的权限申请。

(2)权限配置支持自定义安全接口人和审批环节配置,可以实现自定义审批规则。
(3)安全中心支持操作目录对个人、角色、项目账号的授权
(4)新增权限有效期,当进行表申请和库申请时支持选择“权限到期日期”。
(5)新增权限申请续权操作,为用户提供申请续权功能。
11. 标签工厂
新增通过“时间间隔”创建复合标签。当数据模型类型为行为模型时,标签市场创建复合标签的入口新增“时间间隔”这种方式。


12. 实时计算
新增CDC任务。CDC任务用于采集数据库数据,以便后续在实时计算任务中使用。说明:
支持MySQL、Oracle、Sqlserver数据源类型作为源端或目标端;
支持Kafka数据源类型作为源端或目标端;
支持Oracle作为源端时,Xstream的增量读取方式;
支持当Postgre数据源类型作为源端,pgoutput和wal2json的增量读取方式;
选择源端表和目标端表后,支持配置字段映射。





