暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

Qualitis

原创 seali2008 2022-03-11
2701

Qualitis是什么

Qualitis是一个数据质量管理系统,用于监控数据质量。它提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。

Qualitis基于Spring Boot开发,依赖于Linkis进行数据计算,提供数据质量规则构建,数据质量规则执行,数据质量任务管理,异常数据发现保存等功能。
同时它也提供了金融级数据质量规则资源隔离,资源管控,权限隔离等企业特性,具备高并发,高性能,高可用的大数据质量管理能力。


为什么需要Qualitis?


随着业务的发展和数据量的增加,大数据应用开发会逐步成为常用的开发方式。
而由于大数据具有以下四个特点:海量的数据规模(Volume)、快速的数据流转和动态的数据体系(Velocity)、多样的数据类型(Variety)和巨大的数据价值(Value),这就给数据的唯一性,完整性,一致性等校验带来了很大挑战。
目前普遍存在的现象是,不同的业务根据自身的业务特点,额外开发报表或检查任务,对数据进行检测,非常的费时费力。
在这种情况下,一个可配置化,可视化,可监控,可嵌入数据处理过程,并且具有普适性,能够提供通用的特性来解决数据质量问题的数据质量管理工具就显得尤为重要。
为了解决以上问题,WeBank开发了Qualitis这个数据质量管理工具。
此项目已经发布到github上,并且也在持续改进中,欢迎fork并参与进来:https://github.com/WeBankFinTech/Qualitis


「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论