暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

从0到1快速入门ETLCloud

301

一、ETLCloud的介绍

ETL是将业务系统的数据经过抽取(Extract)、清洗转换(Transform)之后加载(Load)到数据仓库的过程,目的是将企业中的分散、凌乱、标准不统一的数据整合到一起,为企业的决策提供分析依据。 ETL是BI(Business Intelligence)项目重要的一个环节。 通常情况下,在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。


二、ETLCloud的优势

简洁易用的操作界面

用户可以通过基于 Web 的界面完成所有的操作,只需从左侧的组件区域拖动相应的组件即可创建流程。此外,左侧的组件区域支持自定义开发和扩展,以满足不同的业务需求。

ETL应用监控首页

用户根据自己的业务需求去创建并设计流程


丰富的数据源读写支持

提供对100多种SQL和NOSQL数据库的读写支持,使得企业可以轻松地对接内部多种数据源。支持自定义扩展数据源,国内主流的国产数据库数据的读写操作,例如达梦、阿里OB、华为高斯DB、人大金仓、南大通用、Doris、TiDB等等。还支持信创环境的安装,方便用户快速搭建数据处理平台,以满足不同业务需求的数据读写操作。


1000+数据处理组件和1500+数据管道模板

采用创新的基于平台底座的理念。它通过将组件和平台进行分离,用户可以下载和安装所需的组件,而无需升级整个底座版本。这样可以通过不断升级组件来增强数据集成平台的处理能力。同时,平台还开发了适用于主流SaaS和应用系统的对接组件,用户只需简单点击几下即可完成将主流应用系统中的数据拉取并传输到数据仓库中。这样,用户可以轻松实现应用数据的采集和推送,无需编写任何代码。


运维难度和成本低

对于大数据的运维人员来说,他们非常关注任务的准时运行和成功运行。ETLCloud提供了消息通知功能,可以在任务成功或失败时通过自定义的方式实时通知运维人员,以确保他们能够第一时间了解任务的运行情况。用户可以根据自己的需求选择邮件、短信、企业微信、钉钉等不同的通知方式。这样,无论是任务按时运行还是出现异常,运维人员都能够及时收到通知,从而能够及时采取措施来处理问题。

支持CDC实时数据同步

ETLCloud支持CDC实时数据同步能力,通过开启数据库的日志,实现实时数据的监听传输,整个步骤只需要通过简单的配置即可快速完成。另外还支持kafka、各种MQ消息的监听以及推送。

三、基本操作演示

如何流程设计(我们将已使用场景最多的基本流程进行讲解,即数据输入和输出)

点击离线数据流程->创建应用->新增流程

进入流程设计页面

可以看到操作界面非常简单易懂,首先需要两个必要节点,即开始和结束节点,这在通用组件可以找到。

通过拖拉拽的形式来将这些组件进行连接,双击连接的路由可以查看和设置路由属性,每个属性都有相关的讲解,所以不用担心不会选择。

双击组件可以对组件进行相关的配置,同样的每个属性都有相关的讲解,怎么去学习组件的使用我们待会讲解。

流程设计完成后,点击上面的菜单栏,保存、运行即可,当然上面还有其他的操作。

点击运行即可

那么简单的流程设计就完成了,如果流程执行失败可以查看调用日志来排查问题。

数据源管理可以对数据来源进行管理,这里支持非常多的数据库。

点击新建数据源,选择需要的数据库填写相关配置即可,填写后可以点击测试连接。

四、如何快速解决问题

使用帮助文档

帮助文档中包含了所有基本组件的使用,组件的下载安装,以及常见的问题,正确的使用和关注文档更新内容可以快速解决疑问。

「喜欢这篇文章,您的关注和赞赏是给作者最好的鼓励」
关注作者
【版权声明】本文为墨天轮用户原创内容,转载时必须标注文章的来源(墨天轮),文章链接,文章作者等基本信息,否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容,欢迎发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论