Extract、Transform 和 Load 统称为 ETL。ETL 是从众多来源收集数据、对其进行标准化，然后将其传输到中央数据库、数据湖、数据仓库或数据存储以进行额外分析的过程。
ETL 过程将来自众多来源的结构化或非结构化数据转换为一种简单的格式，供您的员工定期理解和使用。端到端 ETL 过程的每个步骤都涉及：
1.数据提取
已提取的数据是从一个或多个源中检索到的，包括结构化和非结构化的。这些来源包括网站、移动应用程序、CRM 平台、本地数据库、遗留数据系统、分析工具和 SaaS 平台。数据在检索完成后加载到暂存区并准备好进行转换。
2.数据转换
转换阶段通过清理和格式化提取的数据，准备将其存储在您选择的数据库、数据存储、数据仓库或数据湖中。目的是让数据准备好在目标存储中进行查询。
3.负载
将准备好的数据移动到目标数据库、数据集市、数据中心、仓库或数据湖中称为加载。可以通过两种方式加载数据：逐渐（增量加载）或一次全部（全部加载）。数据也可以定时批量加载或实时加载。
增量数据加载通过将传入数据与现有数据进行比较来消除重复。离开转换装配线的每个项目在总装载期间被运输到最终仓库或存储库。
ETL 工具有什么作用？
整个 ETL 过程是使用 ETL 工具自动完成的。ETL 解决方案采用多种数据管理策略来自动执行提取、转换和加载 (ETL) 过程，从而减少错误并加快数据集成。
还有更多。ETL 工具的用例包括：
- 在本地和云端自动处理、管理和接收大量结构化和非结构化数据。
- 将数据安全地传送到适当的分析位置。
- 将它们置于历史角度可能会使评估、评估和理解当前和历史数据集变得更加简单。
- 将数据库从 MongoDB、Cloud SQL for MySQL、Oracle、Microsoft SQL Server 和 AWS RedShift 等来源复制到云数据仓库。ETL 工具可用于定期或连续更新您的数据。
- 您的现场数据、应用程序和工作流程应移至云端。
- 将数据从众多 IoT 设备传输到一个位置，以便您可以进一步检查它。
- 要进行更全面的分析，请将来自社交网络、在线分析和客户服务的数据集中在一个位置。
最受欢迎的 ETL 工具：
Integrate.io
为电子商务创建的数据仓库集成平台称为 Integrate.io。Integrate.io 帮助电子商务企业创建客户的 360 度视角，为数据驱动的选择创建单一事实来源，通过改进运营洞察力增强消费者洞察力，并提高投资回报率。
Skyvia
Skyvia 是 Devart 创建的云数据平台，可实现无编码数据集成、备份、管理和访问。Devart 公司是数据访问解决方案、开发工具、数据库工具和其他软件产品的知名且可靠的供应商，在两个研发部门拥有超过 40,000 名感激的客户。
Skyvia 支持 CSV 文件、数据库（Oracle、SQL Server、PostgreSQL、MySQL）、云数据仓库（Google BigQuery、Amazon Redshift）和云应用程序（Amazon Redshift、Google BigQuery），为各种数据集成场景提供 ETL 解决方案（HubSpot、Salesforce、Dynamics CRM 等）。
还包括在线 SQL 客户端、云数据备份工具和 OData 服务器即服务选项。
IRI Voracity
Voracity 底层 CoSort 引擎的“负担得起的批量速度”价值及其强大的内置数据发现、集成、迁移、治理和分析功能使其成为流行的本地和支持云的 ETL 和数据管理平台.
Voracity 支持数百个数据源，并立即将 BI 和可视化目标作为“生产分析平台”提供。
Voracity 平台的用户可以创建批处理或实时操作，以集成以前优化的 E、T 和 L 活动，或者出于价格或性能的原因“加速或离开”当前的 ETL 解决方案（如 Informatica）。Voracity 的速度与 Ab Initio 相当，尽管 Pentaho 更昂贵。
Dataddo
Dataddo 是一个基于云的 ETL 平台，无需编码，可为技术和非技术用户提供灵活的数据集成。凭借大量的连接器选择和完全可定制的指标，Dataddo 使构建数据管道的过程变得简单。
Dataddo 与您当前的工作流程和数据架构无缝集成。由于其用户友好的界面和简单的设置过程，您可以专注于集成您的数据，而完全托管的 API 消除了持续管道维护的需要。
SLOTIX sro 的 DBConvert Studio
用于本地和云数据库的数据 ETL 解决方案是 DBConvert Studio。它在多种数据库格式之间提取、转换和加载数据，包括来自 Amazon RDS、Amazon Aurora、Microsoft Azure SQL、Google Cloud、Oracle、MySQL、MS SQL、PostgreSQL、MS FoxPro、Firebird、SQLite、MS Access 和数据库2。
要微调迁移选项并开始转换或同步，请使用 GUI 模式。安排命令行方法保存的作业的执行。
单向或双向数据迁移和同步都是可能的。最初，DBConvert studio 与数据库建立并发连接。然后由创建的不同作业跟踪迁移/复制过程。
数据库对象和结构可以在有或没有数据的情况下被复制。每个项目都可以检查和调整，以避免任何潜在的错误。
Informatica – PowerCenter \sPowerCenter
与 500 多个国际合作伙伴进行数据管理，每月处理超过一万亿笔交易。它是一家软件开发公司，总部位于美国加利福尼亚州，成立于 1993 年。它创造了 10.5 亿美元的收入，拥有约 4,000 名员工。
Informatica 创建了 PowerCenter 产品作为集成数据的手段。PowerCenter 结合了来自任何来源和任何数据类型的大量数据。它为组织提供重要数据和好处，同时支持数据集成生命周期。
IBM – Infosphere Information Server
IBM 是一家全球软件企业，成立于 1911 年，总部位于美国纽约，在 170 多个国家/地区设有办事处。截至 2016 年，它拥有 799.1 亿美元的年收入和 380,000 名员工。
IBM 产品 Infosphere Information Server 创建于 2008 年。它是数据集成平台的先驱，支持理解和提供强大的业务价值。大型企业和大数据公司是其主要目标市场。
Oracle Data Integrator
甲骨文成立于1977年，是一家美国跨国公司，总部位于加利福尼亚州。截至 2017 年，它拥有 138,000 名员工，总收入为 377.2 亿美元。
用于创建和管理数据集成的图形平台称为 Oracle Data Integrator (ODI)。它是一个完整的数据集成平台，支持支持 SOA 的数据服务和实际的卷数据。有定期迁移需求的大型企业应该使用这个产品。
Microsoft – SQL Server Integrated Services (SSIS)
Microsoft Corporation 是一家成立于 1975 年、总部位于华盛顿的美国跨国公司。它拥有 124,000 名员工，年收入为 899.5 亿美元。
微软创建了 SSIS，一个专为数据迁移而设计的解决方案。由于数据的集成和转换在内存中处理，因此数据集成速度更快。SSIS 只支持 Microsoft SQL Server，因为它是 Microsoft 的产品。
Ab Initio
Ab Initio 是一家美国私营软件公司，在日本、法国、英国、波兰、德国、新加坡和澳大利亚设有办事处，成立于 1995 年，总部位于美国马萨诸塞州。大容量数据处理和应用程序集成是 Ab Initio 的两个专业领域。
Coordinating System、The Component Library、Data Profiler、Graphical Development Environment、Enterprise Meta environment、Conduct It等六大数据处理工具。“Ab Initio Co>Operating System”是一个支持拖放的基于 GUI 的 ETL 工具。
Talend – 用于数据集成的 Talend Open Studio
Talend 是一家软件公司，美国总部位于加利福尼亚州，成立于 2005 年。目前大约有 600 名员工。
该公司的初始产品 Talend Open Studio for Data Integration 于 2006 年发布。它是一个数据集成平台，可促进数据监控和集成。该业务提供数据管理、数据准备、企业应用程序集成和其他数据相关任务的服务。支持数据仓库、迁移和分析。
CloverDX Data Integration Software
CloverDX 为中型到企业级企业解决了全球最具挑战性的数据管理难题。
CloverDX 数据集成平台凭借其强大的开发人员工具、可扩展的自动化、编排后端以及为数据密集型操作构建的强大但无限适应的环境，为企业提供服务。
自 2002 年成立以来，CloverDX 已发展到拥有 100 多名员工，其中包括来自各个行业领域的开发人员和顾问，他们在全球范围内工作，帮助企业掌握数据。
Pentaho Data Integration
软件供应商 Pentaho 销售 Pentaho Data Integration (PDI)，也称为 Kettle。数据集成、挖掘和 STL 功能是其服务之一。其公司办公室位于美国佛罗里达州。日立数据系统于 2015 年收购了 Pentaho。
在 Pentaho Data Integration 的帮助下，用户可以清理和准备来自不同来源的数据，并在应用程序之间移动数据。PDI 是 Pentaho 业务智能包的一个组件，是一种开源技术。
Apache Nifi
美国马里兰州是 Apache 软件基金会 (ASF) 的所在地，该基金会成立于 1999 年。根据 ASF 的条款，它创建免费的 Apache 许可证开源软件。Apache 软件基金会是 Apache Nifi 软件项目背后的组织。
通过自动化，Apache Nifi 使数据更容易在不同系统之间移动。组成数据流的处理器可以由用户定制。这些流程可以存档为模板，然后可以在将来与更复杂的流程结合使用。然后，这些复杂的流程可以毫不费力地部署到众多服务器上。
SAS – Data Integration Studio
SAS Data Integration Studio 是一个图形用户界面，用于创建和管理数据集成过程。
数据源可以是集成过程的任何平台或应用程序。它包含强大的转换逻辑，允许开发人员创建、计划、执行和跟踪作业。
SAP – BusinessObjects Data Integrator
数据集成和 ETL 工具称为 BusinessObjects Data Integrator。数据集成器设计器和作业服务器构成了其中的大部分。BusinessObjects 的数据集成过程分为四个步骤：数据剖析、数据统一、数据审计和数据清理。
可以使用 SAP BusinessObjects Data Integrator 从任何来源获取数据并将其放入任何数据仓库。
Oracle Warehouse Builder
Oracle Warehouse Builder 是 Oracle 发布的 ETL 工具（OWB）。数据集成过程是通过图形环境构建和管理的。
出于集成的原因，OWB 在数据仓库中使用了多种数据源。数据剖析、数据清理、完全集成的数据建模和数据审计构成了 OWB 的关键能力。OWB 连接许多第三方数据库并使用 Oracle 数据库转换来自众多来源的数据。
Jasper
Jaspersoft 是数据集成领域的先驱，成立于 1991 年，美国总部位于加利福尼亚州。它从多个来源获取数据，提取、转换并将其加载到数据仓库中。
Jaspersoft 商业智能套件包括 Jaspersoft。具有高性能 ETL 功能的数据集成平台称为 Jaspersoft ETL。
Improvado
为了将所有数据保存在一个位置，营销人员可以使用数据分析程序 Improvado。您可以使用此营销 ETL 平台将营销 API 链接到任何可视化工具，而无需任何技术知识。
它可以链接到 100 多种不同类型的数据源。这些数据源将能够连接到单一平台并由其管理，无论该平台位于现场还是云端。它提供了一系列用于连接到数据源的连接器。
Matillion
对于云数据仓库，Matillion 是一种数据转换解决方案。为了快速合并大量数据集并执行必要的数据转换，为分析准备数据，Matillion 利用了云数据仓库的功能。
该系统专门用于从不同来源提取数据，将其加载到企业首选的云数据仓库中，然后将该数据从其孤立状态大规模转换为准确、联合在一起、可用于分析的数据。它适用于 Amazon Redshift、Snowflake 和 Google BigQuery。
Cognos Data Manager
高性能商业智能和 ETL 过程是使用 IBM Cognos Data Manager 执行的。
它具有多语言支持的独特特性，可用于构建全球数据集成平台。Windows、UNIX 和 Linux 平台由 IBM Cognos Data Manager 支持，它可以自动化业务流程。
Pervasive Data Integrator
ETL 工具包括 Pervasive Data Integrator 工具。任何数据源和应用程序之间的快速连接都是有益的。
它是一个强大的数据集成平台，可促进实时数据移动和交换。该工具的组件可以根据需要多次重复使用和部署，因为它们是可重复使用的。
原文标题：What is ETL? Top ETL Tools
原文作者：Prathamesh Ingle
原文链接：https://www.marktechpost.com/2022/11/19/what-is-etl-top-etl-tools/
