随着 Tapdata Connector 的不断增长,我们最新推出《Tapdata Connector 实用指南》系列内容,以文字解析辅以视频演示,还原技术实现细节,模拟实际技术及应用场景需求,提供可以“收藏跟练”的实用专栏。本期实用指南将以 Tapdata 新增数据源 Salesforce → MongoDB 为例,演示 Tapdata 能够为 SaaS 类数据源的数据同步需求提供怎样的支持。
为什需要从 Salesforce 单兵作战走向组合牌
诚然,Salesforce CRM 已经为企业提供了一套相当全面的解决方案,包括销售自动化、客户服务、营销自动化和协作平台等,并由此帮助企业优化客户关系管理、提高销售效率、加强协作与沟通,以及提供数据分析等功能,从而提升企业的竞争力和业务水平。但并不能适用于所有企业的数据存储和处理需求,因而在单独使用时常会在以下几个方面受到掣肘:
数据量大时性能下降:当数据量达到一定规模时,Salesforce 的性能可能会下降,导致响应时间变慢,用户体验不佳;
数据分析功能有限:Salesforce 的数据分析功能相对较弱,不支持大规模数据分析和数据挖掘,对于需要进行深入分析的企业而言,会是个不小的麻烦;
限制开发自定义应用:Salesforce 的自定义应用开发受限,需要使用特定的开发语言和框架,不够灵活,开发周期可能较长;
访问量受定价模式限制:Salesforce 是按用户收费的,需要购买年度许可证才能开始使用。这样的定价模型可能会对访问和使用数据产生限制,从而影响企业在数据分析和管理方面的能力。企业可能需要在控制成本和提高数据访问灵活性之间进行权衡。
因此,为了充分利用企业数据,可以考虑将 Salesforce 和其他数据库或数据仓库联合使用,像是 MongoDB、BigQuery 等等,不仅可以有效解决上述问题,提高数据处理的效率和精度,通过将 Salesforce 中的数据整合到企业的数据生态系统中,还能实现更全面的数据分析、决策和应用,达到组合优势。
以 MongoDB 为例
大多数情况下,企业需要处理不同种类的数据,例如销售、客户关系、产品、员工和财务数据等。而 Salesforce 则主要用于管理客户关系和销售过程,因此并不能很好地满足企业在其他方面的数据处理需求。而 MongoDB 作为一个面向文档的 NoSQL 数据库,适用于处理半结构化和非结构化数据,且拥有更好的扩展性和灵活性。二者结合可以为企业用户创造价值如下:
更好地管理客户数据:打破 Salesforce 限制,更好地了解客户需求,提高销售效率;
更强大的数据处理能力:MongoDB 拥有强大的数据存储和查询能力,能够轻松处理大规模数据的存储和查询,且在大规模半结构化和非结构化数据处理方面表现出色,例如日志、社交媒体数据和传感器数据等,企业由此获得更好的洞察力,从而更好地了解其客户和市场趋势,发掘更多商业机会。
数据安全与灵活性保障:一方面,Salesforce 提供了严格的安全控制和访问权限控制,能够保护企业数据的安全。另一方面,MongoDB 的数据模型和查询语言非常灵活,可以适应不同的数据结构和查询需求。
Salesforce→ MongoDB 的数据同步任务
版本指路:
操作流程详解(Tapdata Cloud)
① 登录 Tapdata Cloud

② 创建数据源 Salesforce 的连接
在 Tapdata Cloud 连接管理页面,点击【创建连接】按钮,并在 Alpha 数据源中选择 Salesforce:

输入连接名称,并点击授予令牌:





参考右侧连接配置帮助,完成 MongoDB 的连接创建:

④ 新建数据同步任务
*Tapdata Cloud 目前是主要支持【数据复制】和【数据开发-Beta】能力,前者主要用于数据库到数据库的复制,后者主要用于表到表的数据复制和迁移,支持更多节点操作,可按需选用。本文将以数据开发任务作为模板演示。
右侧菜单栏点击【数据开发】,再点击【创建】按钮,进入任务创建 DAG 页:

通过拖拉拽的方式,将刚创建的 Salesforce 源节点,与 MongoDB 目标节点拖入画布并连线:

点击源节点与目标节点,分别选择待同步表和目标表后,即可启动任务:

Why Tapdata?
很多企业在面对类似的数据同步需求时,习惯于从编写自定义 ETL 脚本开始,但这不仅会影响项目推进速度,通常还需要后续不短的人力和时间投入来维护这些脚本的稳定运行。但如果能将这部分工作交由一个优秀的工具进行自动化处理,无疑可以省下大量投入数据处理与调度以及复杂硬编码脚本的时间,让整个团队更高效。而这正是 Tapdata 在做的事。
借助 Tapdata 出色的实时数据能力和广泛的数据源支持,可以在几分钟内完成从 Salesforce 到目标库包括全量、增量等在内的多重数据同步任务。
在 Salesforce → Any Destination 的数据同步任务中,Tapdata 展现出如下优势:
内置 60+ 数据连接器,稳定的实时采集和传输能力
以实时的方式从各个数据来源,包括数据库、API、队列、物联网等数据提供者采集或同步最新的数据变化。支持多源异构数据双向同步,自动映射关系型到非关系型。一键实现实时捕获,毫秒内更新。已内置 60+连接器且不断拓展中,覆盖大部分主流的数据库和类型,并支持您自定义数据源。
具有强可扩展性的 PDK 架构
对源库几乎无影响
基于自研的 CDC 日志解析技术,0入侵实时采集数据,对源库几乎无影响。
全链路实时
基于
Pipeline 流式数据处理,以应对基于单条数据记录的即时处理需求,如数据库 CDC、消息、IoT 事件等。不同于传统
ETL,每一条新产生并进入到平台的数据,会在秒级范围被响应,计算,处理并写入到目标表中。同时提供了基于时间窗的统计分析能力,适用于实时分析场景。
数据一致性保障
可视化任务运行监控和告警




