暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

TiCDC 新架构试用通道正式开启,多重参与奖励等你拿!

PingCAP 2025-02-17
165

马上报名:扫码报名活动,提交成功后即可加入:TiCDC 新架构试用活动微信群

从 TiDB v6.5 开始,TiCDC ( https://docs.pingcap.com/zh/tidb/stable/ticdc-overview ) 就代替了 Binlog 成为了首选的 TiDB 往下游系统的增量同步工具。通过拉取上游 TiKV 的数据变更日志,TiCDC 可以将数据解析为有序的行级变更数据输出到下游。一直以来,TiCDC 作为 TiDB 生态系统中不可或缺的增量数据同步工具,在数据库灾备、数据集成、流处理与实时分析、业务连续性保障、多写多活等场景都扮演着重要的角色。为了给大家带来更好的产品体验,研发团队在提升 TiCDC 性能、稳定性、扩展性方面不断发力,为 TiCDC 设计了全新的架构✨。新架构 TiCDC 预计将在近期的新版本发布。2025 年 2 月 13 日 - 3 月 14 日,TiDB 社区将和大家一起,开启一场 TiCDC 新架构试用之旅!

无论你是正在使用 TiCDC,希望评估新架构 TiCDC 的提升是否可以解决当前痛点,助力突破业务瓶颈;还是对 TiCDC 产生兴趣,想要探索最新的发展动态的小伙伴,都能在本次 TiCDC 新架构试用活动中收获满满,充分参与 TiCDC 的技术升级进程!

在试用过程中,你将收获满满:

  • 熟悉 TiCDC 新老架构的原理和使用方法,提升个人技术水平

  • 参与 TiCDC 新架构的测试和反馈,直接影响 TiCDC 未来的优化方向,成为 TiDB 产品发展的参与者和推动者

  • 获取丰厚奖励、周边礼品、社区荣誉称号等,在伴随 TiCDC 发展的道路上,收获满满的成就感和荣誉感

新架构 TiCDC 没有功能上的变化,但是它在性能、稳定性和扩展性等方面将会有显著提升。

以下是测试结果和优势总结:

1. 显著提升了单节点处理性能

a. 一个 CDC 节点最高可以支持 50 万张表(0.5M)

b. 一个 CDC 节点最多可以同步 200MiB/s 流量(宽表场景)

2. 提供了超强的扩展能力

a. 预计可以扩展到 100 个节点以上

b. 支持超过 1 万个 changefeed

c. 一个 changefeed 可以放几百万张表

3. 更高的稳定性

a. 在高流量下更稳定的延迟 Lag

b. 扩容、缩容,添加、删除等操作对其他 changefeed 的影响更小

4. 更省成本,用更少的资源跑同样的流量

a. CPU、内存效率在典型场景有最多一个数量级的提升

关于新架构 TiCDC 的更详细的介绍可以阅读文章新架构 TiCDC 简介

1. 活动报名奖励:扫描二维码或点击文末阅读原文报名活动即可获得 TiCDC 新架构试用活动参与者电子纪念徽章 + 100 TiDB 社区积分 & 经验值奖励(可在 TiDB 社区兑换中心 ( https://tidb.net/member/redeem)兑换你喜欢的 TiDB 周边 & 课程等)

2.参与反馈奖励:参与 TiCDC 新架构试用,扫描二维码或点击文末阅读原文进行新架构使用体验、优化建议、Bug 反馈,奖励 200 TiDB 社区积分 & 经验值 

3. 优质反馈奖励:若反馈的 Bug 被成功复现 & 定位,将授予 TiCDC 新架构试用达人电子纪念徽章,根据反馈情况,额外奖励 100-500 TiDB 社区积分 & 经验值不等,同时抽 5 位优质反馈的小伙伴送 TiDB 社区 2025 年新款双肩背包一个

4. 输出文章奖励:在 TiDB 社区专栏 ( https://tidb.net/blog )发布 TiCDC 新架构试用体验、最佳实践的优质文章,如在新架构 TiCDC 上业务有什么变化等, 每篇文章成功发布将奖励 100-600 TiDB 社区积分 ( https://asktug.com/t/topic/999889/1 ),并额外奖励 300 TiDB 社区积分 & 经验值/篇 + TiDB 定制秋冬款冲锋衣一件

参考文章:

  • 专栏 - TiDB:主从同步从 Binlog 切换至 Ticdc 带来性能飞跃!| TiDB 社区 ( https://tidb.net/blog/c8f548e8 )

  • 专栏 - TiCDC 实践:TiDB 集群合并 | TiDB 社区 ( https://tidb.net/blog/f7274e70 )

  • 专栏 - 基于 TiCDC 创建灾备和容灾切换 | TiDB 社区 ( https://tidb.net/blog/d04fedf0 )

  • 专栏 - 10 倍提升-TiCDC 性能调优实践 | TiDB 社区 ( https://tidb.net/blog/d95e2c1b )

5. 特别荣誉奖项:

  • 优质 Bug 反馈数 Top 3:我们将为你颁发“TiCDC 杰出贡献奖”,并可获得 TiDB 定制秋冬款冲锋衣 + TiDB 社区定制咖啡杯 + 纪念证书

  • 优质文章 Top 3(由 TiCDC 团队评选)我们将为你颁发“TiCDC 最佳布道奖”,并可获得 Ti 工业风机械键盘 + 纪念证书

  • 新架构最佳实践 Top 3(由 TiCDC 团队评选)我们将为你颁发“TiCDC 最佳实践奖”,并可获得 Ti 红露营装备五件套 + 纪念证书

  • 参选条件:通过构造场景,充分挖掘 TiCDC 的最强性能,并发布最佳实践文章。例如:

  • 极致的资源利用在极低的资源条件下(如有限的 CPU 和内存),实现高吞吐量的高效运行。

  • 大规模集群扩展:通过集群扩展,实现超高的吞吐量,突破性能瓶颈。

  • 超大规模集群稳定性:将 TiCDC 集群扩展到超多节点,确保系统在大规模环境下仍能稳定运行。

6. 评论互动奖励:点击文末阅读原文,在论坛活动帖评论区留言你的 TiCDC 使用场景,奖励 50 TiDB 社区积分 & 经验值

试用 TiCDC 新架构需要安装的 TiDB 集群为 v7.5.0 及以上版本

  • 活动报名 & 测试体验时间:2025 年 2 月 13 日 - 3 月 14 日

  • 提交反馈 & 撰写文章截止时间:2025 年 2 月 13 日 - 3 月 18 日

  • 活动奖励评选发放时间:2025 年 3 月 19 - 21 日

1 认识 TiCDC:基于 TiUP Playground 的快速体验流程

   

如果你想从零开始体验 TiCDC,并且没有现成的 TiDB 集群环境,可以参考下面这个流程,只需要 copy & paste 下面的命令就能完成所有体验!

1. 启动上游 TiDB 集群

TICDC_NEWARCH=true tiup playground nightly --ticdc 1 --tiflash 0

2. 启动下游 TiDB 集群
tiup playground nightly --tiflash 0 --db.port 4050

3. 创建 changefeed 同步任务
# 创建 id 为 demo 的 changefeed,将上游集群所有包含主键或者非空唯一索引的表同步到下游 TiDB 集群
tiup cdc:nightly cli changefeed create --server=http://127.0.0.1:8300 --sink-uri="mysql://root@127.0.0.1:4050/" --changefeed-id="demo"

4. 至此,新架构已经配置完成,可以在上游集群运行任意负载,比如运行 ycsb 负载
tiup bench ycsb load tidb -p tidb.instances="127.0.0.1:4000" -p recordcount=10000

5. 连接下游集群,查看数据同步情况
mysql --host 127.0.0.1 --port 4050 -u root -e "select count(*) from test.usertable"

2 测试 TiCDC 新架构:基于 TiUP Cluster 的正式体验流程

   

如果你想在一个比较正式的环境体验新架构 TiCDC,可以参考下面的流程。
1.使用 TiUP 部署 ( https://docs.pingcap.com/zh/tidb/stable/production-deployment-using-tiup )一个正式的 TiDB 集群,要求是 v7.5 或者以上版本

a. 如果你已经有一个 TiDB 集群,可以跳过这个步骤

2. 部署 TiCDC 节点

a. 如果你的集群没有 TiCDC 节点,使用 TiUP 在上面的 TiDB 集群中扩容出多个 TiCDC 节点,比如
tiup cluster scale-out <cluster-name> ./scale-out-cdc.yaml

b. 如果你的集群已经存在 TiCDC 节点,这个时候只需要 pause 掉所有的 changefeed 即可
3. 下载最新的 TiCDC 版本的 binary,然后 patch 到 TiCDC 集群中
下载地址:
Linux x86-64: https://tiup-mirrors.pingcap.com/cdc-v9.0.0-alpha-nightly-linux-amd64.tar.gz
Linux ARM64: https://tiup-mirrors.pingcap.com/cdc-v9.0.0-alpha-nightly-linux-arm64.tar.gz
MacOS x86-64: https://tiup-mirrors.pingcap.com/cdc-v9.0.0-alpha-nightly-darwin-amd64.tar.gz
MacOS ARM64: https://tiup-mirrors.pingcap.com/cdc-v9.0.0-alpha-nightly-darwin-arm64.tar.gz

# 将新的 TiCDC binary patch 到集群中
tiup cluster patch <cluster-name> <path-to-download-file> -R cdc --overwrite

4. 修改 TiCDC 配置,启用新架构
tiup cluster edit-config <cluster-name>
#vim
#cdc_servers:
# ...
# config:
#    newarch: true

5.目前 TiUP 已经将 TiCDC 新架构监控面板集成到 Grafana 页面中,其名称为 <cluster-name>-TiCDC-New-Arch,可以通过该面板查看新架构相关监控指标。

6. 至此,你已经完成了新架构的所有配置,可以开始体验了!

a. 你可以按照 TiCDC 的官方文档 ( https://docs.pingcap.com/zh/tidb/stable/ticdc-sink-to-mysql )来创建一些 changefeed

b. 或者如果原来已经有一些已经存在的 changefeed,这时候可以 resume 它们继续执行同步任务。

测试新架构 TiCDC,可以考虑从这个几个角度入手:

1. 模拟你的正常业务操作,如果遇到任何 bug,请反馈到这里 ticdc/issues ( https://github.com/pingcap/ticdc/issues ),我们会尽快修复

2. 观测延迟 lag 是否比之前更稳定,特别是在业务高峰期

3. 观测资源使用率(CPU、内存)是否显著下降

4. 测试扩容、缩容 TiCDC 集群,或者对 changefeed 进行创建、删除、pause、resume 等操作,观察 changefeed 的 lag 有什么影响,过程中流量是否平稳,是否存在不均衡的状况等

5. 如果你之前由于表太多、DDL 太频繁或者流量太大等原因导致需要拆分 changefeed 甚至集群才能完成,可以尝试在新架构 CDC 中只用一个集群或者少数 changefeed 是否能正常同步

6. 针对你的业务,看看 CDC 还有哪些地方可以改进的

7. 其他测试方向

注意:TiCDC 的新架构尚未完全涵盖旧架构的全部功能,这些功能将在后续的正式发布(GA)版本中完整实现,具体包括:

  • 拆分 Update 事 ( https://docs.pingcap.com/zh/tidb/stable/ticdc-split-update-behavior )

  • 灾难场景的最终一致性复制 ( https://docs.pingcap.com/zh/tidb/stable/ticdc-sink-to-mysql#灾难场景的最终一致性复制 )

  • 拆分大事务

  • TiCDC Avro Protocol ( https://docs.pingcap.com/zh/tidb/stable/ticdc-avro-protocol )

  • TiCDC CSV Protocol ( https://docs.pingcap.com/zh/tidb/stable/ticdc-csv )

  • TiCDC Debezium Protocol ( https://docs.pingcap.com/zh/tidb/stable/ticdc-debezium )

  • TiCDC Simple Protocol ( https://docs.pingcap.com/zh/tidb/stable/ticdc-simple-protocol )

  • Event Filter 事件过滤器 ( https://docs.pingcap.com/zh/tidb/stable/ticdc-filter#event-filter-事件过滤器-从-v620-版本开始引入 )

  • TiCDC 单行数据正确性校验 ( https://docs.pingcap.com/zh/tidb/stable/ticdc-integrity-check )

  • TiCDC 双向复制 ( https://docs.pingcap.com/zh/tidb/stable/ticdc-bidirectional-replication )

  • 同步数据到 Pulsar ( https://docs.pingcap.com/zh/tidb/stable/ticdc-sink-to-pulsar )

  • 同步数据到存储服务 ( https://docs.pingcap.com/zh/tidb/stable/ticdc-sink-to-cloud-storage )

  • 活动时间:2025 年 2 月 26 日(周三) 19:00-20:00

  • 分享嘉宾:TiCDC 研发负责人 韦万

  • 分享主题:全面了解 TiCDC 新架构带来了哪些优化?

  • 活动议程:

  • 19:00-19:45 主题分享

  • 19:45-20:00 Q&A

  • 活动报名 & 进活动群:扫描二维码立即报名活动

期待大家的参与!让我们一起开启 TiCDC 新征程,点亮更好的 TiDB 产品体验!

💡 点击文末【阅读原文】,抢先体验!

文章转载自PingCAP,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论