暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

直播回顾 | Flink Exactly Once & Kafka-connector 算子

数栈研习社 2021-10-26
363


哈喽!朋友们
10月21日晚19:00
袋鼠云数栈的
大数据引擎开发技术大咖-小刀
钉钉群、微信视频号B站同步直播

FlinkX技术分享
Flink Exactly Once & Kafka-connector 算子
有没有看呢?

看过的朋友直呼学到了,学到了
错过的人儿想看的话
(方法贴在下面了)
下面和数栈君一起回顾下
本次的直播主要讲了些啥?

敲黑板,划重点

一、Kafka-connector 在Flinkx 中的使用

1.Flinkx 框架ddl 如何映射到 Kafka-connector?

2.Flinkx Kafka-connector 基于Flink 原有对Connector 扩展-Source 部分

  • Metric 信息基于State保存

  • 负载SubscriptionState 添加了对消费延迟信息对获取

  • 脏数据对管控(包括脏数据指标的监控,脏数据信息的记录等)

3.Flinkx Kafka-connector 基于flink 原有对connector 扩展-Sink部分

  • Metric 信息基于State保存

  • 自定义分区逻辑,用于将相同的key 放入同一个分区


二、kafka-connector 如何进行分片

1.Flink 是如何获取到Kafka 分区的, 和Batch 比如读取rdb 分片有什么区别?

2.Flink 的Subtask 是如何和对应的Kafka Partition 关联上的?

3.如果Kafka 分区发生变化, Flink 是如何感知到的呢?


三、如何实现Exactly Once

1.实现关键接口:CheckpointedFunction, CheckpointListener
2.Flink-Kafka-connecotr 如何实现的二阶段提交


错过直播的朋友请注意:

钉钉或搜索:30537511 加入技术交流群,回看直播,获取完整的课件资料。
在b站搜索“袋鼠云”回看直播视频
b站视频网址:https://www.bilibili.com/video/BV1jU4y1c7Eo/
我们定期会邀请技术大牛来给我们做分享,大家关注我们的下一期直播哦~


更多技术交流方式

想面对面技术交流?想看技术大佬直播?扫码加入钉钉群“袋鼠云开源框架技术交流群”(群号:30537511)



想体验更多数栈开源项目?在Github社区或Gitee社区搜索“FlinkX”开源项目


Github开源项目地址:

https://github.com/DTStack/flinkx


Gitee开源项目地址:

https://gitee.com/dtstack_dev_0/flinkx



点击阅读原文,一键到达FlinkX开源项目!


文章转载自数栈研习社,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论