暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

快手基于Apache Flink的持续优化实践

大数据猫 2021-06-07
783


分享嘉宾:董亭亭 快手

编辑整理:猫哥

出品平台:大数据猫



导读:最近忙着天天晚上做梦都是干活,百忙之中也是抽空过来看看Flink一年一度的分享大会。整体看了一下,本次分享偏向于平台化支持,由于快手需要支持春晚和商业化,他们需要面临几个问题,
我重点梳理了一下。晚和快手商业化广告需要实时流高稳定:
  • 上游kafka双集群,双topic,如果上有一个topic故障了,如何让flink快速切换,快手做了source接入端的代码升级,二次开发,同时也在sink端做了二次开发

  • 故障动态感知,从分钟级降低到秒级

  • flink启动优化

  • flink的sql倾斜问题,udf函数复用


关注公众号回复:"clickhouse",即可获得ClickHouse资料合集。


文章转载自大数据猫,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论