FFA 2021 专场解读 - 行业实践

▼ 关注「ApacheFlink」视频号，遇见更多大咖 ▼

12 月 4-5 日，Flink Forward Asia 2021 重磅开启，全球 40+ 多行业一线厂商，80+ 干货议题，带来专属于开发者的技术盛宴。

本次演讲将分享中原银行在实时风控领域中自主化探索与实践，包括以下方面：

1. 介绍风控发展方向；
2. 实时数据处理技术选型 - Flink；
3. 整体技术架构：Flink + 智策 + 天机 + 数据服务的技术融合方案；
4. 实施场景 1：申请与交易反欺诈；
5. 实施场景 2：授信审批场景；
6. 实时风控体系建设成效；
7. 业务效果。

1. 证券行业实时计算意义；
2. 实时流处理平台整体建设方案。元数据管理、数据采集、数据实时开发、数据网关、数据运营；
3. 现阶段应用场景介绍。助力基金投顾、实时零售业务；实时交易流水、资讯数据查询；内部链路实时 ETL；
4. 场景：金融资讯数据多源实时校验。针对金融业内特有且普遍遇到的多来源资讯数据缺乏一致性校验问题，介绍中信建投实时校验解决方案；
5. 基于 Hologres 的流批一体实践。

建设背景：EPC 项目建设的电厂，变电站等工地的传感器，人员数据等不断累计，希望分析安全隐患，预防事故发生。在矿山资源开采过程中，希望结合车辆定位，过磅等数据优化运营分析，提高开采及运输效率。基于以上场景，考虑到数据量及分析的需求，决定采用大数据的方案进行处理。作为非互联网的传统工业企业，没有大数据积累，分析对比之后选择 Flink 作为大数据处理平台。

实施落地：

• 例 1，在公司的矿山开采过程中，如何合理设置矿山的磅站位置，每天到场多少辆车进行运输合适，结合车辆定位和磅站数据进行实时分析，监督矿石的开采运输及现场实际情况的维护，保证开采、运输及过站正常运作。
• 例 2，电厂现场安置在线监测设备，包括倾角、光纤光栅、GPS 等传感器，利用监测设备对现场变形情况进行监测，防患安全事故发生。

吴江｜蔚来汽车大数据部门数据开发，OLAP 平台 tech lead

1. 流式计算在蔚来的发展。最开始基于 Spark Streaming 做一些简单的实时处理 -> 开始引入 Flink -> 采用命令行式的 Flink 任务部署和管理 -> 开发实时数据开发平台 1.0 版本 (支持基于 Flink jar 的任务提交与管理) -> 正在开发实时数据开发平台 2.0 版本 (在 1.0 的基础上，增加 Flink SQL 以及 UDF 管理，并且支持 kerberos 认证等)；
   
   
2. Flink 的具体应用场景
   
   

• 实时数仓及 OLAP 平台：目前我们构建实时数仓还处在比较初始的阶段，正在逐步构建过程中。我们已经在一些项目比如 nio app 的埋点分析中，对流式的数据做了分层，来逐渐沉淀经常使用的公共数据，增加数据的复用。实时数仓还要提供 OLAP 的能力，为了充分发挥实时的能力，会将 Flink 和 Doris 结合，从而能够提供更加灵活完善的平台化的 OLAP 能力；

• 电池安全：由于蔚来的可换电模式，电池数量是大于车的数量，电池状态数据的实时获取/处理，对电池安全至关重要。这块主要讲 Flink 怎么助力提升电池安全；

• 实时看板：看板展示包括实时和离线数据，主要统计和展示用户相关的触点和行为信息。实时和离线数据底层统一用 Apache Doris 进行数据摄入/存储和查询。其中各种实时指标还会直接推给前端，对于复杂的实时指标计算 (比如前端动态选择计算多个城市下的实时 UV)，采取了一种新颖的解决方案，会以 Flink 计算引擎为核心驱动，结合前端一起参与计算，实现从端到端 (Kafka -> Flink -> 前端) 的全链路流式计算；

• cdp (客户数据平台)：

• 用户画像 & 圈人：依托 Flink 的实时计算和处理，以及 Apache Doris 的实时摄入和快速查询的能力，提供用户标签/用户分群数据的实时获取能力；
• 运营平台：运营平台对选定的人群发送 IM 消息，短信，发放积分卡券等，对于系统的可靠性和数据一致性要求很高 (发送消息要尽量做到不丢不重)。在这个典型的属于后台服务的场景下，Flink 依旧发挥了至关重要的作用。由于发送 im 消息和短信，本身不具备 rollback 能力，我们参照传统的两阶段提交协议，设计了特殊的分布式事务恢复机制，利用 Flink 实时回放 redo log，保证各个 task 之间的状态最终一致性；
• 跨业务系统数据实时聚合：连接，打通，和汇聚不同业务的数据；
• 实时监控和告警：利用训练好的机器学习模型，实时提供指标的异常检测和告警。
  
  

刘石伟｜字节跳动数据平台数据流技术负责人

数据流是字节跳动所有流量数据的入口，承担着流量数据的接入、ETL、分发、治理等重要职责。Flink 作为当下最流行的流式计算框架被广泛应用于数据流的各个环节，本次分享将介绍字节跳动数据流在 Flink 应用实践中遇到的挑战以及相关优化。

1. 业务场景和遇到的问题

• 整体架构；
• 遇到的挑战 / 问题；
• 流量大，下游多，稳定性要求高；
• 业务变化快，业务逻辑修改频率高；
• 部分场景要求更低的端到端延时；
• 批流两套处理链路。

1. 基于动态规则的 Flink ETL

• 推荐场景；
• ETL 分流场景。

1. 数据治理 & SLA 指标建设

• 稳定性治理；
• 拆分任务；
• 链路分级，埋点管控；
• 数据延迟/丢失率/重复率 SLA 指标。

1. 未来展望

• 流批一体；
• 规则引擎性能优化。

1. 公司背景介绍；

1. 实时场景分析；

1. 实时平台化建设

• 整体架构设计；
• 作业引擎实现；
• HIVE 元数据 & UDF 注入；
• 实时调试；
• SLA 保障；
• 实时元数据 & 全链路血缘；

1. 实时数仓探索。

刘桂海｜特来电平台智能保障团队技术负责人

1. 特来电云平台简介：新能源充电行业海量高并发互联网网技术架构；

1. 特来电云平台智能运维简介：基于 AIOps 的智能监控、智能分析、智能控制；

   
   

2. Flink 在特来电云平台智能运维的应用场景

• 指标分析：基于 Flink 的海量高并发的监控引擎；
• 链路分析：基于 Flink 及图数据库的服务链路调用知识图谱、用户行为分析知识图谱；
• 日志分析：基于 Flink 及自然语言处理的异常信息聚类分析、异常日志突变分析；

1. Flink 在特来电云平台智能运维的未来计划：机器学习迁移到 Alink、基于 K8s 运行 Flink。

张迎｜作业帮实时计算平台负责人

在作业帮实时计算演进过程中，Flink 起到了重要的作用，特别是借助于 FlinkSQL 极大的提高了实时任务的开发效率。本次演讲主要分享 FlinkSQL 在作业帮的使用情况、实践经验，以及随着任务规模增长，在从 0 到 1 搭建实时计算平台的过程中遇到的问题及解决方案。

1. 业务背景；

1. 发展历程；

1. 解决方案；

1. 总结展望。

王林红｜易车数据平台负责人

1. Flink 实时计算平台建设：数据集成、元数据管理、数据血缘、数据实时开发、监控优化等；
2. Flink 在实时数仓、批流一体方面的应用实践；
3. Flink + Hudi 应用实践。

覃永靖｜奇安信集团技术委员会委员、高级技术专家、NGSOC 事业部安全引擎团队架构师

在互联网时代，安全已经成为企业的命脉。奇安信集团作为国内网络安全领军企业，需要与业界同步，使用各种先进技术来保障客户业务安全。本演讲主要介绍了奇安信集团在打造自研的基于 Flink 的实时安全分析引擎 Sabre 的过程中，对于安全基线的设计和实现过程中遇到的挑战以及对应的解决方案，并分享了很多踩过的坑，同时还有一些思考和总结。希望对从事安全领域相关工作的同学能够有所启发或者帮助。内容包括：

1. 什么是安全基线，介绍安全基线中基于特征和基于行为的两种检测模型，介绍相关安全场景，以及安全领域的四个主要约束，异常检测，受限的资源状态，实时分析和非实时的区别，快速响应的必要性；

1. 实时框架的选择，为何采用 Flink 框架而不是 Spark 框架；

1. 实时安全基线的设计和实现。

欢迎进入赛事官网了解详情：

https://www.aliyun.com/page-source//tianchi/promotion/FlinkForwardAsiaHackathon

   戳我，报名 FFA 2021 大会！