猪脸识别、自动投喂！Apache DolphinScheduler还能做这些？

海豚调度 2024-08-15

104

点击蓝字，关注我们

数字化转型提速中！传统农牧食品行业也寻求搭上数字化转型的快车，通过物联网、大数据、人工智能等现代信息技术，实现生产、加工、流通等环节的智能化和自动化，提高生产效率、优化资源配置、提升产品质量，并满足消费者对食品安全和可追溯性的需求。

在数字化浪潮的推动下，铁骑力士集团作为一家历史悠久的农牧食品企业，正通过引入先进的调度平台——Apache DolphinScheduler，实现其数字化转型的宏伟蓝图。

01

本期嘉宾介绍

李贤利，铁骑力士集团的IT架构师，拥有电子与通信工程专业背景，自2014年毕业以来，积累了丰富的行业经验。在广电和军工行业深耕7年后，他将专业视野拓展至农牧养殖食品领域，至今已在铁骑力士集团服务3年。李贤利在分布式系统建设方面尤为擅长，并积极投身于大数据应用、计算机视觉以及大模型落地探索等前沿技术研究。

02

集团概览

铁骑力士集团自1992年成立以来，已发展成为一个拥有150家分子公司的产业集群，涵盖饲料、牧业、食品和生物工程四大领域。集团以全程可控溯源的产业链，确保食品安全，推动现代农业的健康发展。

03

DolphinScheduler的引入

在铁骑力士集团的数字化转型过程中，近万人的集团业务，30多套业务系统需要依靠数字化中心的技术人员作为IT信息支撑，我所在的技术开发部门感到压力巨大。Apache DolphinScheduler的引入是一个关键的里程碑，它不仅支持了集团在饲料事业部、生猪事业部等多个部门，还促进了数字化中心与大数据部的协同工作。

数字化转型中的调度平台

2020年，铁骑力士集团启动了数字化转型变革项目，投入1亿+资金，设立了研发、营销、供应链、财务、人力资源等五大领域，围绕着这五大领域共建设了30多套IT系统。通过建设30多套IT系统，集团实现了业务流程的自动化和智能化。这些系统包括但不限于PLM、QMS、TDB、TBI、ECI等业务，涉及到的调度包括Quartz、Elastic-Job、Xxl-job、Oozie，使用的开发语言包括Delphi、C++、C#、Java和Python等。

这让我思考，是否可以做一个统一的大数据调度平台，统一调度与语言？恰好这时大数据部门的领导推荐了Apache DolphinScheduler。

底座规划中的调度平台

响应四川省数字化转型的号召，集团的数字化转型已进行一年多，为传统企业数字化转型“打样板”，做支撑。为此，集团进行了数字化平台底座规划。

在底座规划中，集团计划将Apache DolphinScheduler作为统一的调度平台。

04

应用案例

2023年，集团正式使用Apache DolphinScheduler，我的使用感受是界面清爽，一目了然，数据源与集团采购系统较为匹配，组件也比较丰富。

IOT设备数据采集与应用

在IOT设备数据采集方面，铁骑力士集团期望利用Apache DolphinScheduler实现了对猪（鸡）舍和屠宰车间环境的实时监控与数据采集，包括温度、湿度、光照度、制冷度、氨气与硫化氢浓度等关键指标，上传到数据资产管理平台，经过对数据的调度，最终在禽畜养殖管理平台展现出来。

通过调度事件，我们希望实现定时喂养、自动投料与喂水等自动化操作，并利用猪脸识别技术监控生猪动态，屠宰车间制冷控制，提高养殖效率。

在我们的构想中，我们希望建成一个禽畜养殖调度管理平台，由总调度平台采集集团所有养殖基地的数据，并形成温度、湿度、光照度、制冷度等的可视化调度管理。

主数据归一化管理

在主数据管理方面，铁骑力士集团通过Apache DolphinScheduler的SQL组件，实现了经销商、供应商、产品物料和人员组织等数据的归一化管理。这一举措不仅提高了数据的一致性和可用性，也为数据驱动的决策提供了坚实的基础。

大数据部门主要使用了Apache DolphinScheduler的DataX和Sqoop组件。

由于系统比较多，数据同步过来之后需要及时进行数据校验，比如唯一单据的校验。

电商情报数据应用

电商情报数据的应用是铁骑力士集团数字化转型的另一亮点。通过Python和Java组件，集团能够高效处理来自不同商超平台的数据，实现数据的快速分析和应用。

级联组件的创新应用

在业务流程自动化方面，铁骑力士集团希望通过Apache DolphinScheduler的级联组件，实现业务场景的创新应用。例如，通过调度平台整合EAA系统与集团的各系统数据，实现从发票/完税证明到报销/收付款的全流程自动化。

有了上面的构想，我们提出了三个方案：

方案1：SQL+PYTHON+HTTP组件，这个方案的优点是可以实现解耦，但SQL组件的列表数据无法传输到下一个组件；
；
方案2：JAVA/PYTHON组件，这个方式实现起来简单，但每个接口都需要写代码；

方案3：HTTP组件，这个方案需要统一调度平台，可以写一个http接口去驱动源系统向目标系统发出请求，但仅仅是换了调度平台。

在实践过程中，我们发现在使用Apache DolphinSchedulers时遇到了一些技术挑战。

05

遇到的挑战与解决方案

例如SQL组件的列表数据无法传输到下一个组件的问题。官方文档显示Apache DolphinScheduler支持SQL和Python参数传递，但在实际应用中，我们发现LIST数据类型是不可传递的。为了解决这个问题，团队只能使用http的方式开发接口，把源数据同步到数据管理平台。

06

对开源社区的展望

虽然由于时间紧急，我曾搁浅了改造源码已实现对LIST数据类型的支持，但考虑到Apache DolphinScheduler未来在集团数字化转型战略中的重要作用，我还是提倡积极参与到Apache DolphinScheduler开源社区中，并且有一些建议给到社区。

据我观察，在农牧行业中，组件之间进行数据传输的应用场景广泛，像铁骑力士这样的大型传统农牧企业，其实技术人员数量不多，大部分系统为外部采购二开，开发能力相对较弱，希望可以有像白鲸开源这样的企业能够提供专业的服务。

另外，从开发层面，希望开源社区能够补齐数据传输管道的场景，有一个过滤器可以过滤掉所需的数据，存储到具体的业务系统中。

当然，我鼓励更多的开发者加入Apache DolphinScheduler社区，共同推动调度平台的发展和创新。

07

结语

随着数字化转型的不断深入，铁骑力士集团将继续探索和实践新技术，以实现更高效、更智能的企业运营。Apache DolphinScheduler作为集团数字化转型的重要工具，将继续在这一过程中发挥关键作用。

< 🐬🐬 >

精彩推荐

用户实践案例

迁移实践

Azkaban Ooize

Airflow （有赞案例） Air2phin（迁移工具）

Airflow迁移实践

Apache DolphinScheduler 3.0.0 升级到 3.1.8 教程

新手入门

选择Apache DolphinScheduler的10个理由

Apache DolphinScheduler 3.1.8 保姆级教程【安装、介绍、项目运用、邮箱预警设置】轻松拿捏！

Apache DolphinScheduler 如何实现自动化打包+单机/集群部署？

Apache DolphinScheduler-3.1.3 版本安装部署详细教程

Apache DolphinScheduler 在大数据环境中的应用与调优

< 🐬🐬 >

参与社区

参与Apache DolphinScheduler 社区有非常多的参与贡献的方式，包括：

贡献第一个PR(文档、代码) 我们也希望是简单的，第一个PR用于熟悉提交的流程和社区协作以及感受社区的友好度。

社区汇总了以下适合新手的问题列表：https://github.com/apache/dolphinscheduler/issues/5689

非新手问题列表：https://github.com/apache/dolphinscheduler/issues?

q=is%3Aopen+is%3Aissue+label%3A%22volunteer+wanted%22

参与社区贡献：https://dolphinscheduler.apache.org/zh-cn/community

来吧，DolphinScheduler开源社区需要您的参与，为中国开源崛起添砖加瓦吧，哪怕只是小小的一块瓦，汇聚起来的力量也是巨大的！

我知道你在看哟

apache 大数据

文章转载自海豚调度，如果涉嫌侵权，请发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。