暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

流批一体平台StreamX 1.2.0正式发布

StreamX 2021-11-16
468

点击上方蓝字关注我们




各位关注和使用 StreamX 的小伙伴们:


好消息!经过贡献者们的不懈努力,现在我们终于可以很高兴地宣布:  StreamX 1.2.0 正式发布,欢迎大家下载使用


StreamX 是Flink & Spark极速开发脚手架,流批一体一站式大数据平台。 自2021年3月开源以来,贡献者已累计发展到10多位。距离上次发布版本已过去4个多月, 在这4个多月的时间里,贡献者们付出了艰辛的努力,在这个版本中进行了多项关键更新和优化,实现了与 Hadoop 解耦,带来了用户呼声很高的 Flink on Kubernetes, 使得 Flink 可以更加自由的选择部署模式。


目前,StreamX 完整的支持了 on YARN 和 on Kubernetes,对Flink多版本也做了很好的支持,这标志着项目中核心的基础建设工作已经完成。

StreamX 在产品呈现上始终坚持简单易用,给用户一个极致的使用体验。在功能实现上,开发者们不惧踩坑,不惧艰难,突破层层难关。
再漫长的黑夜也会有迎来朝阳的那一刻,太阳照常升起。







新功能





  • 与 Hadoop 解耦, 平台在启动时不在强制依赖 Hadoop 环境
  • 较完整的支持了 Kubernetes 部署模式(Native Application/Native Session)
  • Kubernetes 部署模式下, 任务的状态追踪监控
  • 支持自动 build/push 镜像
  • Flink 最新1.14.0 支持, 目前已经支持 Flink 1.12.x / 1.13.x / 1.14.0
  • 新增打包机模块,任务打包 fat-jar 更方便

(Kubernetes部署演示视频)






优化改进





  • 改进 on YARN 部署模式下 Kerberos 认证续期 (#223)

  • 修复相关构建时实时日志不显示的 bug (#342)

  • Flink 多版本支持优化,支持在任务里指定 Flink 的版本 (#349)

  • FlinkSql 方言设置相关bug修复 (#365)

  • 改进项目编译时的状态显示 (#376)

  • 重构启动脚本,新增 restart/status 等操作 (#380)

  • 优化 FlinkSql 校验,修复语法解析相关 bug (#400)

  • on YARN 模式下可配置指定hadoop user name (#427)

    ....


(Flink多版本支持演示视频)






致谢名单





感谢所有参与 StreamX 1.2.0 版本设计、开发、测试、讨论的社区贡献者们(GitHub ID):



wolfboys

Al-assad

Zclhlmgqzc

xiejiajun

WilsonWangCS

SoberChina

1353297670

glacierck

Hermesfuxi

yiwei00000

caoenergy

CecilHarvey

zhangjun0x01







加入我们






StreamX 遵循 Apache-2.0 开源协议,将会是个长期更新的活跃项目,自开源以来就受到很多同行的关注和认可,其中不乏业内大佬。目前在没有任何形式推广的情况下,靠口碑在短短半年时间内已经累计 500+ star,已陆续有来自金融,数据分析,车联网,智能广告,地产等公司的朋友在使用或二开,也不乏来自一线大厂的朋友在研究使用。流批一体,湖仓一体,数据湖是大数据领域的趋势,StreamX 虽离这个目标还有一段距离,但我们始终坚信: 道阻且长,行则将至,行而不辍,未来可期。我们将坚持开放协作,持续更新,同时努力构建社区。为了更好更快的发展,真诚欢迎热爱开源的伙伴加入到贡献中来,为中国开源崛起献上一份自己的力量。



符:

Streamx 官网:  
http://streamxhub.com
Streamx Github:  
https://github.com/streamxhub/streamx
Streamx Gitee:  
https://gitee.com/streamxhub/streamx
on K8s 部署:
http://www.streamxhub.com/zh/doc/flink-k8s/1-deployment



往期推荐



Hello, StreamX




点个在看你最好看

文章转载自StreamX,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论