暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

阿里云E-MapReduce产品新动态及开源大数据前沿技术 2023-3月刊

E-MapReduce&DLF 产品新进展

一、EMR&DLF 新平台功能发布




1、EMR 发布 Spark Native Engine

EMR 发布 Spark Native Engine 对外公测版(EMR-3.45.1和EMR-5.11.1),Spark3 服务可一键开启 Native Engine,支持 SparkSQL、DataFrame 和 PySpark 等应用程序,在标准化测试集 TPC-DS 中, Spark Native Engine 相对于 Java Engine 可提升30%以上。

2、支持默认创建存算分离集群

适用客户:希望使用存算分离集群的客户。

发布功能:创建集群时,可以选择 Hive 存储模式和 Hive 数据仓库路径。

相关文档:
https://help.aliyun.com/document_detail/343457.html

3、按负载弹性伸缩规则支持设置多指标触发条件

适用客户:希望使用EMR弹性伸缩功能的客户

发布功能:用户配置按负载弹性伸缩规则时,可以选择多个系统定义的负载指标。通过多个负载指标衡量集群负载情况,可以降低节点数量变化频率,增加硬件资源利用率。

相关文档:
https://help.aliyun.com/document_detail/445658.htm

4、数据湖构建(DLF)生命周期支持 OSS-HDFS

适用客户:使用 OSS-HDFS 作为大数据存储,有自动存储降本等需求通过生命周期管理对数据湖中的数据库、数据表配置数据管理规则,对数据定期进行存储类型转换,从而节省数据存储成本。

发布功能:数据湖构建(DLF)生命周期支持OSS-HDFS

相关文档:
https://help.aliyun.com/document_detail/426233.html

5、数据湖构建(DLF)增加Flink入湖、EMR统一权限最佳实践

适用客户:所有DLF用户

发布功能:数据湖构建(DLF)增加Flink入湖、EMR统一权限最佳实践。

相关文档:

  • Flink VVP+DLF数据入湖与分析实践
    https://help.aliyun.com/document_detail/477803.html

  • DLF+EMR之统一权限最佳实践
    https://help.aliyun.com/document_detail/479417.html


 
二、E-MapReduce&DLF国际站


1、数据湖构建(DLF)支持印尼Region

适用客户:国际站印尼客户

发布功能:数据湖构建(DLF)产品在印尼正式发布上线。

 

三、EMR Doctor 智能运维系统

1、EMR Doctor 新增三处地域发布

适用客户:所有 EMR Doctor 用户

发布功能:EMR Doctor 产品在印尼Region、张家口Region,弗吉尼亚 Region正式发布上线。


E-MapReduce 产品活动

1、阿里云E-MapReduce Serverless StarRocks开启全面公测

EMR Serverless StarRocks 是由阿里云EMR全新推出的 Serverless StarRocks 服务,StarRocks 是一款高性能分析型数据仓库,使用向量化、MPP 架构、可实时更新的列式存储引擎等技术实现多维、实时、高并发的数据分析。可广泛应用于BI报表分析、OLAP 报表、数据湖分析、实时数据接入及分析等场景。  

EMR Serverless StarRocks 相较于开源 StarRocks 产品特性包括:

  • 提供免运维,全托管的 StarRocks 实例管理服务,提升服务的稳定性,可运维性,降低您的运维成本。       

  • 提供可视化,高效率的实例管理,监控告警,配置管理能力。       

  • 专业的 StarRocks Manager,为 StarRocks 管理提供便捷的,可视化的元数据管理,诊断与优化,以及用户管理和授权能力。 


阿里云 EMR Serverless StarRocks 公测入口:
https://help.aliyun.com/document_detail/475867.htm


最佳技术实践

最佳技术实践

1、阿里云EMR 2.0:定义下一代云原生智能数据湖

本次分享主要介绍了阿里云云原生数据湖分析解决方案的三个核心要素:全托管,湖存储;一站式,湖管理;多模态,湖计算。

点击查看原文

2、基于阿里云 CloudMonitor云监控自定义监控大盘对 EMR 自定义监控实践

本文旨在分享 EMR 平台大数据服务基于阿里云 CloudMonitor 的监控实践,给客户提供除了 EMR 平台默认监控以外,自建监控方式,适用于统一多个阿里云服务的监控监控场景。

点击查看原文

3、数据湖存储的安全写入之道

本文以 Hadoop 社区中的 S3A Connector 的实现为切入,分析了数据湖写入路径的安全性。

点击查看原文

4、通过云监控CloudMonitor实时捕获EMR集群的状态变化

通过结合CloudMonitor以及FC,可以实时捕获EMR集群的生命周期变化,如集群的创建和停止,扩容和缩容以及其他类型的集群状态变更等。

点击查看原文

5、阿里云EMR自定义日志投递与使用实践分享

EMR目前支持了日志管理,即日志客户SLS投递的功能,基于此功能,客户可以将需要的各种大数据组件日志收集到自身SLS中,做查询和分析。基于此功能,客户可以自定义日志路径、规则,对集群设备上的日志自行接收和消费。本文以采集指标文件为例,帮助您快速上手自定义日志投递与使用。

文章详情:
https://developer.aliyun.com/article/1181210



钉钉扫码进群,欢迎咨询与交流前沿开源大数据

    


点击阅读原文查看原文

文章转载自Apache Spark技术交流社区,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

评论