此书八成新,无任何笔迹,不影响阅读。新书定价:68元
内容简介:
Spark是业界认可的近几年发展很快、很受关注度的一体化多元化的大数据计算技术,可以同时满足不同业务场景和不同数据规模的大数据计算的需要。
本书首先通过代码实战的方式对学习Spark前必须掌握的Scala内容进行讲解并结合Spark源码的阅读来帮助读者快速学习Scala函数式编程与面向对象完美结合的编程艺术,接着对Hadoop和Spark集群安装部署以及Spark在不同集成开发环境的开发实战作出了详细的讲解,然后基于大量的实战案例来讲解Spark核心RDD编程并深度解密RDD的密码,并且通过实战的方式详解了TopN在Spark RDD中的实现,为了让读者有效了解Spark,本书用了大量的篇幅详细解密了Spark的高可用性、内核架构、运行机制等内容。
目录
第1章 Scala光速入门
1.1 Scala基础与语法入门实战
1.1.1 Scala基本数据类型
1.1.2 Scala变量声明
1.1.3 算术操作符介绍
1.1.4 条件语句
1.1.5 循环
1.1.6 异常控制
1.2 Scala中Array、Map等数据结构实战
1.2.1 定长数组和可变数组
1.2.2 数组常用算法
1.2.3 Map映射
1.2.4 Tuple元组
1.2.5 List列表
1.2.6 Set集合
1.2.7 Scala集合方法大全
1.2.8 综合案例及Spark源码解析
1.3 小结
第2章 Scala面向对象精通及Spark源码阅读
2.1 Scala面向对象详解
2.1.1 Scala中的class、object初介绍
2.1.2 主构造器与辅助构造器
2.1.3 类的字段和方法精通
2.1.4 抽象类、接口的实战详解
2.1.5 Scala Option类详解
2.1.6 object的提取器
2.1.7 Scala的样例类实战详解
2.2 Scala综合案例及Spark源码解析
2.3 小结
第3章 Scala函数式编程精通及Spark源码阅读
3.1 函数式编程概述
3.2 函数定义
3.3 函数式对象
3.4 本地函数
3.5 头等函数
3.6 函数字面量和占位符
3.6.1 Scala占位符
3.6.2 函数字面量
3.6.3 部分应用函数
3.7 闭包和
3.8 高阶函数
3.9 从Spark源码角度解析Scala函数式编程
3.10 小结
第4章 Scala模式匹配、类型系统精通与Spark源码阅读
4.1 模式匹配语法
4.2 模式匹配实战
4.2.1 模式匹配基础实战
4.2.2 数组、元祖实战
4.2.3 Option实战
4.2.4 提取器
4.2.5 Scala异常处理与模式匹配
4.2.6 sealed密封类
4.3 类型系统
4.3.1 泛型
4.3.2 边界
4.3.3 协变与逆变
4.4 Spark源码阅读
4.5 小结
第5章 Scala隐式转换等精通及Spark源码阅读
5.1 隐式转换
5.1.1 隐式转换的使用条件
5.1.2 隐式转换实例
5.2 隐式类
5.3 隐式参数详解
5.4 隐式值
5.5 Spark源码阅读解析
5.6 小结
第6章 并发编程及Spark源码阅读
6.1 并发编程详解
6.1.1 actor工作模型
6.1.2 发送消息
6.1.3 回复消息
6.1.4 actor创建
6.1.5 用上下文context创建actor
6.1.6 用ActorSystem创建actor
6.1.7 用匿名类创建actor
6.1.8 actor生命周期
6.1.9 终止actor
6.1.10 actor实战
6.2 小结
第7章 源码编译
7.1 Windows下源码编译
7.1.1 下载Spark源码
7.1.2 Sbt方式
7.1.3 Maven方式
7.1.4 需要注意的几个问题
7.2 Ubuntu下源码编译
7.2.1 下载Spark源码
7.2.2 Sbt方式
7.2.3 Maven方式
7.2.4 make-distribution.sh脚本方式
7.2.5 需要注意的几个问题
7.3 小结
第8章 Hadoop分布式集群环境搭建
8.1 搭建Hadoop单机环境
8.1.1 安装软件下载
8.1.2 Ubuntu系统的安装
8.1.3 Hadoop集群的安装和设置
8.1.4 Hadoop单机模式下运行WordCount示例
8.2 Hadoop伪分布式环境
8.2.1 Hadoop伪分布式环境搭建
8.2.2 Hadoop伪分布式模式下运行WordCount示例
8.3 Hadoop分布式环境
8.3.1 Hadoop分布式环境搭建
8.3.2 Hadoop分布式模式下运行WordCount示例
8.4 小结
第9章 精通Spark集群搭建与测试
9.1 Spark集群所需软件的安装
9.1.1 安装JDK
9.1.2 安装Scala
9.2 Spark环境搭建
9.2.1 Spark单机与单机伪分布式环境
9.2.2 Spark Standalone集群环境搭建与配置
9.2.3 Spark Standalone环境搭建的验证
9.3 Spark集群的测试
9.3.1 通过spark-shell脚本进行测试
9.3.2 通过spark-submit脚本进行测试
9.4 小结
第10章 Scala IDE开发Spark程序实战解析
10.1 Scala IDE安装
10.1.1 Ubuntu系统下安装
10.1.2 Windows系统下安装
10.2 ScalaIDE开发重点步骤详解
10.3 Wordcount创建实战
10.4 Spark源码导入Scala IDE
10.5 小结
第11章 实战详解IntelliJ IDEA下的Spark程序开发
11.1 IDEA安装
11.1.1 Ubuntu系统下安装
11.1.2 Windows系统下安装
11.2 IDEA开发重点步骤详解
11.2.1 环境配置
11.2.2 项目创建
11.2.3 Spark包引入
11.3 Wordcount创建实战
11.4 IDEA导入Spark源码
11.5 小结
第12章 Spark简介
12.1 Spark发展历史
12.2 Spark在**外的使用
12.3 Spark生态系统简介
12.3.1 Hadoop生态系统
12.3.2 BDAS生态系统
12.3.3 其他
12.4 小结
第13章 Spark RDD解密
13.1 浅谈RDD
13.2 创建RDD的几种常用方式
13.3 Spark RDD API解析及其实战
13.4 RDD的持久化解析及其实战
13.5 小结
第14章 Spark程序之分组TopN开发实战解析
14.1 分组TopN动手实战
14.1.1 Java之分组TopN开发实战
14.1.2 Scala之分组TopN开发实战
14.2 Scala之分组TopN运行原理解密
14.2.1 textFile
14.2.2 map
14.2.3 groupByKey
14.3 小结
第15章 MasterHA工作原理解密
15.1 Spark需要Master HA的原因
15.2 Spark Master HA的实现
15.3 Spark和ZOOKEEPER的协同工作机制
15.4 ZOOKEEPER实现应用实战
15.5 小结
第16章 Spark内核架构解密
16.1 Spark的运行过程
16.1.1 SparkContext的创建过程
16.1.2 Driver的注册过程
16.1.3 Worker中任务的执行
16.1.4 任务的调度过程
16.1.5 Job执行结果的产生
16.2 小结
第17章 Spark运行原理实战解析
17.1 用户提交程序Driver端解析
17.1.1 SparkConf解析
17.1.2 SparkContext解析
17.1.3 DAGScheduler创建
17.1.4 TaskScheduler创建
17.1.5 SchedulerBackend创建
17.1.6 Stage划分与TaskSet生成
17.1.7 任务提交
17.2 Spark运行架构解析
17.2.1 Spark基本组件介绍
17.2.2 Spark的运行逻辑
17.3 Spark在不同集群上的运行架构
17.3.1 Spark在Standalone模式下的运行架构
17.3.2 Spark on yarn的运行架构
17.3.3 Spark在不同模式下的应用实战
17.4 Spark运行架构的实战解析
17.5 小结
实拍图:



