// 昨天晚上自行车被偷了,从地铁站回家走了30分钟,妈卖批,先来诅咒下
// 小偷; 早上出门走了两条街才找到一个公交站。
while(true){
System.out.println("小偷骑我的车出门被被撞死");
}
最近项目需要使用Spark做数据分析工作,呸什么数据分析,就是一坨数相加,相减...非常无聊。但是我不会啊,so,边学边弄呗。没环境学个屁啊,先弄个环境出来。
Spark简介:Apache Spark is a unified analytics engine for large-scale data processing.(Apache Spark是用于大规模数据处理的统一分析引擎)。当然我更喜欢这样的介绍:Lightning-fast unified analytics engine,闪电般的统一分析引擎,听着就很NB。
1、安装Spark(ps:安装hadoop了吗,没有hadoop怎么玩集群,ps:其实也可以单机玩的)。
下载Spark:https://spark.apache.org/downloads.html

注意:因为我安装的hadoop版本是 2.7,所以我选择 2.7版本(hadoop安装可以Google,以后有时间也会专门说一下的)

解压

创建spark文件夹

移动解压好的文件到spark目录下

创建软连接,避免文件夹名称太长的问题

配置环境变量

在 /etcprofice文件中加入

配置Spark环境
这里需要配置的文件为 slavers.template, spark-env.sh.template

修改文件名,去掉尾巴,这里改名可以用cp命令

修改spark-env.sh文件
vim spark-env.sh
在文件尾添加

修改 slaves文件
启动,首先得启动hadoop,然后启动spark

hadoop已经启动了,

从上面看出问题了,查看日志很明显,是jdk版本的问题,我下载的这个版本不与我的jdk版本不兼容,(吐槽一下,安装hadoop还是尽量安装CDH版本的,Apache 版本的hadoop兼容性能折磨死你,各个组件都需要考虑兼容性问题,刚刚考虑了hadoop和spark兼容性问题,但TM的和jdk版本不兼容了,明明安装hadoop 的时候与jdk版本已经兼容了啊 )

百度来的,

貌似更改jdk版本之后就可以正常启动了,可是我改了之后hadoop怎么玩,MMP(我想是这样的,这里就不更改了,由于机器不能性能问题,安装CDH可能会爆炸,就去折腾CDH了,还是在本地安装个单机版的Spark玩玩算了)。
对了启动后是这样的:
我也不知道啥样的,等我本地安装后在说吧。
Google上找了一张图图

THE END
对了,命令是在当前目录下执行的。
对了,没安装成功,使用到下次说。
对了,偷我车的那家伙应该被撞死了吧。




