设置spark
5墨值下载
设置
Spark
在本机设置和运行
非常简单。你只需要下载一个预构建的包，只要你安
装了
和
，就可以在
、
和
上
运行
。确保
程序在
!"
环境变量中，或者设置了
# $"%
环
境变量。类似的，
也要在
!"
中。
假设你已经安装了
和
：
&
访问
下载页
选择
最新发布版
'
本文写作时是
&()
，一个预构建的
"
*
包，直接下载。
现在，如何继续依赖于你的操作系统，靠你自己去探索了。
用户可
以在评论区对如何设置的提示进行评论。
一般，我的建议是按照下面的步骤
'
在
+
操作系统上
)
：
&
解压
&
~$ tar -xzf spark-1.2.0-bin-hadoop2.4.tgz
将解压目录移动到有效应用程序目录中
'
如
上的
&
~$ mv spark-1.2.0-bin-hadoop2.4 /srv/spark-1.2.0
,
创建指向该
版本的符号链接到
-
目录。这样你可以简单地下载
新
.
旧版本的
，然后修改链接来管理
版本，而不用更改路径或环
境变量。
&
~$ ln -s /srv/spark-1.2.0 /srv/spark
*
修改
/ "
配置，将
添加到
!"
中，设置
01$"%
环境变量。
这些小技巧在命令行上会帮到你。在
23
上，只要编辑
4.3$567
或
4.567
文件，将以下语句添加到文件中：
&
export SPARK_HOME=/srv/spark
export PATH=$SPARK_HOME/bin:$PATH
87
这些配置（或者重启终端）之后，你就可以在本地运行一个
解释器。执行
命令，你会看到以下结果：
&
,
*
8
9
:
;
&(
&&
&
&,
&*
&8
&
&9
~$ pyspark
Python 2.7.8 (default, Dec 2 2014, 12:45:58)
[GCC 4.2.1 Compatible Apple LLVM 6.0 (clang-600.0.54)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
Spark assembly has been built with Hive, including Datanucleus jars on classpath
Using Sparks default log4j profile: org/apache/spark/log4j-defaults.properties
[… snip …]
Welcome to
____ __
/ __/__ ___ _____/ /__
_\ \/ _ \/ _ `/ __/ `_/
/__ / .__/\_,_/_/ /_/\_\ version 1.2.0
/_/
Using Python version 2.7.8 (default, Dec 2 2014 12:45:58)
SparkContext available as sc.
>>>
现在
已经安装完毕，可以在本机以”单机模式“（
67<7
）
使用。你可以在本机开发应用并提交
作业，这些作业将以多进程
.
多线程
of 3
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论