SPARK 基操！

>web端查看HDFS的NameNode
http://hadoop101:9870


>web端查看yarn的ResourceManager
http://hadoop102:8088


>历史服务器地址
http://hadoop103:19888/jobhistory
可以访问


spark 安装路径 opt/module/spark-3.3.2/

cd opt/module/spark-3.3.2/sbin


#启动主节点--hadoop101上执行
start-master.sh


#启动从节点-all--hadoop101上执行
start-slaves.sh
重定向到了   start-workers.sh  


#启动从节点-single---分别在对应节点上执行
start-slave.sh
重定向到了   start-worker.sh  


启动命令格式：sh start-slave.sh master-url:7077
备注：此例master 主机名为 hadoop101 
【示例】：
#在hadoop102、hadoop103上面分别执行下面命令启动该节点上work
./start-worker.sh spark://hadoop101:7077
#启动shell
spark-shell

#关闭主节点--hadoop101上执行
stop-master.sh 


#关闭从节点--all--hadoop101上执行
stop-slaves.sh
重定向到了   stop-workers.sh


#关闭从节点--single--分别在对应的服务器上执行


关闭命令格式：sh stop-worker.sh master-url:7077
备注：此例master 主机名为 hadoop101 
【示例】：
#在hadoop102、hadoop103上面分别执行下面命令启动该节点上work
./stop-worker.sh spark://hadoop101:7077

#停止spark
./stop-all.sh


#启动spark
./start-all.sh

spark-shell

import org.apache.spark.sql.hive.HiveContext

启动spark后，运行bin/spark-shell会出现一个警告


WARN util.NativeCodeLoader: Unable to load native-hadoop library 
for your platform... using builtin-java classes where applicable


> 解决办法：
（1）第一种：在linux环境变量里设置linux共享库：命令行输入一下命令
 
vim /etc/profile
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/:$LD_LIBRARY_PATH
source etc/profile
 


（2）第二种：设置环境变量和conf/spark-env.sh


vim /etc/profile
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native/
source etc/profile




进入conf/spark-env.sh目录下：
vim conf/spark-env.sh
export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH


问题就解决了

配置指南：以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS，
以spark.eventLog开头的配置在spark-defaults.conf


1） spark.history.updateInterval
　　默认值：10
　　以秒为单位，更新日志相关信息的时间间隔


2）spark.history.retainedApplications
　　默认值：50
　　在内存中保存Application历史记录的个数，如果超过这个值，旧的应用程序信息将被删除，当再次访问已被删除的应用信息时需要重新构建页面。


3）spark.history.ui.port
　　默认值：18080
　　HistoryServer的web端口


4）spark.history.kerberos.enabled
　　默认值：false
　　是否使用kerberos方式登录访问HistoryServer，对于持久层位于安全集群的HDFS上是有用的，如果设置为true，就要配置下面的两个属性


5）spark.history.kerberos.principal
　　默认值：用于HistoryServer的kerberos主体名称


6）spark.history.kerberos.keytab
　　用于HistoryServer的kerberos keytab文件位置


7）spark.history.ui.acls.enable
　　默认值：false
　　授权用户查看应用程序信息的时候是否检查acl。如果启用，只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则，不做任何检查


8）spark.eventLog.enabled
　　默认值：false
　　是否记录Spark事件，用于应用程序在完成后重构webUI


9） spark.eventLog.dir
　　默认值：file:///tmp/spark-events
　　保存日志相关信息的路径，可以是hdfs://开头的HDFS路径，也可以是file://开头的本地路径，都需要提前创建


10）spark.eventLog.compress
　　默认值：false
　　是否压缩记录Spark事件，前提spark.eventLog.enabled为true，默认使用的是snappy

spark-shell
spark.sql("show databases").show()
退出：ctrl+c

spark-shell --master spark://hadoop101:7077

spark-shell --master yarn-client --executor-memory 1G --num-executors 1

spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
--num-executors 5 \
--queue default \
/opt/module/spark-3.3.2/examples/jars/spark-examples_2.12-3.3.2.jar \
1000

spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
--num-executors 5 \
--queue default \
/opt/module/spark-3.3.2/examples/jars/spark-examples_2.12-3.3.2.jar \
1000

spark-submit --class org.apache.spark.examples.SparkPi \
--master local \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
--num-executors 5 \
--queue default \
/opt/module/spark-3.3.2/examples/jars/spark-examples_2.12-3.3.2.jar \
1000

cd /opt/module/hadoop-3.3.3/etc/hadoop/
vim yarn-site.xml

<!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认
     是 true -->
<property>
     <name>yarn.nodemanager.pmem-check-enabled</name>
     <value>false</value>
</property>


<!--是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认
     是 true -->
<property>
     <name>yarn.nodemanager.vmem-check-enabled</name>
     <value>false</value>
</property>

cd opt/module/spark-3.3.2/conf/

mv spark-env.sh.template spark-env.sh
vim spark-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_333  ---已添加
export YARN_CONF_DIR=/opt/module/hadoop-3.3.3/etc/hadoop

myhadoop.sh stop
myhadoop.sh start

cd opt/module/spark-3.3.2/sbin/  
./stop-all.sh
stop-history-server.sh
./start-all.sh
start-history-server.sh