环境信息如下

lava 4.x

littleboy 4.x

问题原因：

littleboy 的配置文件中有关 spark log 的配置项会覆盖 spark 的配置，并且默认是/tmp/spark-events，但是机器重启后/tmp 路径下的目录会被清空，导致 spark 任务启动资源的时候会报错 file not exists

人工解决办法：

修改 littleboy 配置文件中有关 spark log 的配置，并且手动创建路径，重启 littleboy

• 1.停止 master

su - oushu

/usr/local/oushu/littleboy/sbin/littleboy stop master

• 2.修改 master 配置文件

vi /usr/local/oushu/littleboy/conf/littleboy-site.xml

 

<property>

    <name>spark.history.fs.logDirectory</name>

    <value>/data1/spark-events</value>

</property>

<property>

    <name>spark.eventLog.dir</name>

    <value>/data1/spark-events</value>

</property>

• 3.创建相关目录

source /usr/local/hawq/greenplum_path.sh

hawq ssh -f ~/hostfile -e 'mkdir -p /data1/spark-events'

hawq ssh -f ~/hostfile -e 'chown -R spark:spark /data1/spark-events'

hawq ssh -f ~/hostfile -e 'chmod -R 755 /data1/spark-events'

• 4.启动 master

su - oushu

/usr/local/oushu/littleboy/sbin/littleboy start master