配置CDH集群及服务

点击上方“IT那活儿”公众号，关注后了解更多内容，不管IT什么活儿，干就完了！！！

CM安装好以后可以进入CM界面开始安装CDH相关服务。

在chrome浏览器输入：

我们选择免费版本：Cloudera Express版本

注意：

• 选择免费版 Cloudera Express；

• 许可证选项打√；

• CDH节点数设置为无限制；

• 选择核心功能和高级功能。

• 192.168.11.216
• 192.168.11.217
• 192.168.11.218

注意：

• 除了独立的deepinsight服务器（这里也不可见），其他主机都应该加入；
• 如果有特殊考虑，可以暂时不加入。

注意：

• 这里是指CDH及服务安装包的来源；

• 原则采用推荐方案：parcel、CDH5.14版本。

注意：

• 注意这个过程时间比较长，要耐心等待。

执行 sysctl vm.swappiness = 0
在/etc/sysctl.conf文件中加入一行 vm.swappiness=0

修改透明最大页面：

echo never> /sys/kernel/mm/transparent_hugepage/defrag
echo never> /sys/kernel/mm/transparent_hugepage/enabled

将此命令添加到一个init脚本中，比如 etc/rc.local，以确保开机后能继续生效。

注意：

• 开始只安装hdfs、yarn、zookeeper，其余后面安装。

注意：

• 如果节点数大于3，SecondaryNameNode最好不好也NameNode放在同一节点；
• 服务的分配参加华为FusionInsight HD产品手册。

NameNode数据目录：/clusterdata/program/dfs/nn
HDFS检查点目录：/clusterdata/program/dfs/snn

注意：

• hdfs选项中去掉hdfs检查权限避免出现不能访问hdfs的问题。

hadoop dfsadmin -safemode leave

注意：

• 正常而言，我们安装Spark2.x，不需要安装Spark Standalone；
• 如果资源不足，可以考虑安装Standalone服务；
• Spark服务安装和前面添加yarn服务操作是一样的。