长按二维码关注
大数据领域必关注的公众号
海颐不仅仅提供大数据基础平台，而且基于对业务的深刻理解将领域大数据需求封装为功能服务套件，建立大数据服务组件平台，屏蔽大数据开发应用的复杂性，助力企业快速构建大数据应用，实现数据增值服务。
✦ 数据集成栈：提供一体化数据集成工具将传统IT架构中的数据清洗、加载到大数据框架，提供可靠的数据资源管理。
✦ 大数据资源管理：基于Hadoop分布式文件系统、列存储等技术支持横向无限扩展；提供统一的存储、计算等资源管理。
✦ 分布式内存管理：将集群节点内存作为分布式关键数据存储，极大提升数据计算与分析性能。
✦ 高性能弹性计算：统一抽象数据集RDD结合DAG高效的数据数据处理计划调度，构造了基于内存的M/R计算引擎。
✦ SQL支持栈：提供基于Hive/HBase的高性能SQL支持，满足高性能查询、统计与分析需求,且直接支持关系型数据库.
✦ 挖掘分析栈：提供高性能并行化数据分析和数据挖掘算法满足领域大数据分析挖掘需求。
✦ 流计算与图计算:流计算以流水线方式处理海量数据，满足实时计算分析需求；图计算满足海量数据关系分析需求；
✦ 知识检索栈：分布式实时搜索与知识管理引擎，可对大数据进行深度搜索，提供搜索建议、分组统计、自动聚类。
✦ 作业调度栈：实现多环节大数据作业流程的组装、协同与调度。
✦ 管理监控栈：提供全局门户实现对大数据集群运行状况的一体化管理控制；
1.屏蔽各种大数据组件安装部署的复杂性，实现大数据组件的整合、版本兼容处理，部署安装简单、方便；
2.基于YARN实现资源的统一管理，完美支持多种大数据组件的共存与协同作业，提高企业计算资源的使用效率；
3.提供一体化、图形化的大数据监控平台。对系统内大数据作业的运行全面监控；
4.紧跟ApacheHadoop生态圈的技术发展，基于纯正的开源大数据技术、支持纯正的开源大数据开发。
点击节点标签，可以看到集群的节点信息
左侧的标识展示的是集群节点的运行状态：
✦ 红色：至少有一个Master组件处于关闭状态
✦ 橘黄色：至少有一个Slave组件处于关闭状态
✦ 黄色：接收不到该节点的心跳信息
✦ 绿色：运行正常
可以通过上侧的搜索框对节点进行查找，查询条件可以是关键字、组件信息等。
可以对选中的节点、过滤的节点或者全部节点进行操作，包括节点所有服务的启动停止，DataNodes、NodeManager、Regionservers的启动、停止、增加、删除等。
点击节点标签中的具体节点，可以查看节点的详情信息
可以点击HostActions对节点的所有组件进行操作
也可以通过组件右侧的下拉对具体组件进行单独操作。
拆卸(Decommission)是删除组件的前置步骤，可以防止数据丢失或服务崩溃。以下组件可以进行拆卸：
✦ DataNodes
✦ NodeManagers
✦ RegionServers
拆卸对这些组件意味着如下操作：
1.DataNodes:安全地将该Datanodes的HDFS数据复制到其他DataNodes中
2.NodeManagers:停止接收Master的新任务请求，并停止改组件
3.RegionServer:开启耗尽模式，并停止该组件
维护模式对特定的服务、组件合节点来说可以禁止警告并跳过批量操作。通常在执行硬件或软件维护，更改配置设置，故障排除，停用或删除群集节点时会打开维护模式，在执行必要的维护或故障排除任务之前，可以将服务，组件或主机对象置于维护模式。
维护模式通过以下两种方式影响服务，组件或主机对象：
✦ 维护模式禁止为对象生成的警报，警告和状态更改指示符
✦ 维护模式将对象从主机级或服务级别的批量操作中忽略（举例来说，就是如果对某个服务进行了维护操作，那么节点层面的重启全部、停止全部等操作将对该服务无效）
使用场景
1.要对某节点进行硬件或系统维护操作
目标：
✦ 忽略该节点所有组件产生的警告信息
✦ 能够单独启动、停止、重启该节点的每个组件
✦ 忽略节点级别或服务级别的批量启动、停止或重启操作
要达到以上目标，可以对该节点打开维护模式，同时隐性地将该节点的所有组件开启了维护模式。
位置：节点->点击节点进入详情->HostActions->开启维护模式
2.要对某服务的配置修改进行测试。会频繁地重启该组件对配置信息进行测试
目标：
✦ 忽略该服务包含组件的所有警告信息
✦ 忽略节点级别或服务级别的批量启动、停止或重启操作
要达到以上目标，可以对该服务打开维护模式，同时隐性地将该服务的所有组件开启了维护模式。
位置：服务项->点击服务进入详情->操作->开启维护模式
1.完全关闭某个服务
目标：
✦ 忽略该服务的所有警告信息
✦ 忽略节点级别或服务级别的批量启动、停止或重启操作
要达到以上目标，可以对该服务打开维护模式，同时隐性地将该服务的所有组件开启了维护模式。
位置同上
2.某个组件产生了警告信息
目标：
✦ 检查该组件
✦ 评估该警告信息
✦ 在检查该组件时忽略该组件产生的警告
要达到以上目标，可以对该组件打开维护模式
1.假设原集群有node1~3.haiyi.com三个节点（其中node1为安装节点），现在要增加node4.haiyi.com(172.20.182.250)节点。
使node1节点能够通过SSH免密码连接node4
2.位置：节点->点击节点进入详情->某组件右侧下拉->开启维护模式
3.在node1上执行
✦ ssh-copy-id-i/root/.ssh/id_rsa.pubroot@172.20.
182.250
4.更改所有节点的/etc/hosts文件，添加node4的相关信息172.20.182.250node4.haiyi.com
(也可以修改了node1的hosts文件后通过scp命令传给其他节点，
例：scp/etc/hostsroot@node2.haiyi.com:/etc/）
5.将安装节点的EBDIP/hycx文件夹传到node4的/root/目录下在安装节点node1执行
✦ scp-r/root/EBDIP/hycx/root@node4.haiyi.com:
/root/
6.在新节点上执行环境配置脚本
在node4执行
7.登录大数据集成平台WebUi，点击节点标签下的操作下拉，选择AddNewHosts
8.TargetHosts填写新增节点的IP，此处为node4.haiyi.com。HostRegistrationInformation填写node1的/root/.ssh/id_rsa的文件内容，点击RegisterandConfirm
9.等待注册完毕，点击下一个
10.配置需要安装的客户端
11.选择配置组，点击下一个
12.点击Deploy，等待安装完毕
13.点击下一个，Complete
14.若出现RegionServer起来就挂掉的情况，可以通过参考手册的ntp服务进行修改ntp配置进行时间同步操作，如
✦ ntpdate-u172.20.182.31
删除节点意味着删除该节点的所有服务，以及削减集群的计算和存储能力。删除节点前，要保证满足以下条件：
✦ 停止运行在该节点的所有服务
✦ 删除运行在该节点的Datanode、RegionServer
✦ 将所有Master组件迁移，例如NameNode/ResourceManager等
✦ 如果必要，关闭维护模式
操作步骤：
1.点击节点-待删除的节点
2.停止该节点所有服务
3.删除Datanode、RegionServer
4.到待删除节点命令行，停止Ambari-agent
✦ ambari-agentstop
5.点击HostActions->DeleteHost,确认即可
在控制台主界面，点击操作，选择启动所有服务或关闭所有服务
假设要添加ZeppelinNotebook服务
1.点击主界面操作->添加服务
2.选择ZeppelinNotebook,点击下一个
3.选择安装位置，这里我们选择安装到node3节点，点击下一个
4.若有Slave或Client,可以参考安装手册进行配置
5.配置相关信息，点击下一个
6.点击Deploy,等待安装完成即可
7.这样新的服务ZeppelinNotebook就安装好了
例如要修改Hbase的MemstoreFlushSize
选择需要修改的服务Hbase，点击配置，增加MemstoreFlushSize,点击保存即可
选择服务，概览标签展示了所选服务的基本信息
选择服务，点击操作后，可以对所选服务进行基本操作
例如要删除ZeppelinNodebook服务
1.选择ZeppelinNotebook，点击操作->停止
2.待停止操作完成后,点击操作->DeleteService
点击删除，输入”delete”确认即可
任何操作都可以通过点击控制台上方的运行信息查看运行的后台信息
例如重启了HDFS的所有服务，点击如图所示图标
蓝色字表示该进程正在运行中，可以一步步进入，查看后台的详细信息。
通过登录ambari-server所在节点（一般是安装节点）的命令行，查看ambari的审计信息，路径为
/var/log/ambari-server/ambari-audit.log
大部分组件可以通过快速链接来访问服务的一些附加资源，比如HDFS的UI界面，Namenode的log信息等。
1.至少保证集群中要有三个节点，及至少有3个ZooKeeper Server。保证HDFS及ZooKeeper 服务不在维护模式下。
2.停止HBase服务
3.选择HDFS->操作->Enable NameNode HA
4.起一个Ha的Nameservice ID，单击下一个
5.选择NameNode的节点（选择一个配置与原Namenode相似的节点）单击下一个
6.Review信息，点击下一个
7.根据提示，在安装节点执行,点击下一个
sudo su hdfs -l -c 'hdfs dfsadmin -safemode enter'
进入安全模式后，创建Checkpoint
sudo su hdfs -l -c 'hdfs dfsadmin -saveNamespace'
8.待配置完后，点击下一个
9.按照提示，在安装节点执行
sudo su hdfs -l -c 'hdfs namenode -initializeSharedEdits'
10.待组件启动成功后，点击下一个
11.按照提示，在安装节点node1执行
sudo su hdfs -l -c 'hdfs zkfc -formatZK'
在HA节点node2执行,点击下一个
sudo su hdfs -l -c 'hdfs namenode -bootstrapStandby'
12.待HA安装完成后，点击已完成
此时可以看到node1为Active而node2为Standby状态，HA配置成功
13.如果使用了Hive,必须手动修改Hive Metastore FS的根目录指向HA的Nameservice URI
1.在Hive节点上找到当前的FS root
14.
1.hive --config etc/hive/conf/conf.server --service metatool-updateLocation
hdfs://hacluster/apps/hive/warehouse hdfs://node1.haiyi.com/apps/hive/warehouse.
比如，如果刚才HA的NameserviceID为hacluster,那么执行
2.hive --config etc/hive/conf/conf.server --service metatool-updateLocation <new-location><old-location>
如果此时显示的路径已经是HA的Nameservice URI 则不必修改
2.如果不是，执行
1.至少保证集群中要有三个节点，及至少有3个ZooKeeper Server。保证HDFS及ZooKeeper 服务不在维护模式下。
2.点击Yarn->操作->Enable ResourceManager HA
3.点击下一个
4.选择ResourceManager HA 节点，这里我们选择node3，点击下一个
5.Review,点击下一个
6.等待配置完成，点击Complete
Hbase是通过添加Master来实现高可用性的
1. Hbase -> 操作 -> 添加HBase Master
2. 选择一个节点来添加HbaseMaster，这里我们添加到node2节点，点击Confirm Add,待安装完毕即可。
完
