长按二维码关注
大数据领域必关注的公众号
课堂所示兼顾了小白同学，所以是手把手纯人肉搭建，产线环境扩容数量少则几十多则上百，人肉肯定不行，我们公司的运维分为 IAAS 运维、大数据运维、应用运维，大数据运维工程师在扩容集群时，需要向 IAAS 运维工程师以工单的方式申请服务器并提出自己的需求， IAAS 运维工程师在提供服务器时不管是新采购服务器还是其他集群退役的服务器都需要重装系统，重装系统的镜像是针对大数据定制的，镜像包含了大数据运维工程师的通用需求以及安装操作系统后的网络、磁盘以及其他设置，比如关闭防火墙、时钟同步、同构磁盘挂载、关闭大透明页、关闭 SWAP、公用 YUM 源、禁用 SELinux 等模式化操作，大数据运维工程师收到服务器后准备工作基本准备完毕了，进行少量准备工作就可以直接进入了 CM 可视化批量安装模式，比如脚本批量设置hostname、脚本同步/etc/hosts 文件等；当然如上所说的 IAAS 操作，如关闭防火墙、时钟同步、同构磁盘挂载、关闭大透明页、关闭 SWAP、公用YUM 源、禁用 SELinux 都可以脚本化，无非就是使用 SSH 通讯方式设置，这就需要大数据运维同学熟练使用 shell 了。
1.查看文件数使用 count 命令，如下查看/ops 目录，目录数为 9606，文件数为 1353 万+，总文件大小为 9.7P
2.查看/ops/test 目录下的文件存储的位置hdfs fsck ops/test -files -blocks -locations -racks
从我们内部实践来说没有发现三者之间的规律，因为大数据业务每个公司都不一样，有的计算是 CPU 密集型的，有的计算是内存密集型的、有的计算是IO 密集型的；我们的服务器都是中高配置，每个服务器的磁盘是 4Tx10、 CPU24core、 128G 内存。
我们的集群也是用的 Cloudera 公司的，我们付了费用， Cloudera 没有保障说 CM 能够纳管 1000 节点以上的集群，再加上我们的机房有容量限制，所以我们是建了多套集群，最大集群有 800+节点，最小集群也有 300+节点；800+datanode 下， namenode 是可以支撑的，像一些互联网大厂，字节跳动、京东等他们的单集群规模有上万节点，此时就需要对 hdfs 进行深度定制了，他们改了很多源码，而且有 200+高级技术维护人员；
多集群建设要考虑业务情况，比如我们公司有 10 个以上业务， 5 大核心集群，按业务相关情况划分集群，不过也难免有跨集群的作业，目前公司内部自研发了大数据采集交换平台，你也可以使用 distcp 进行数据对拷，目前我们也正在准备自研发多集群并行混算平台。
我们产线环境用了 gz 和 snappy 压缩格式， gz 用于不常用的冷数据，snappy 用于热数据；冷热数据是跟业务相关的，后续集群治理的课程中也有冷热数据的区分。
你应该是理解错了， HBase 不能跟 YARN 在一起部署；HBase 需要跟HDFS 部署在一起的，这样可以利用数据本地性提升 IO 性能，并且可以降低网络延迟，降低带宽负载。
这个划分队列无法解决根本问题，建议将业务划分优先级，错开时间执行。详情课程中有讲解。
是的， beeline 使用 JDBC 协议来连接 HIVESERVER2
需要找到 datanode 的具体原因， datanode 相对来说还是比较稳定的，需要看下是否是 GC 问题，如果是的话适当调大内存，再看下最大的打开文件数或进程数的限制是否太小。
完
