cdh看完官方文档后小结002

1、Cloudera Manager包含内部机架感知脚本，但您必须指定群集中主机所在的机架。如果您的群集包含10个以上的主机，Cloudera建议您为每个主机指定机架。 HDFS，MapReduce和YARN将自动使用您指定的机架。
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_specify_rack.html

成都创新互联公司-专业网站定制、快速模板网站建设、高性价比江州网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式江州网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖江州地区。费用合理售后完善，10余年实体公司更值得信赖。

2、cdh不同版本支持的操作系统 参考链接为
https://blog.csdn.net/high3011/article/details/78131668
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html#concept_xdm_rgj_j1b

3、停用主机停用并停止主机上的所有角色，而无需单独停用每个服务上的角色。 退役仅适用于HDFS DataNode，MapReduce TaskTracker，YARN NodeManager和HBase RegionServer角色。 如果主机上运行了其他角色，则会停止这些角色。在主机上的所有角色都已停用并停止后，可以从服务中删除主机。 您可以并行停用多个主机。

4、如果DataNode的数量等于HDFS中存储的任何文件的复制因子（默认值为3），则无法停用DataNode或具有DataNode的主机。例如，如果任何文件的复制因子为3，并且您有三个DataNode，则无法停用DataNode或具有DataNode的主机。如果在这种情况下尝试停用DataNode或具有DataNode的主机，则DataNode将被停用，但停用过程将无法完成。您必须中止退役并重新启动DataNode。
//这句话的意思就是 只有3台datanode 但是你要停用一台，但是复制因子是3 必须修改复制因子之后，才可以停用一台datanode
注意：退出DataNode时，不会从存储目录中删除数据块。您必须手动删除数据。

5、当一个DataNode退役时，NameNode确保来自DataNode的每个块仍然可以在复制因子的指示下在整个群集中可用。 此过程涉及以小批量从DataNode复制块。 如果DataNode有数千个块，则退役可能需要几个小时。 在使用DataNodes停用主机之前，您应首先调整HDFS：
(1、)运行以下命令以识别HDFS文件系统中的任何问题：
hdfs fsck / -list-corruptfileblocks -openforwrite -files -blocks -locations 2>&1 > /tmp/hdfs-fsck.txt
(2、)修复fsck命令报告的任何问题。 如果命令输出列出了损坏的文件，请使用fsck命令将它们移动到lost + found目录或删除它们：
hdfs fsck file_name -move 或者 hdfs fsck file_name -delete
(3、)提高DataNodes的堆大小。 DataNodes应配置至少4 GB的堆大小，以允许迭代和最大流的增加。
    转到HDFS服务页面。
    单击“配置”选项卡。
    选择Scope> DataNode。
    选择类别>资源管理。
    按建议设置“字节数”中的“数据堆大小”。
(4、)设置DataNode平衡带宽：
     选择Scope> DataNode。
     展开“类别”>“性能”类别。
     将DataNode Balancing Bandwidth属性配置为磁盘和网络上的带宽。 您可以使用低于此值的值，以便最大限度地减少退役对群集的影响，但权衡是退役将需要更长时间。
     单击“保存更改”以提交更改。
(5、)将每次迭代的复制工作乘数增加到更大的数字（默认值为2，但建议为10）：
     选择Scope> NameNode。
     展开“类别”>“高级”类别。
     将“每次迭代复制工作乘数”属性配置为值10，例如10。
     要根据需要将此配置属性应用于其他角色组，请编辑相应角色组的值。 请参阅使用Cloudera Manager修改配置属性。
     单击“保存更改”以提交更改。
(6、)增加复制最大线程数和最大复制线程硬限制：
     选择Scope> NameNode。
     展开“类别”>“高级”类别。
     将DataNode上的最大复制线程数和DataNode属性上复制线程数的硬限制分别配置为50和100。 您可以减少线程数（或使用默认值）以最小化退役对群集的影响，但权衡是退役将花费更长时间。
     要根据需要将此配置属性应用于其他角色组，请编辑相应角色组的值。 请参阅使用Cloudera Manager修改配置属性。
     单击“保存更改”以提交更改。
(7、)重启HDFS服务。
有关其他调整建议，请参阅性能注意事项。
参考链接为 ： https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_decomm_host.html

6、在退役DataNode之前调整HBase
要提高滚动重新启动HBase服务的速度，请将Region Mover Threads属性设置为更高的值。这增加了可以并行移动的区域的数量，但是对HMaster施加了额外的压力。在大多数情况下，Region Mover Threads应设置为5或更低。重新启动主机
只有使用Cloudera Manager退役的主机才能重新启动。

7、退役datanode
性能注意事项
（1）退出DataNode不会立即发生，因为该过程需要复制可能大量的块。在淘汰期间，群集的性能可能会受到影响。
退役分两步进行：
第一步： DataNode的委员会状态标记为退役，数据从此节点复制到其他可用节点。在复制所有块之前，节点仍处于退役状态。您可以从NameNode Web UI查看此状态。 （转到HDFS服务并选择Web UI> NameNode Web UI。）当所有数据块都复制到其他节点时，该节点将标记为“已停用”。
第二步：当所有数据块都复制到其他节点时，该节点将标记为“已停用”。
退役可以通过以下方式影响性能：
A 其他活动DataNode上必须有足够的磁盘空间才能复制数据。 在退役之后，剩余的活动DataNode具有更多块，因此将来停用这些DataNode可能需要更多时间。
B 在复制数据块时，将增加网络流量和磁盘I / O.
C 数据平衡和数据位置可能会受到影响，这可能会导致任何正在运行或提交的作业的性能下降。
D 同时停用大量DataNode会降低性能。
E 如果要淘汰少数DataNode，那么从这些节点读取数据的速度会限制退役的性能，因为当从DataNode读取数据块时，退役会最大化网络带宽，并将用于复制块的带宽扩展到其他DataNode中。 簇。 为避免群集中的性能影响，Cloudera建议您仅同时停用少数DataNode。
F 您可以减少可用于平衡DataNode的带宽和复制线程的数量，以降低复制的性能影响，但这将导致退役过程需要更长时间才能完成。 请参阅在退役DataNode之前调整HDFS。

//Cloudera建议您以较小的组并行添加DataNode和停用DataNode。 例如，如果复制因子为3，则应添加两个DataNode并同时停用两个DataNode。

8、排除退役性能
退役DataNode时，以下条件也会影响性能：
（     打开文件
     无法重定位块，因为没有足够的DataNode来满足块放置策略。）
打开文件
     DataNode上的写操作不涉及NameNode。 如果存在与位于DataNode上的打开文件关联的块，则在文件关闭之前不会重定位它们。 这通常发生在：
         使用HBase的集群
         打开Flume文件
         长期运行的任务

     要查找和关闭打开的文件：分为一下5步
第一步：
登录NameNode主机，切换到日志目录。
可以使用NameNode日志目录属性配置此目录的位置。 默认情况下，此目录位于：/var/log/hadoop-hdfs/
第二步：
运行以下命令以验证日志是否提供了所需的信息：
grep "Is current datanode" NAME | head
日志文件的第六列显示块ID，该消息应与DataNode退役相关。 执行以下命令，查看相关日志条目：
grep "Is current datanode" NAME | awk '{print $6}' | sort -u > blocks.open
第三步：
运行以下命令以返回打开文件，其块以及这些块的位置列表：
hadoop fsck / -files -blocks -locations -openforwrite 2>&1 > openfiles.out
第四步：
查看由命令为显示blocks.open的块创建的openfiles.out文件。 还要验证DataNode IP地址是否正确。
第五步：
使用打开的文件列表，执行相应的操作以重新启动进程以关闭文件。
例如，主要压缩会关闭HBase区域中的所有文件。

无法重定位块，因为没有足够的DataNode来满足块放置策略。
     例如对于10节点集群，如果在尝试取消配置一个DataNode时将mapred.submit.replication设置为默认值10，则重新定位与map / reduce作业关联的块将会很困难。 此条件将导致NameNode日志中的错误类似于以下内容：
org.apache.hadoop.hdfs.server.blockmanagement.BlockPlacementPolicyDefault: Not able to place enough replicas, still in need of 3 to reach 3
使用以下步骤查找块复制策略等于或高于当前群集大小的文件数：
第一步
通过运行以下命令提供打开文件，其块以及这些块的位置的列表：
     hadoop fsck / -files -blocks -locations -openforwrite 2>＆1> openfiles.out
第二步：
运行以下命令以返回具有给定复制因子的文件的列表：
     grep repl= openfiles.out | awk '{print $NF}' | sort | uniq -c
     例如，当复制因子为10时，退役一个：
     egrep -B4 "repl=10" openfiles.out | grep -v '