Hadoop集群如何搭建
这期内容当中小编将会给大家带来有关Hadoop集群如何搭建，文章内容丰富且以专业的角度为大家分析和叙述，阅读完这篇文章希望大家可以有所收获。
创新互联建站主要从事成都网站建设、成都做网站、网页设计、企业做网站、公司建网站等业务。立足成都服务二道,十年网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:13518219792
1、发行版本说明
Hadoop发行版本分为开源社区版和商业版。社区版是指由 Apache软件基金会维护的版本，是官方维护的版本体系。 商业版 Hadoop是指由第三方商业公司在社区版 Hadoop基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本，比较著名的有 cloudera的 CDH、mapR、hortonWorks等。
我们等会要学习的是商业版：cloudera的 CDH。如未说明都指 CDH版本。Hadoop的版本很特殊，是由多条分支并行的发展着。大的来看分为3个大的系列版本：1.x、2.x、3.x。Hadoop1.0由一个分布式文件系统 HDFS和一个离线计算框架 MapReduce组成。
Hadoop 2.0则包含一个支持 NameNode横向扩展的 HDFS，一个资源管理系统YARN和一个运行在 YARN上的离线计算框架 MapReduce。相比于 Hadoop1.0， Hadoop 2.0功能更加强大，且具有更好的扩展性、性能，并支持多种计算框架。Hadoop 3.0相比之前的 Hadoop 2.0有一系列的功能增强。目前已经趋于稳定，但是整个生态圈体系升级整合还未完毕，所以商用还值得商榷。 我们要讲的Hadoop集群搭建过程，使用的是当前 2系列最稳定版本：CDH 2.6.0-CDH14.0。
2、Hadoop集群简介
Hadoop集群具体来说包含两个集群：HDFS集群和 YARN集群，两者逻辑上分离，但物理上常在一起。HDFS集群负责海量数据的存储，集群中的角色主要有：NameNode、 DataNode、 SecondaryNameNode。YARN集群负责海量数据运算时的资源调度，集群中的角色主要有： ResourceManager、NodeManager。
那 mapreduce是什么呢？它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在 HDFS集群上，并且受到 YARN集群的资源调度管理。Hadoop部署方式分三种，Standalone mode（独立模式）、Pseudo-Distributedmode（伪分布式模式）、Cluster mode（群集模式），其中前两种都是在单机部署。独立模式又称为单机模式，仅 1个机器运行 1个 java进程，主要用于调试。伪分布模式也是在 1个机器上运行 HDFS的 NameNode和 DataNode、YARN的ResourceManger和 NodeManager，但分别启动单独的 java进程，主要用于调试。集群模式主要用于生产环境部署。会使用 N台主机组成一个 Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。我们以 3节点为例进行搭建，角色分配如下：
node-01 NameNode DataNode ResourceManager
node-02 DataNode NodeManager SecondaryNameNode
node-03 DataNode NodeManager
3、服务器准备
本案例使用 VMware Workstation Pro虚拟机创建虚拟服务器来搭建 HADOOP集群，所用软件及版本如下：
VMware Workstation Pro 12.0
Centos 6.9 64bit
4、网络环境准备
采用 NAT方式联网。如果创建的是桌面版的 Centos系统，可以在安装完毕后通过图形页面进行编辑。如果是 mini版本的，可通过编辑 ifcfg-eth*配置文件进行配置。 注意 BOOTPROTO、GATEWAY、NETMASK。
5、服务器系统设置
同步时间
#同步集群各机器时间
date -s "2019-03-03 03:03:03" yum install ntpdate
#网络同步时间
ntpdate cn.pool.ntp.org
设置主机名
vi /etc/sysconfig/network NETWORKING=yes
HOSTNAME=node-1
配置 IP、主机名映射vi /etc/hosts
192.168.33.101 node-1
192.168.33.102 node-2
192.168.33.103 node-3
配置 ssh免密登陆
#生成 ssh免登陆密钥
ssh-keygen -t rsa（四个回车）
执行完这个命令后，会生成 id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免密登陆的目标机器上
ssh-copy-id node-2
配置防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
6、JDK环境安装
#上传 jdk安装包
jdk-8u65-linux-x64.tar.gz
#解压安装包
tar zxvf jdk-8u65-linux-x64.tar.gz
#配置环境变量 /etc/profile
export JAVA_HOME=/export/servers/jdk1.8.0_65
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
#刷新配置
source /etc/profile
上述就是小编为大家分享的Hadoop集群如何搭建了，如果刚好有类似的疑惑，不妨参照上述分析进行理解。如果想知道更多相关知识，欢迎关注创新互联行业资讯频道。
当前标题：Hadoop集群如何搭建
本文地址：http://cdiso.cn/article/gcpesd.html
