hadoop和hive如何安装
这篇文章将为大家详细讲解有关hadoop和hive如何安装，小编觉得挺实用的，因此分享给大家做个参考，希望大家阅读完这篇文章后可以有所收获。
成都创新互联公司-专业网站定制、快速模板网站建设、高性价比双阳网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式双阳网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖双阳地区。费用合理售后完善，十载实体公司更值得信赖。
一、环境准备篇
vmware虚拟机安装两个centos7服务器（这里介绍一下vmware虚拟机设置固定ip）
这样vmware虚拟机固定ip网络就搭建好了，搭建Hadoop机器说明：主：192.168.2.2，从192.168.2.3（虚拟机一开始要设置固定ip） 两个服务器上的/etc/hosts如下： 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 192.168.2.2 master 192.168.2.3 slave0
二、hadoop安装包下载部署，下载地址： http://archive.apache.org/dist/hadoop/core/hadoop-2.7.5/
1、cd /data/software/ 2、rz -y 3、tar -zxvf hadoop-2.7.5.tar.gz /usr/local/ 4、mv hadoop-2.7.5 hadoop 5、vi /usr/local/hadoop/etc/hadoop/hadoop-env.sh 找到export JAVA_HOME，修改为export JAVA_HOME=/usr/local/jdk1.8.0_251 6、 vi /usr/local/hadoop/etc/hadoop/core-site.xml需要在和 之间加入的代码：fs.defaultFS hdfs://master:9000 7、vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml 需要在 hadoop.tmp.dir /opt/hadoop/hadoopdata 和 之间加入的代码：8、vi /usr/local/hadoop/etc/hadoop/yarn-site.xml需要在 dfs.replication 1 和 之间加入的代码：yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.address master:18040 yarn.resourcemanager.scheduler.address master:18030 yarn.resourcemanager.resource-tracker.address master:18025 yarn.resourcemanager.admin.address master:18141 9、cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml vi /usr/local/hadoop/etc/hadoop/mapred-site.xml需要在 yarn.resourcemanager.webapp.address master:18088 和 之间加入的代码：10、vi /opt/hadoop/hadoop/etc/hadoop/slaves slave0 slave1 11、scp -r /usr/local/hadoop root@slave0:/usr/local 12、cd /usr/local/hadoop（两个节点都做） vi ~/.bash_profile export HADOOP_HOME=/usr/local/hadoop export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH source ~/.bash_profile 13、mkdir /opt/hadoop/hadoopdata hadoop namenode -format 14、cd /usr/local/hadoop/sbin start-all.sh stop-all.sh mapreduce.framework.name yarn
在13做完以后需要创建hadoop用户，hadoop组，然后使用chown命令将/usr/local/hadoop授权给hadoop组下的Hadoop用户，检查两个服务器上的进程，进程明细如下：
192.168.2.2主节点 18784 SecondaryNameNode 18579 NameNode 18942 ResourceManager 21726 Jps 192.168.2.3从节点 129605 NodeManager 1445 Jps 129480 DataNode
如果从节点上datanode没有启动，可以查看从节点上datanode日志，日志目录 ：/usr/local/hadoop/logs/hadoop-hadoop-datanode-slave0.log
cd /usr/local/hadoop/bin echo "abc" file.txt ls -l ./hdfs dfs -ls / ./hdfs dfs -put file.txt /
这样就上传了一个文件到hdfs中，可以打开地址http://192.168.2.2:50070/查看根目录下是否存在file.txt
三、hive安装包下载部署，下载地址： http://mirror.bit.edu.cn/apache/hive/
1、 tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/ 2、 mv apache-hive-2.1.1-bin hive 3、 vi /etc/profile export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin source /etc.profile 4、cd /usr/local/hive/conf/ vi hive-site.xml5、复制mysql的驱动程序到hive/lib下面 6、cd /usr/local/hive/bin schematool -dbType mysql -initSchema 7、执行hive命令 create database test_workcreate table course (id int,name string);8、查询hadoop目录 hadoop fs -lsr / drwxr-xr-x - hadoop supergroup 0 2020-08-28 22:53 /user drwxr-xr-x - hadoop supergroup 0 2020-08-28 22:53 /user/hive drwxr-xr-x - hadoop supergroup 0 2020-08-28 22:53 /user/hive/warehouse drwxr-xr-x - hadoop supergroup 0 2020-08-28 22:53 /user/hive/warehouse/test_work.db drwxr-xr-x - hadoop supergroup 0 2020-08-28 22:54 /user/hive/warehouse/test_work.db/course 9、查询hivedb数据库的DBS、TBLS差异 javax.jdo.option.ConnectionURL jdbc:MySQL://192.168.2.2:3306/hivedb?createDatabaseIfNotExist=true JDBC connect string for a JDBC metastore javax.jdo.option.ConnectionDriverName com.mysql.jdbc.Driver Driver class name for a JDBC metastore javax.jdo.option.ConnectionUserName root username to use against metastore database javax.jdo.option.ConnectionPassword 1234 password to use against metastore database hive.metastore.warehouse.dir /user/hive/warehouse hive default warehouse, if nessecory, change it
关于“hadoop和hive如何安装”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，使各位可以学到更多知识，如果觉得文章不错，请把它分享出去让更多的人看到。
本文标题：hadoop和hive如何安装
文章URL：http://cdiso.cn/article/poieji.html
