目录

解压Hadoop

改名

更改配置文件

workers

hdfs-site.xml

core-site.xml

hadoop-env.sh

mapred-site.xml

yarn-site.xml

设置环境变量

启动集群

启动zk集群

启动journalnode服务

格式化hfds namenode

启动namenode

同步namenode信息

查看namenode节点状态

查看启动情况

关闭所有dfs有关的服务

格式化zk

启动dfs

启动yarn

  查看resourcemanager节点状态 

测试集群wordcount

创建一个TXT文件

上传到hdfs上面

查看输出结果 

解压Hadoop

[root@ant51 install]# tar -zxvf ./hadoop-3.1.3.tar.gz -C ../soft/

改名

[root@ant151 install]# cd /opt/soft
[root@ant151 soft]# mv hadoop-3.1.3/ hadoop313

更改配置文件

workers

[root@ant151 ~] # cd /opt/soft/hadoop313/etc/hadoop

[root@ant151 hadoop] # vim workers

把所有的虚拟机加上去

hdfs-site.xml

[root@ant151 hadoop] # vim hdfs-site.xml

dfs.replication2hadoop中每一个block文件的备份数量dfs.namenode.name.dir/opt/soft/hadoop313/data/dfs/namenamenode上存储hdfs名字空间元数据的目录dfs.datanode.data.dir/opt/soft/hadoop313/data/dfs/datadatanode上数据块的物理存储位置目录dfs.namenode.secondary.http-addressant151:9869dfs.nameservicesgky指定hdfs的nameservice，需要和core-site.xml中的保持一致dfs.ha.namenodes.gkynn1,nn2gky为集群的逻辑名称，映射两个namenode逻辑名dfs.namenode.rpc-address.gky.nn1ant151:9000namenode1的rpc通信地址
dfs.namenode.http-address.gky.nn1ant151:9870namenode1的http通信地址dfs.namenode.rpc-address.gky.nn2ant152:9000namenode2的rpc通信地址
dfs.namenode.http-address.gky.nn2ant152:9870namenode2的http通信地址
dfs.namenode.shared.edits.dirqjournal://ant151:8485;ant152:8485;ant153:8485/gky指定namenode的edits元数据的共享存储位置（JournalNode列表）
dfs.journalnode.edits.dir/opt/soft/hadoop313/data/journaldata指定JournalNode在本地磁盘存放数据的位置

dfs.ha.automatic-failover.enabledtrue开启NameNode故障自动切换
dfs.client.failover.proxy.provider.gkyorg.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider如果失败后自动切换的实现的方式
dfs.ha.fencing.methodssshfence防止脑裂的处理
dfs.ha.fencing.ssh.private-key-files/root/.ssh/id_rsa使用sshfence隔离机制时，需要用ssh免密登陆dfs.permissions.enabledfalse关闭hdfs操作的权限验证dfs.image.transfer.bandwidthPerSec1048576dfs.block.scanner.volume.bytes.per.second1048576

core-site.xml

[root@ant151 hadoop] # vim core-site.xml

fs.defaultFShdfs://gky逻辑名称，必须与hdfs-site.xml中的dfs.nameservice值保持一致hadoop.tmp.dir/opt/soft/hadoop313/tmpdatanamenode上本地的hadoop临时文件夹hadoop.http.staticuser.userroot默认用户io.file.buffer.size131072读写队列缓存：128k；读写文件的buffer大小hadoop.proxyuser.root.hosts*代理用户hadoop.proxyuser.root.groups*代理用户组ha.zookeeper.quorumant151:2181,ant152:2181,ant153:2181高可用用户连接ha.zookeeper.session-timeout.ms10000hadoop连接zookeeper会话的超时时长为10s

hadoop-env.sh

[root@ant151 hadoop] # vim hadoop-env.sh

大概54行左右JAVA_HOME

export JAVA_HOME=/opt/soft/jdk180
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

mapred-site.xml

[root@ant151 hadoop] # vim mapred-site.xml

mapreduce.framework.nameyarnjob执行框架：local,classic or yarntruemapreduce.application.classpath/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*mapreduce.jobhistory.addressant151:10020mapreduce.jobhistory.webapp.addressant151:19888mapreduce.map.memory.mb1024map阶段task工作内存mapreduce.reduce.memory.mb1024reduce阶段task工作内存

yarn-site.xml

[root@ant151 hadoop] # vim yarn-site.xml

yarn.resourcemanager.ha.enabledtrue开启resourcemanager高可用yarn.resourcemanager.cluster-idyrcabc指定yarn集群中的idyarn.resourcemanager.ha.rm-idsrm1指定resourcemanager的名字yarn.resourcemanager.hostname.rm1ant153设置rm1的名字yarn.resourcemanager.webapp.address.rm1ant153:8088	yarn.resourcemanager.zk-addressant151:2181,ant152:2181,ant153:2181指定zk集群地址yarn.nodemanager.aux-servicesmapreduce_shuffle运行mapreduce程序必须配置的附属服务yarn.nodemanager.local-dirs/opt/soft/hadoop313/tmpdata/yarn/localnodemanager本地存储目录yarn.nodemanager.log-dirs/opt/soft/hadoop313/tmpdata/yarn/lognodemanager本地日志目录yarn.nodemanager.resource.memory-mb1024resource进程的工作内存yarn.nodemanager.resource.cpu-vcores2resource工作中所能使用机器的内核数yarn.scheduler.minimum-allocation-mb256yarn.log-aggregation-enabletrueyarn.log-aggregation.retain-seconds86400日志保留多少秒yarn.nodemanager.vmem-check-enabledfalseyarn.application.classpath/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*yarn.nodemanager.env-whitelistJAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

设置环境变量

[root@ant151 hadoop] # vim /etc/profile

#HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

 配置完成之后把hadoop313和配置文件拷贝到其余机器上面

hadoop

[root@ant151 shell]# scp -r ./hadoop313/ root@ant152:/opt/soft/
[root@ant151 shell]# scp -r ./hadoop313/ root@ant153:/opt/soft/

环境变量

[root@ant151 shell]# scp /etc/profile root@ant152:/etc

[root@ant151 shell]# scp /etc/profile root@ant153:/etc
所有机器刷新资源

[root@ant151 shell]# source /etc/profile

启动集群

启动zk集群

[root@ant151 shell]# ./zkop.sh start

[root@ant151 shell]# ./zkop.sh status

[root@ant151 shell]# ./showjps.sh

 

启动journalnode服务

启动ant151,ant152,ant153的journalnode服务

[root@ant151 soft]# hdfs --daemon start journalnode

格式化hfds namenode

在ant151上面操作

[root@ant151 soft]# hdfs namenode -format

启动namenode

在ant151上面操作

[root@ant151 soft]# hdfs --daemon start namenode

同步namenode信息

在ant152上操作

[root@ant152 soft]# hdfs namenode -bootstrapStandby

启动namenode

[root@ant152 soft]# hdfs --daemon start namenode

查看namenode节点状态

[root@ant151 zk345]# hdfs haadmin -getServiceState nn1
[root@ant151 zk345]# hdfs haadmin -getServiceState nn2

 

查看启动情况

[root@ant152 shell]# ./showjps.sh

关闭所有dfs有关的服务

[root@ant151 soft]# stop-dfs.sh

格式化zk

[root@ant151 soft]# hdfs zkfc -formatZK

启动dfs

[root@ant151 soft]# start-dfs.sh 

 

启动yarn

 [root@ant151 soft]# start-yarn.sh 

  查看resourcemanager节点状态 

[root@ant151 zk345]# yarn rmadmin -getServiceState rm1

测试集群wordcount

创建一个TXT文件

[root@ant151 soft]# vim ./aa.txt

上传到hdfs上面

[root@ant151 soft]# hdfs dfs -put ./aa.txt /

查看

[root@ant151 soft]# hdfs dfs -ls /

 mapreduce里面的jar包运行wordcount

运行

 [root@ant151 mapreduce]# hadoop jar ./hadoop-mapreduce-examples-3.1.3.jar  wordcount /aa.txt /out1

查看输出结果 

[root@ant151 mapreduce]# hdfs dfs -ls /
[root@ant151 mapreduce]# hdfs dfs -ls /out1
[root@ant151 mapreduce]# hdfs dfs -cat /out1/part-r-00000

出现

aa        1

bb        2

cc        3

则成功