Hadoop运行模式
创始人
2024-04-10 23:38:42
0

hgfhfg

Hadoop运行模式包括:本地模式、伪分布式模式以及完全分布式模式。

Hadoop官方网站:Apache Hadoop

 一、本地运行模式

 官方Grep案例

1. 创建在hadoop-2.7.2文件下面创建一个input文件夹

 mkdir input

2. 将Hadoop的xml配置文件复制到input

 cp etc/hadoop/*.xml input

3. 执行share目录下的MapReduce程序

 bin/hadoop jar

share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'

4. 查看输出结果

cat output/*

 二、完全分布式运行模式

1、编写集群分发脚本xsync

将三台服务器都放入hadoop和jdk

hadoop103删除文件 hadoop102通过rsync同步数据

(第一次拷贝推荐用scp,之后用sync)

cd /opt/module/
将本地文件推发送给局域网服务器
scp -r jdk1.8.0_212/ root@hadoop103:/opt/module/输入yes
输入密码拉取局域网的文件
scp -r root@hadoop102:/opt/module/hadoop-3.1.3 ./
将102服务器的工具拷贝到104scp -r root@hadoop102:/opt/module/* root@hadoop104:/opt/module/

rm -rf wcinputrsync -av hadoop-3.1.3/ root@hadoop103:/opt/module/hadoop-3.1.3/

创建脚本并执行,然后输入其他两个服务器的密码

cd /usr/local/mkdir binvim xsync#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir#4 获取当前用户名称
user=`whoami`#5 循环
for((host=103; host<105; host++)); doecho ------------------- hadoop$host --------------rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
donexsync /usr/local/bin

配置环境变量

102服务器xsync /etc/profile.d/my_env.sh103服务器、104服务器都执行source /etc/profile

2、SSH无密登录配置

 ① 进入用户目录,输入   ls -al查看隐藏目录,如果没有ssh文件 连接自己建立ssh文件

ssh localhost

②跟103和104建立连接,实现免密登录

按三下enter,建立自己的密钥
ssh-keygen -t rsassh-copy-id hadoop102ssh-copy-id hadoop103ssh-copy-id hadoop104

 

相关内容

热门资讯

监控摄像头接入GB28181平... 流程简介将监控摄像头的视频在网站和APP中直播,要解决的几个问题是:1&...
Windows10添加群晖磁盘... 在使用群晖NAS时,我们需要通过本地映射的方式把NAS映射成本地的一块磁盘使用。 通过...
protocol buffer... 目录 目录 什么是protocol buffer 1.protobuf 1.1安装  1.2使用...
在Word、WPS中插入AxM... 引言 我最近需要写一些文章,在排版时发现AxMath插入的公式竟然会导致行间距异常&#...
Fluent中创建监测点 1 概述某些仿真问题,需要创建监测点,用于获取空间定点的数据࿰...
educoder数据结构与算法...                                                   ...
MySQL下载和安装(Wind... 前言:刚换了一台电脑,里面所有东西都需要重新配置,习惯了所...
MFC文件操作  MFC提供了一个文件操作的基类CFile,这个类提供了一个没有缓存的二进制格式的磁盘...
有效的括号 一、题目 给定一个只包括 '(',')','{','}'...
【PdgCntEditor】解... 一、问题背景 大部分的图书对应的PDF,目录中的页码并非PDF中直接索引的页码...