hadoop伪分布式之配置yarn并运行MR程序(WordCount)
1、配置集群
(1)在yarn-env.sh中配置JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_11
(2)在yarn-site.xml中配置
<!--Reducer获取数据的方式-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定yarn的ResourceManager的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop01</value>
</property>
(3)配置mapred-env.sh
export JAVA_HOME=/opt/module/jdk1.8.0_11
(4)将mapred-site.xml.template重命名为mapred-site.xml
mv mapred-site.xml.template mapred-site.xml
并配置:
<!--指定MR运行在yarn上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
二、启动集群
确保NameNode和DataNode已经启动,用jps查看,若没启动,则进行启动(在hadoop-2.9.2目录下)
sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
(1) 启动ResourceManager
sbin/yarn-daemon.sh start resourcemanager
(2)启动NodeManager
sbin/yarn-daemon.sh start nodemanager
systemctl status firewalld.service查看防火墙状态
systemctl stop firewalld.service 关闭运行的防火墙
(3) 查看集群
(4)执行WordCount
之前操作参考:https://www.cnblogs.com/xiximayou/p/12389363.html
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/gong/input /user/gong/output
然后就可以看到:
在控制台:
在50070端口:
删除应用:sh yarn application -kill jobId
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Python、PyGame游戏项目
- windows 认证机制
- 谷歌地球引擎python文档(GEE_python_API)
- react基础
- 基于ASP.NET Core 3.x的端点路由(Endpoint Routing)实现控制器(Controller)和操作(Action)分离的接口服务
- 流量转发映射
- 什么情况用ArrayList or LinkedList呢?
- 拒绝服务攻击
- 协议攻击(一)
- 百亿级图数据JanusGraph迁移之旅
- 协议攻击(二)
- 学不会设计模式,是因为你还没用过这个神奇的网站!
- windows域的创建
- 聊一下简易版的“Spring Boot”写的咋样了
- 手写“SpringBoot”近况:IoC模块已经完成