如何使用hadoop命令向CDH集群提交MapReduce作业
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
1.文档编写目的
在前面文章Fayson讲过《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》,那对于部分用户来说,需要将打包好的jar包在CDH集群运行,可以使用hadoop或java命令向集群提交MR作业,本篇文章基于前面的文章讲述如何将打包好的MapReduce,使用hadoop命令向CDH提交作业。同时也分为Kerberos和非Kerberos环境提交。
- 内容概述
1.环境准备
2.Kerberos环境和非Kerberos集群
- 测试环境
1.Kerberos集群CDH5.11.2,OS为Redhat7.2
2.非Kerberos集群CDH5.13,OS为CentOS6.5
- 前置条件
1.CDH集群运行正常
2.本地开发环境与集群网络互通且端口放通
2.示例代码
这里使用的代码是没有加载CDH集群的xml配置的,因为使用hadoop命令提交时会加载集群的配置信息(如hdfs-site.xml/yarn-site.xlm/core-sitem.xml等)。WordCountMapper和WordCountReducer类具体请参考《如何跨平台在本地开发环境提交MapReduce作业到CDH集群》,或者你在整个github中也能完整看到。
package com.cloudera.mr;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
/**
* package: com.cloudera.mr
* describe: 打包jar到集群使用hadoop命令提交作业示例
* creat_user: Fayson
* email: htechinfo@163.com
* creat_date: 2017/12/6
* creat_time: 下午11:30
* 公众号:Hadoop实操
*/
public class WordCount {
private static Logger logger = LoggerFactory.getLogger(WordCount.class);
public static void main(String[] args) {
logger.info(args[0] + "-----" + args[1]);
try {
Configuration conf = new Configuration();
Job wcjob = Job.getInstance(conf);
wcjob.setJobName("MyWordCount");
wcjob.setJarByClass(WordCount.class);
wcjob.setJarByClass(InitMapReduceJob.class);
wcjob.setMapperClass(WordCountMapper.class);
wcjob.setReducerClass(WordCountReducer.class);
wcjob.setMapOutputKeyClass(Text.class);
wcjob.setMapOutputValueClass(LongWritable.class);
wcjob.setOutputKeyClass(Text.class);
wcjob.setOutputValueClass(LongWritable.class);
FileInputFormat.setInputPaths(wcjob, args[0]);
FileOutputFormat.setOutputPath(wcjob, new Path(args[1]));
//调用job对象的waitForCompletion()方法,提交作业。
boolean res = wcjob.waitForCompletion(true);
System.exit(res ? 0 : 1);
} catch (Exception e) {
e.printStackTrace();
}
}
}
3.编译打包MapReduce作业
1.使用Maven命令进行编译打包,该命令运行需要在工程所在目录下运行
cd /Volumes/Transcend/work/cdhproject
mvn clean package
2.编译成功后,在工程的target目录下可以看到mr-demo-1.0-SNAPSHOT.jar包
3.将mr-demo-1.0-SNAPSHOT.jar包上传到CDH集群的任意节点
注意:这里是将jar包上传至CDH集群的任意节点且hadoop命令可以正常运行。
4.非Kerberos集群提交作业
1.在命令行执行如下命令提交MR作业
hadoop jar mr-demo-1.0-SNAPSHOT.jar com.cloudera.mr.WordCount /fayson/test_table /wordcount/out
2.命令行提交作业执行如下
3.Yarn界面查看,作业执行成功
4.查看HDFS输出目录
5.Kerberos集群提交作业
1.在Kerberos集群init Kerberos账号
[ec2-user@ip-172-31-22-86 ~]$ kdestroy
[ec2-user@ip-172-31-22-86 ~]$ kinit -kt fayson.keytab fayson
[ec2-user@ip-172-31-22-86 ~]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: fayson@CLOUDERA.COM
Valid starting Expires Service principal
12/06/2017 11:02:53 12/07/2017 11:02:53 krbtgt/CLOUDERA.COM@CLOUDERA.COM
renew until 12/13/2017 11:02:53
[ec2-user@ip-172-31-22-86 ~]$
2.在命令行使用hadoop提交作业
[ec2-user@ip-172-31-22-86 ~]$ hadoop jar mr-demo-1.0-SNAPSHOT.jar com.cloudera.mr.WordCount /fayson /wordcount/out
3.Yarn界面查看作业执行成功
4.查看HDFS目录输出的结果
6.总结
这里有几点需要注意,我们在本地环境开发MapReduce作业的时候,需要加载集群的xml配置,将打包好的MR jar包提交到集群使用hadoop命令运行时,代码里面的Configuration在初始化的时候不需要加载xml的配置即可。
GitHub源码地址:
https://github.com/javaxsky/cdhproject
为天地立心,为生民立命,为往圣继绝学,为万世开太平。
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看。
- 机器学习:单词拼写纠正器python实现
- java.lang.Exception: 资源处理失败,失败原因:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Unknown
- Server Tomcat v7.0 Server at localhost failed to start.
- Ovs+Dpdk简单实践
- Spark入门,概述,部署,以及学习(Spark是一种快速、通用、可扩展的大数据分析引擎)
- 创建基于MailKit和MimeKit的.NET基础邮件服务
- 把一个矩阵行优先展成一个向量,numpy.ravel() vs numpy.flatten()区别
- dataframe插入数据报错SettingWithCopyWarning: A value is trying to be set on a copy of a slice from a
- python 对矩阵进行复制操作 np.repeat 与 np.tile区别
- python标准异常:中英文对比
- 激活windows10转到电脑设置的水印消失3种方法总结
- Android 运行时权限及APP适配
- python如何保存矩阵,保存matrix,保存numpy.ndarray
- SDP(12): MongoDB-Engine - Streaming
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- DockerFile简介与实例
- Elasticsearch2.3官方Dockerfile解析
- openstack架构解析
- Linux服务器基础网络配置
- 负载均衡集群介绍,LVS介绍,LVS的调度算法,LVS的NAT模式搭建
- 03 实战 Ansible-Playbook之初始化服务器
- Dubbo与Zookeeper,SpringMVC整合和使用
- Docker安全之用户资源隔离
- kubernetes(六) 基于kubeadm构建高可用k8s集群
- docker存储驱动知识归纳总结
- 未来已来——如何在VR游戏中实现3D语音
- kubernetes(五)之Dockerfile
- kubernetes(四)之Docker存储卷
- 使用卷积神经网络构建图像分类模型检测肺炎
- 如何提升docker容器安全性