Hadoop【单机安装-测试程序WordCount】
时间:2022-07-26
本文章向大家介绍Hadoop【单机安装-测试程序WordCount】,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
Hadoop程序说明,就是创建一个文本文件,然后统计这个文本文件中单词出现过多少次!
(MapReduce 运行在本地 启动JVM )
第一步 创建需要的文件目录,然后进入该文件中进行编辑
1.1
1.2 使用命令 vi wc.input 进入编辑 编辑如下内容
第二步 运行WordCount程序,数据来源于HDFS上
2.1 将创建出来的文件上传到HDFS文件系统上
bin/hdfs dfs -put wordcount/wc.input /user/zuoyan/mapreduce/wordcount/input
此时可视化的图形界面就已经能显示出来了
2.2 也可以使用命令来查看文件中的内容
使用命令:
bin/hdfs dfs -cat /user/zuoyan/mapreduce/wordcount/input/wc.input
使用之后的效果 (这样就表示文件已经成功的上传到文件系统上面去了!)
!!!2.3 注意一点,如果配置了 hadoop安装目录/etc/hadoop/core-site.xml 中的那个Hdfs文件系统 那读取数据的地址就是从配置的IP上读取 如果没有
就是默认从本机上读取
配置图如下
2.4 运行 Mapreduce程序
命令:
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/zuoyan/mapreduce/wordcount/input/ /user/zuoyan/mapreduce/wordcount/output
执行成功之后的截图
还有可以通过命令查看结果
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法