MapReduce工作笔记——Hadoop shell 常用文件操作命令
时间:2022-07-24
本文章向大家介绍MapReduce工作笔记——Hadoop shell 常用文件操作命令,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
0. 文件操作基本格式
hadoop fs [generic options]
1. ls
列出当前目录下的文件以及文件夹,类似于UNIX/Linux 中的ls
, 但是hadoop 中没有ll
方法。
使用方法:
hadoop fs -ls <args>
# <args> 指的是要列出的文件路径
2. put
将本地文件上传至HDFS 使用方法:
hadoop fs -put <localsrc> <dst>
3. get
复制HDFS文件到本地文件系统 使用方法:
hadoop fs -get <src> <localdst>
4. rm
删除HDFS文件 使用方法:
hadoop fs -rm <dst>
5. rmr
递归删除 使用方法:
hadoop fs -rmr <dst>
6. mkdir
创建文件 使用方法:
hadoop fs -mkdir <paths>
7. cp
将文件从源路径复制到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。 但是如果目标已存在,会报错 使用方法:
hadoop fs -cp <path1> <path2>
8. mv
将文件从源路径移动到目标路径。这个命令允许有多个源路径,此时目标路径必须是一个目录。不允许在不同的文件系统间移动文件。 使用方法:
hadoop fs -mv <path1> <path2>
9. du
显示目录中所有文件的大小,或者当只指定一个文件时,显示此文件的大小。 使用方法:
hadoop fs -du <path>
一般为了更加直观,使用如下命令:
hadoop fs -du -h <path>
10. text
将源文件输出为文本格式。允许的格式是zip和TextRecordInputStream。 使用方法:
hadoop fs -text <src>
11. test
使用方法:
使用方法:hadoop fs -test -[ezd] <path>
其中可选参数:
-e 检查文件是否存在。如果存在则返回0。
-z 检查文件是否是0字节。如果是则返回0。
-d 如果路径是个目录,则返回1,否则返回0。
12. tail
将文件尾部1K字节的内容输出到stdout。 使用方法:
hadoop fs -tail [-f] URI
参考
- mockjs,json-server一起搭建前端通用的数据模拟框架
- Oozie分布式工作流——流控制
- C++命名规则
- 论JavaScript的作用域
- 删除链表中的重复元素
- Single Number and Single Number II
- 前端限制上传文件的类型
- JavaSript模块规范 - AMD规范与CMD规范介绍
- [大数据之Sqoop] —— Sqoop初探
- [大数据之Sqoop] —— 什么是Sqoop?
- Node.js包管理器Yarn的入门介绍与安装
- static_cast ,reinterpret_cast
- NodeJS使用formidable实现文件上传
- 签下北方最大港口,聚焦无人驾驶卡车技术的主线科技朝商业化又进一步
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- (一)Mybatis的入门 - Titan的Mybatis系列学习笔记
- Hadoop安装与环境配置入门
- Elasticsearch源码解析:环境搭建
- SpringBoot整合JWT认证机制实现接口鉴权
- [Java] Java多线程的探索 -获取新闻标题
- Java中对文件进行MD5加密
- [数据结构] 使用最小堆思想实现哈夫曼编解码
- [数据结构] 括号符的匹配
- [数据结构] 平衡二叉查找树 (AVL树)
- 写给前端的算法进阶指南,我是如何两个月零基础刷200题
- [Java] 在Java中优雅地进行文件IO操作
- [Java] 日期与时间的一些操作
- 一起来用python实现一下十大经典排序算法
- [数据结构] 稀疏矩阵的存储
- [Python] 关于 asyncio 与 aiohttp 协程并发的探索