shell with hadoop
时间:2019-09-26
本文章向大家介绍shell with hadoop,主要包括shell with hadoop使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
shell 命令操作 hadoop 之前多少提及过,这里做个总结。
shell with hdfs
基本命令
bin/hadoop fs 大于下面的命令
bin/hdfs dfs dfs 是 fs 的实现类
shell 操作 hadoop 就是 上面的命令 加 “-” 再加 linux 命令
常用命令
sbin/start-dfs.sh # 启动 hdfs 集群 sbin/stop-dfs.sh # 关闭 hdfs 集群
hadoop fs -help rm # 输出该命令的参数 hadoop fs -ls / # 显示目录信息 /是 hdfs 的根目录 hadoop fs -mkdir -p /a/b/c # -p 创建多层目录
hadoop fs -moveFromLocal localfile hdfsdir # 从本地文件剪切到 hdfs hadoop fs -copyFromLocal localfile hdfsdir # 把本地文件拷贝到 hdfs hadoop fs -put localfile hdfsdir # 把本地文件上传到 hdfs,等同于 copyFromLocal hadoop fs -copyToLocal hdfsfile localdir # 把 hdfs 文件拷贝到本地 hadoop fs -get hdfsfile localdir # 把 hdfs 文件下载到本地,等同于 copyToLocal hadoop fs -cp hdfsfile hdfsfile2 # 从 hdfs 的一个路径拷贝到另一路径 hadoop fs -mv hdfsfile hdfsdir # 从 hdfs 的一个路径移动到另一路径 hadoop fs -getmerge hdfsdir/* localfile # 合并下载多个文件,比如 hdfsdir 下有 log1、log2、log3,会把3个文件合并,并且下载 hadoop fs -appendToFile localfile hdfsfile # 把一个本地文件追加到 hdfs 文件末尾 hadoop fs -cat hdfsfile # 打印 hdfs 文件 hadoop fs -chgrp hadoop fs -chown hadoop fs -chmod # 这 3 个命令用法同 linux hadoop fs -tail hdfsfile # 显示一个文件末尾 hadoop fs -rm hdfsfile or hdfsdir # 删除文件夹或者文件 hadoop fs -rmdir hdfsdir # 删除空目录,注意只能是空目录
hadoop fs -du -s -h hdfsdir # 统计文件夹大小 hadoop fs -setrep number hdfsfile # 设置 hdfs 文件的副本数
原文地址:https://www.cnblogs.com/yanshw/p/11592843.html
- windows 安装 spark 及 pycharm 调试 TopN 实例
- storm kafka 编程指南
- 基于Session的身份窃取
- 使用 django-blog-zinnia 搭建个人博客
- 针对提权小神器Sherlock的分析与利用
- 关于 rsync 中: 和 :: 及 rysnc 和 ssh 认证协议的区别
- Java 反射机制详解
- shell 脚本多进程创建 mysql 测试数据
- Zookeeper 原理与实践
- 修改 mysql/oracle/bash/vimrc/cmd 提示符格式与颜色
- shell 学习笔记(17)
- 关于 xargs 参数被截断,tar 文件被覆盖的问题
- 一些sql用法例子【Updating】
- 关于腾讯的一道字符串匹配的面试题
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法