Linux管道命令
1 什么是管道命令?
管道命令能够将一个命令的执行结果经过筛选,只保留我们需要的信息。 如,/etc目录下会有大量的文件,如果使用ls很难找到需要的文件,因此可以使用管道命令将ls的结果进行一次筛选,只保留需要的信息。
2 管道 和 数据流重定向 的区别?
- 管道一词非常生动形象,原始数据经过管道后,管道会将一部分不需要的信息过滤掉,只保留用户所关注的信息。
- 数据流重定向是指定数据在哪里显示,默认情况下会在屏幕显示,我们可以指定它输出到文件。
3 管道命令有哪些
3.1 选取指定列:cut
cut为剪切的意思,它能将一行行的数据按照指定的分隔符切成一列列,然后只显示特定列的数据。 cut有两种使用方式:
- 按照指定字符分隔 这个命令会按照特定的分隔符将数据切分,并只显示第n列的数据。
cut -d '分隔符' -f n
例子:显示环境变量PATH第1和6列的数据
echo $PATH | cut -d ':' -f 1,6
- 选择特定范围内的数据
cut -c 起始字符的下标-结束字符的下标
注意:cut中涉及的下标均从1开始。
3.2 关键词搜索指定行:grep
3.2.1 grep命令介绍
grep用于进行关键词查找,它会将文件中含有关键词的那一整行输出来。
grep [-cinv] [--color=auto] '关键词' 待查找的文件名
-c:统计关键词出现的次数
-i:关键词忽略大小写
-n:输出行号
-v:反向选择,即查找不包含该关键词的行
--color=auto:关键词高亮
3.2.2 grep的两种使用方式
3.2.2.1 方式1:grep [-参数] ‘关键词’ 文件
这种方式并没有用到管道,只是从指定文件中将符合关键词的行搜索出来。
3.2.2.2方式2:命令 | grep [-参数] ‘关键词’
这种方式采用管道,将前一个命令的执行结果输出给grep,并通过grep的关键词搜索将符合条件的行搜索出来。
3.3 排序:sort
3.3.1 sort命令介绍
sort命令能够将指定文件 或 前一个命令的结果数据 按照指定字段进行排序。
sort [-参数] 文件
-t:指定分隔符
-k:选取分隔后的第几个字段进行排序
-f:排序时忽略选取字段的大小写
-b:去除选取字段前的空格
-M:将选取的字段按照月份来排序(前提是选取字段就是月份)
-n:将选取字段按照数据来排序(前提是选取字段就是数字)
-r:反向排序
-u:去重。若选取字段有重复,则去掉重复。
3.3.2 sort两种使用方式
和grep一样,sort也有两种使用方式。
3.3.2.1 方式1:sort [-参数] 文件
将文件中的数据按照指定字段排序。
3.3.2.2 方式2:命令 | sort [-参数]
使用管道,将前一个命令执行的结果按照指定字段进行排序。
3.4 去除重复行:uniq
3.4.1 uniq命令介绍
uniq命令只能用于管道,它能够去除前一个命令执行的结果中完全一样的行。
uniq [-参数]
-i:忽略大小写
-c:进行重复行的统计
3.4.2 uniq使用方式
该命令只能用于管道,如统计当前系统所有用户的登录次数:
last | cut -d ' ' -f 1 | uniq -c
3.5 统计字数、行数、字符数:wc
3.5.1 wc命令介绍
wc [-参数]
-l:列出行数
-w:列出字数
-m:列出字符数
3.5.2 wc使用方法
wc只能通过管道使用:命令 | wc [-参数]
3.6 双向重定向:tee
3.6.1 tee命令介绍
tee能够同时将命令执行的结果输出到指定的文件和屏幕。
tee [-a] 文件
-a:以追加的形式写入文件。
3.6.2 tee使用方式
tee只能和管道结合使用,如将last中的信息输出指文件并显示在屏幕上:
last | tee -a lastfile | cut -d ' ' f 1
last的所有信息将会被写入文件lastfile中,然后数据流将会输出到屏幕上,我们可以在输出前再添加一条管道,只输出数据的第一个字段。
3.7 连接两个文件:join
3.7.1 join命令介绍
这个命令与管道无关。 它相当于数据库中的join连接,将两张表中指定字段,且字段相同的行连接起来。在这里,它能够将两个文件中指定字段的相同字段连接起来,并成一行。
3.7.2 join命令的用法
join [-参数] 文件1 文件2
-t:两个文件的字段分隔符
-1:第一个文件的字段
-2:第二个文件的字段
-i:忽略选取字段的大小写
3.8 切割文件:split
3.8.1 命令介绍
该命令能将一个大文件切分成若干个小文件。
3.8.2 命令用法
split [-参数] 大文件 小文件名字前缀
-b:指定小文件的大小,需要加上单位:b、k、m
-l:指定每个小文件中的行数。
大文件会被切分成若干个小文件,且小文件的名字为:小文件名字前缀+aa、小文件名字前缀+ab、小文件名字前缀+ac
- HDU 2080 夹角有多大II
- 二分查找模版
- Hadoop数据分析平台实战——010hadoop介绍安装
- Python为什么文件运行和在命令行运行同样语句但结果却不同?
- HDU 2034 人见人爱A-B
- Hadoop数据分析平台实战——030Hadoop Shell命令02(熟悉linux跳过)离线数据分析平台实战——030Hadoop Shell命令02
- Hadoop数据分析平台实战——070深入理解MapReduce 02(案例)离线数据分析平台实战——070深入理解MapReduce 02
- Hadoop数据分析平台实战——040HDFS介绍(熟悉基础概念跳过)离线数据分析平台实战——040HDFS&JAVA API(熟悉基础概念跳过)
- Hadoop数据分析平台实战——060深入理解MapReduce 01(案例)离线数据分析平台实战——060深入理解MapReduce 01(案例)
- 利用向量积(叉积)计算三角形的面积和多边形的面积
- HDU 1556 Color the ball
- Hadoop数据分析平台实战——080HBase介绍和安装离线数据分析平台实战——080HBase介绍和安装
- Hadoop数据分析平台实战——130Hive Shell命令介绍 02(熟悉Hive略过)离线数据分析平台实战——130Hive Shell命令介绍 02(熟悉Hive略过)
- ECJTUACM16 Winter vacation training #4 题解&源码
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Json对象和Json字符串的区别
- 合并/拆分 Excel?Python、VBA轻松自动化
- (数据科学学习手札96)在geopandas中叠加在线地图
- 秋天的第一杯奶茶该买哪家?Python 爬取美团网红奶茶店告诉你
- AttributeError: NoneType object has no attribute‘’
- tf.control_dependencies(control_inputs)
- tf.get_collection()
- tf.reduce_mean()
- tf.placeholder函数说明
- tf.sigmoid()用法
- Latex 表格过大(或过小)的调整方法
- Latex设置字体大小及表格中的文字大小等
- jQuery 选择器
- jQuery 介绍 以及基本使用
- 答应我,用了这个jupyter插件,别再重复造轮子了