linux`操作文本的三大利器
时间:2022-06-26
本文章向大家介绍linux`操作文本的三大利器
,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
awk
、grep
、sed
是linux
操作文本的三大利器,也是必须掌握的linux
命令之一。三者的功能都是处理文本,但侧重点各不相同,其中属awk
功能最强大,但也最复杂。grep
更适合单纯的查找或匹配文本,sed
更适合编辑匹配到的文本,awk
更适合格式化文本,对文本进行较复杂格式处理。
以下所有实验输出,均以测试文件test.log
内容为基准:
20170102 admin,password Open
20170801 nmask,nmask close
20180902 nm4k,test filter
awk
AWK
是一种处理文本文件的语言,是一个强大的文本分析工具; awk
是以列为划分计数的,$0
表示所有列,$1
表示第一列,$2
表示第二列。
awk参数
-
-F
指定输入文件折分隔符,如-F
: -
-v
赋值一个用户定义变量,如-va=1
-
-f
从脚本文件中读取awk
命令
注:只列举最常用的参数
分隔符
每行按空格分割列,并输出第1、3列
$ awk '{print $1,$3}' test.log
# 或者
$ cat test.log | awk '{print $1,$3}'
自定义分隔符
使用”,”进行分割,参数用-F
awk -F, '{print $1,$2}' test.log
使用多个分隔符,先使用空格分割,然后对分割结果再使用”,”分割
$ awk -F '[ ,]' '{print $1,$2,$3}' test.log #注意逗号前面有一个空格
设置变量
设置awk
自定义变量,用参数-v
例子:设置变量a为1
cat test.log | awk -v a=1 '{print $1,$1+a}'
注意:-v a之间要空格。
字符串拼接:(用””而不是+)
cat test.log | awk -v a=" '{print a""$0""a}'
逻辑判断
输出第一列为20170801的记录
cat test.log | awk '$1==20170801 {print}'
输出第二列不是nmask,nmask的记录
cat test.log | awk '$2!="nmask,nmask" {print}'
内建变量
NR参数:输出行号
cat test.log | awk '{print NR,$1,$2,$3}'
正则表达式
输出第二列中包含nm开头的所有记录
cat test.log | awk '$2 ~ /nm.*/ {print}'
输出包含2017开头的记录
cat test.log | awk '/2017.*/ {print}'
注意:这里没有~,因为没有指定是哪一列
忽略大小写{INGORECASE=1}
cat test.log | awk '{INGORECASE=1} /nmask/ {print}'
匹配取反 !~
cat test.log | awk '$2 !~ /nmask/ {print}'
内置函数
substr字符串截取
截取第一列的第一到第四个字符
cat test.log | awk '{print substr($1,1,4)}'
split切分字符串
以逗号分隔第2列的数据,并输出分别输出第2列的内容
cat test.log | awk '{split($2,a,",");print a[1],a[2]}'
gsub替换
将第2列中的nmask替换成nMask
cat test.log | awk '{gsub("nmask","nMask",$2);print}'
grep
Linux grep命令用于查找文件里符合条件的字符串。
Usage
递归查询
grep -r nmask /etc/ #查看/etc目录下内容包含nmask的文件
查询取反
grep -v test test.log
sed
Linux sed命令是利用script来处理文本文件。
参数
-
-e
以选项中指定的script
来处理输入的文本文件。 -
-f
以选项中指定的script
文件来处理输入的文本文件。 -
-h
显示帮助。 -
-n
仅显示script
处理后的结果。 -
-V
显示版本信息。
动作
- a :新增, a 的后面可以接字串,而这些字串会在下一行出现
- i :插入, i 的后面可以接字串,而这些字串会在上一行出现
- c :取代, c 的后面可以接字串,这些字串可以取代 n1,n2 之间的行
- d :删除
- s :取代,通常这个s的动作可以搭配正规表示法!如 s/old/new/g
插入操作
在test.log文件的第3行后插入一行,内容为nmask
sed -e 3anmask test.log
删除操作
删除test.log的第2行、第3行数据
cat test.log | sed '2,3d'
匹配删除,删除行中有nmask字符串的
nl test.log | sed '/nmask/d'
替换操作
sed 's/要被取代的字串/新的字串/g'
- 网站上的验证码是怎么产生的?
- Java基础-17(01)总结,登录注册案例,Set集合,HashSet
- mongoDB初探第一篇(r4笔记第75天)
- 重温快速排序(r4笔记第73天)
- Java基础-17(01)总结,TreeSet,LinkHashSet
- 海量数据迁移之数据抽取流程 (r4笔记第72天)
- CSS Selectors Level 4新特性全面解析
- 巧用外部表避免大量的insert (r4笔记第71天)
- 如何用java语言实现C#中的ref关键字(按引用传递参数)的效果
- 16(01)总结List的子类,ArrayList,Vector,LinkedList
- 16(02)总结泛型
- 基于 React + Webpack 的音乐相册项目(上)
- 16(03)总结增强for循环,静态导入,可变参数
- 基于 React + Webpack 的音乐相册项目(下)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Redis 常见面试题
- 老公,JNDI注入是什么呀?
- XXE漏洞:DocumentBuilder使用之殇
- IDEA怎么远程调试应用?
- Tidyverse| XX_join :多个数据表(文件)之间的各种连接
- tidyverse|数据分析常规操作-分组汇总(sumamrise+group_by)
- R|生存分析 - KM曲线 ,必须拥有姓名和颜值
- 每日一题 | 不确定参与人数的抽奖问题
- PT-OSC在线DDL变更工具使用攻略
- mysql-8.0.12-winx64 解压版安装
- Java8InAction
- 文本挖掘|不得不知的jiebaR包,切词分词?
- Java多线程编程核心技术
- oracle 常用函数
- oracle 笔记