Linux实用技巧——删除重复行

时间:2022-07-24
本文章向大家介绍Linux实用技巧——删除重复行，主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

0. 前言

对于删除文件中的重复行，比如处理如下文件

[root@mobius ~]$cat file_test.txt
aaa
bbbbb
ccccc
123
aaaaa
123
bbb
aaa

需要得到的删除为：

123
aaa
aaaaa
bbb
bbbbb
ccccc

下面给出四种方法

1. sort -u方法

有关 sort 命令操作见Linux 工作常用命令笔记-sort排序

解决方案如下：

[root@mobius ~]$sort -u file_test.txt
123
aaa
aaaaa
bbb
bbbbb
ccccc

2. sort + uniq方法

解决方案：

[root@mobius ~]$sort file_test.txt | uniq
123
aaa
aaaaa
bbb
bbbbb
ccccc

注意：只用uniq无法达到预期效果

3. sort + awk方法

解决方案：

[root@mobius ~]sort file_test.txt | awk '{if($0!=line)print; line=$0}'
123
aaa
aaaaa
bbb
bbbbb
ccccc

注意：只用awk无法达到预期效果

4. sort + sed 方法

解决方案：

[root@mobius ~]sort file_test.txt | sed '$!N; /^(.*)n1$/!P; D'
123
aaa
aaaaa
bbb
bbbbb
ccccc

随机文章
本站知识点必读
最近更新