How to Parallel All Cmds for Linux

时间:2022-05-30
本文章向大家介绍How to Parallel All Cmds for Linux，主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项，具有一定的参考价值，需要的朋友可以参考一下。

grep 一个100GB的文件总是很有压力，怎么才能提速呢?

瞎优化

1

LC_ALL=C fgrep -A 5 -B 5 'xxxxx.password' allpassseed.txt
  • LC_ALL=C比LC_ALL=UTF-8要块
  • 不需要正则的话，用fgrep可以提速

不过这样优化总是治标不治本，下面隆重推出linux 里面parallel all cmds的perl工具

1

cat allpassseed.txt |parallel --pipe --no-notice grep -f xxxxx.password

使用parallel ，和不使用parallel直接grep。结果显而易见，相差 20 倍。这比用啥 ack，ag优化效果明显多了

xargs也有一个-n的多核选项，可以作为备用

1 2 3 4 5

$ time echo {1..5} |xargs -n 1 sleep real 0m15.005s user 0m0.000s sys 0m0.000s

这一条xargs把每个echo的数作为参数传给sleep ，所以一共sleep了 1+2+3+4+5=15秒。

如果使用 -P 参数分给5个核，每个核各sleep 1,2,3,4,5秒，所以执行完之后总共sleep的5秒。

1 2 3 4 5

$ time echo {1..5} |xargs -n 1 -P 5 sleep real 0m5.003s user 0m0.000s sys 0m0.000s
  • 引自:

https://www.jianshu.com/p/c5a2369fa613

随机文章
本站知识点必读
最近更新