安利一下一个叫 gnu parallel 的神器

This topic created in 3575 days ago, the information mentioned may be changed or developed.

搜了一下，发现分享的不多啊。安利一下。

先黑一下~~哈哈
两核的 cpu

四核的

16 核的

并行效果：

grep 一个大文件，速度提高了 20 倍

详细请看： http://www.jianshu.com/p/c5a2369fa613

安利

Parallel

grep

gnu

16 replies • 2016-08-01 13:39:30 +08:00

pathbox

Jul 31, 2016

运维用这个还是挺好的

uyhyygyug1234

Jul 31, 2016 via Android

@pathbox 运维这种工具多，什么 fabric ， ansible 之类的。都并行的。

cuebyte

Jul 31, 2016

cool, despite it's a nagware. lol

ivmm

Jul 31, 2016

我还以为和 PD 有什么关联。

fcicq

Jul 31, 2016

time 的统计方法有问题, user cpu time 的计数不对. 另外这个 grep 应该换成 fgrep.

loading

Jul 31, 2016 via Android

四核…

h4lt

Jul 31, 2016

看了下楼主的这几篇文章，都挺不错呢。感谢。

uyhyygyug1234

Jul 31, 2016 via Android

@fcicq fgrep 的确在这个例子里要快点，因为就是找个子串

vibbow

Jul 31, 2016

四核的为什么会有 CPU4 混进来...

uyhyygyug1234

Jul 31, 2016 via Android

@vibbow 不要在意这些细节，哈哈。
@loading

Jul 31, 2016

@vibbow 这个亮点确实 666 啊

9hills

Jul 31, 2016

parallel 确实是运维神器，而且参数爆多功能十分强大

dudesun

Aug 1, 2016

其实就是 perl 写的 map reduce

uyhyygyug1234

Aug 1, 2016 via Android

@dudesun 是啊

21grams

Aug 1, 2016

perl 写的？有 python 版吗？

uyhyygyug1234

Aug 1, 2016 via Android

@21grams 木有，就是个工具，其实用啥写的无所谓，感觉重写一遍工作量不小啊

安利一下 一个叫 gnu parallel 的神器

安利一下一个叫 gnu parallel 的神器