Home Sign Up Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
holinhot
V2EX  ›  Python

请教如何删除 6 万 txt 中重复的行

  •   
  •   holinhot · Apr 23, 2015 · 10644 views
    This topic created in 4036 days ago, the information mentioned may be changed or developed.

    文本1中：

    123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600
123.com.     3600    IN      A       2.2.2.2
123.com.     3600    IN      NS      ns2.dns.com.
123.com.     3600    IN      NS      ns1.dns.com.
123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600

    文本2中

    aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600
aaaa.com.     3600    IN      A       11.1.1.1.1
aaaa.com.     3600    IN      NS      ns2.youdns.com.
aaaa.com.     3600    IN      NS      ns1.youdns.com.
aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600

    删除每个文本中重复的行
    像文本1中

    123.com.     3600    IN      SOA     ns1.dns.com. dns.dns.com. 1419473850 3600 3600 3600 3600

    这行重复了去掉重复的一行

    文本2中

    aaaa.com.     3600    IN      SOA     ns1.youdns.com. dns.youdns.com. 1419473850 3600 3600 3600 3600

    重复了 去掉重复的一行。
    我也不知道为什么为有两条SOA记录 真是奇怪

  • aaaa.com
  • 123.com
  • SOA
    66 replies  •  2015-04-24 16:48:18 +08:00
    holinhot
        1
    holinhot  
    OP
       Apr 23, 2015
    不能说固定删除第几行，这个行不通 因为每个域名的解析记录条数有多有少
    magicianzrh
        2
    magicianzrh  
       Apr 23, 2015   ❤️ 1
    每读入一行 一行文字md5一下作为key，就可以检查了
    ksupertu
        3
    ksupertu  
       Apr 23, 2015   ❤️ 1
    uniq命令加管道重定向输出文件
    airqj
        4
    airqj  
       Apr 23, 2015   ❤️ 1
    sort -u
    ob
        5
    ob  
       Apr 23, 2015
    话说搭个hadoop环境是否可行。。
    ob
        6
    ob  
       Apr 23, 2015
    好吧，没注意这是python节点，请忽略我上面的评论。。
    ipconfiger
        7
    ipconfiger  
       Apr 23, 2015
    @ob 6w行还需要动hadoop？
    python读进来，"\n".join(list(set(f.readlines()))) 写回去就好了
    youxiaer
        8
    youxiaer  
       Apr 23, 2015
    如果不考虑原有顺序就比较简单了。
    for i in `find ./ -name "*.txt"`; do sort $i | uniq > $i".bak"; mv $i".bak" $i; done
    staticor
        9
    staticor  
       Apr 23, 2015   ❤️ 1
    考虑顺序?
    如果不考虑的话是用set() : uniqlines = set(open('/tmp/foo').readlines())
    *Nix下sort <file name> | uniq

    也有用dict的keys()的:

    import collections

    with open(infile, 'rb') as inf, open(outfile, 'wb') as outf:
    outf.writelines(collections.OrderedDict.fromkeys(inf))


    -----------------------------------------

    要保持原顺序, 那就算一行一行读也能操作:
    for ...
    if line not in ... :
    read_it



    注: 我只是ST搬运工.
    holinhot
        10
    holinhot  
    OP
       Apr 23, 2015
    @staticor
    @youxiaer 顺序都不保持也可以。到时候导入数据库就好了
    刚测试了一个 没有问题，现在还在执行中 感谢了 我自己查了半天 uniq还没看明白
    youxiaer
        11
    youxiaer  
       Apr 23, 2015   ❤️ 2
    @holinhot 保证顺序也是可以的。
    for i in `find ./ -name "*.txt"`; do awk '!a[$0]++' $i > $i".bak"; mv $i".bak" $i; done

    用上面的语句就行
    kimmykuang
        12
    kimmykuang  
       Apr 23, 2015
    sort + uniq命令可以搞定的吧？
    GreenJoson
        13
    GreenJoson  
       Apr 23, 2015
    Emeditor 打开10多W万行的文本都不成问题，删除重复行用他的插件~~瞬间的事~~
    atan
        14
    atan  
       Apr 23, 2015
    sublime text 打开后 Edit>Permute Lines>Unique
    xiaoheshang
        15
    xiaoheshang  
       Apr 23, 2015   ❤️ 1
    直接sort |uniq -c |sort -r 解决
    duzhe0
        16
    duzhe0  
       Apr 23, 2015
    感觉你是想做个diff,把逻辑上相同的行批掉就行了
    mv aaaa.com.log aaaa.com.log.backup
    sed -i 's/^aaaa.com/123.com/;s/ns1.youdns.com. dns.youdns.com/ns1.dns.com. dns.dns.com./' aaaa.com.log
    diff 123.com.log aaaa.com.log
    duzhe0
        17
    duzhe0  
       Apr 23, 2015
    弄错了， 不是mv, 是cp
    jianghu52
        18
    jianghu52  
       Apr 23, 2015
    up @GreenJoson 的做法，emeditor打开大文件绝对飞快。
    momo07
        19
    momo07  
       Apr 23, 2015   ❤️ 2
    全部复制到excel，全选6W行数据
    数据选项卡-数据工具栏目“删除重复数据”
    cbsw
        20
    cbsw  
       Apr 23, 2015
    不要拘泥于工具，Python只是一种方便的编程语言而已，sort、unique两个命令干这事最合适了

    Do the right thing with the right tool, never try to do everything with one tool.
    holinhot
        21
    holinhot  
    OP
       Apr 23, 2015
    @prinzchao 这个厉害 你手动从6w txt复制到excel?
    chengzhoukun
        22
    chengzhoukun  
       Apr 23, 2015 via Android
    用SQL也可以吧
    chengzhoukun
        23
    chengzhoukun  
       Apr 23, 2015 via Android
    用SQL
    holinhot
        24
    holinhot  
    OP
       Apr 23, 2015
    @GreenJoson 不是10w行吧。是6w个txt 每个txt大概10来行
    holinhot
        25
    holinhot  
    OP
       Apr 23, 2015
    @chengzhoukun 最终用api入库
    MarioLuisGarcia
        26
    MarioLuisGarcia  
       Apr 23, 2015   ❤️ 1
    vim里 :sort u
    搞定！
    tikazyq
        27
    tikazyq  
       Apr 23, 2015
    cat <filename> | sort | uniq >> unique.txt

    6万行数据不算大，直接unix操作就ok
    momo07
        28
    momo07  
       Apr 23, 2015
    @holinhot 临时处理某个文档数据当然可以这样啊，6W行数据对现在的电脑配置来说毫无难度吧。
    CodeDrift
        29
    CodeDrift  
       Apr 23, 2015
    为什么大家看不清。。。人家说的是6个txt文件。。。。。。。。。
    sbboy
        30
    sbboy  
       Apr 23, 2015
    @Anybfans 6万个吧。。。
    touch
        31
    touch  
       Apr 23, 2015
    既然最终要入库的那不是一条sql语句的事
    raman
        32
    raman  
       Apr 23, 2015
    这里 sort - u file.txt
    idblife
        33
    idblife  
       Apr 23, 2015
    导入数据库里操作一下
    eycfsjd
        34
    eycfsjd  
       Apr 23, 2015
    sort -u src.txt > des.txt 就可以搞定了...
    iiilii
        36
    iiilii  
       Apr 23, 2015
    这么多人都没看懂楼主的问题，6万个txt文件，每个文件10几行。
    incompatible
        37
    incompatible  
       Apr 23, 2015
    python里没有 既能保持添加顺序、又能滤重 的数据结构？
    类似Java里的LinkedHashSet
    staticor
        38
    staticor  
       Apr 23, 2015
    @incompatible ordereddict collections中的
    mucid
        39
    mucid  
       Apr 23, 2015
    cat *.txt | sort | uniq > all.txt
    Jaylee
        40
    Jaylee  
       Apr 23, 2015
    @mucid sort -u 就可以
    USCONAN
        41
    USCONAN  
       Apr 23, 2015
    sort uniq

    P.S. 論起標題的嚴謹性和歧義的產生
    leavic
        42
    leavic  
       Apr 23, 2015
    sort|uniq

    done
    shierji
        43
    shierji  
       Apr 23, 2015
    python cookbook里面有介绍保持顺序的去重方法
    carmark
        44
    carmark  
       Apr 23, 2015
    bloom filter 值得研究
    用这个工具处理500g数据都没问题，当然有一定错误率
    GreenJoson
        45
    GreenJoson  
       Apr 23, 2015
    @holinhot 把6W多个合并成一个，然后用emeditor 就行~~
    KoleHank
        46
    KoleHank  
       Apr 23, 2015
    每一行读出来了往redis里面一塞可行不？
    rrfeng
        47
    rrfeng  
       Apr 23, 2015   ❤️ 1
    不需要保证输出顺序的话：

    awk '!a[$0}++' file1 > file1_output

    如果要合并去重的话
    awk '!a[$0]++' file1 file2 file3.... fileN > all_output


    ----------
    一个合格的运维从来不用 sort -u 23333
    LuciferSheng
        48
    LuciferSheng  
       Apr 23, 2015
    果然都是程序员，我的方法是导入到 excel - 删除重复项...
    withboost
        49
    withboost  
       Apr 23, 2015
    第一反映是用 excel
    ShunYea
        50
    ShunYea  
       Apr 23, 2015
    @LuciferSheng 我想到的第一个方法也是这个。
    zts1993
        51
    zts1993  
       Apr 23, 2015 via Android
    为什么没人用redis
    Battle
        52
    Battle  
       Apr 24, 2015 via iPad
    那么多用编程解决的都编得定势思维了？用个excel一下子就行
    geeti
        53
    geeti  
       Apr 24, 2015
    cat|uniq > xx不就行了。。。。
    20150517
        54
    20150517  
       Apr 24, 2015
    来说个上T的情况怎么处理的办法,把这个弄进hdfs,开hive,来个row_number函数partition by重复的列,几T数据也帮你处理下来
    ryd994
        55
    ryd994  
       Apr 24, 2015 via Android
    @geeti uniq前须先sort
    @Battle bash cat sort uniq打字10秒顶天了
    唯一怕内存不够。不过如果内存不够的话，excel也一样，就只能上数据库了。
    ibolee
        56
    ibolee  
       Apr 24, 2015
    导入excle中滤重可能不？备份下试试。
    s51431980
        57
    s51431980  
       Apr 24, 2015
    ls *.txt | xargs -I{} bash -c "sort -u {} > {}.bak ; mv {}.bak {}"
    hicdn
        58
    hicdn  
       Apr 24, 2015
    awk '!a[$0]++' *.txt > new
    lzg
        59
    lzg  
       Apr 24, 2015
    你这个TXT应该是从SQL中导出的吧。在SQL中就很好做了。
    你直接Select distinct再导出TXT。
    holinhot
        60
    holinhot  
    OP
       Apr 24, 2015
    @touch 不去重用api不行
    holinhot
        61
    holinhot  
    OP
       Apr 24, 2015
    @lzg dig遍历的
    holinhot
        62
    holinhot  
    OP
       Apr 24, 2015
    @carmark 有错误是不能被接受的 后期检查不完蛋了
    holinhot
        63
    holinhot  
    OP
       Apr 24, 2015
    @prinzchao 还是你厉害
    carmark
        64
    carmark  
       Apr 24, 2015
    @holinhot 所以说就看你的需求了，当然目前的情况是你的数据少，如果数据达到500g,你想过时间是多少么，所以为了时间而抛弃正确率
    Mr1028
        65
    Mr1028  
       Apr 24, 2015
    @holinhot 哈哈哈，手速一定要够快
    Mr1028
        66
    Mr1028  
       Apr 24, 2015
    @hicdn 终于看到 awk 了。。。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   978 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 146ms · UTC 20:19 · PVG 04:19 · LAX 13:19 · JFK 16:19
    ♥ Do have faith in what you're doing.