biaobiaoqi
V2EX  ›  问与答

在给定的字典序的start和end区间里(start和end可以不等长),如何划分出n个子区间?(由于字典序本身就无法保证每个区间内的数据量,于是无法等分,只能差不多就好=.=)

  •  
  •   biaobiaoqi · Jun 26, 2013 · 3919 views
    This topic created in 4750 days ago, the information mentioned may be changed or developed.
    att

    具体的应用场景是,想对Hbase的数据做一个做一个mapreduce操作,需要实现InputFormat,将给定的Hbase rowkey的区间划分成等分的n分,让n个mapper来做。再抽象一下,其实就是字典序的区间做划分。

    不知道大家有没有什么比较简洁的想法?
    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1302 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 16:53 · PVG 00:53 · LAX 09:53 · JFK 12:53
    ♥ Do have faith in what you're doing.