V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
Recommended Services
Amazon Web Services
LeanCloud
New Relic
ClearDB
lococo
V2EX  ›  云计算

如何快速检测大数据的完整性?

  •  
  •   lococo · Mar 11, 2014 · 3812 views
    This topic created in 4444 days ago, the information mentioned may be changed or developed.
    貌似传统的方法如下:
    ORIGIN AUDIT
    row1 hash(row1)
    row2 hash(row2+hash(row1))
    ···
    rowN hash(rowN+hash(···))


    其中ORIGIN table里的是原始数据,AUDIT table里的是校验数据,假设AUDIT table里的数据没有被篡改过,那么最原始的办法就是一条一条用hash值去比对,

    但是对于大数据这样的效率太低了,有没有什么办法可以快速的校验数据的完整性呀
    2 replies    1970-01-01 08:00:00 +08:00
    binux
        1
    binux  
       Mar 11, 2014
    确定你的需求,如果要检测任意一位错误,除了全扫一遍别无他法。
    Admstor
        2
    Admstor  
       Mar 11, 2014
    已存档的数据直接hash文件即可
    在线的数据感觉基本上就只能一条条扫了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3436 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 11:27 · PVG 19:27 · LAX 04:27 · JFK 07:27
    ♥ Do have faith in what you're doing.