V2EX › littlekfc 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

2013 年 4 月 11 日

回复了 HiVPS 创建的主题 › VPS › 我们的新KVM VPS服务器即将上线，提供很多免费测试名额

最近在玩VPS，麻烦给我一个。[email protected]

2013 年 4 月 11 日

回复了 soho176 创建的主题 › Python › 用python 做爬虫，抓取网站，在抓取的过程中会碰到重复的网址，随着抓取网址的越来越多，网址库越来越大，如果每次爬到网址都去网址库对比一下是否重复，这样的结果就是效率越来越低了，有什么办法或者算法提高过滤重复网址的效率？

用bloom filter有个问题，它是有误判的。比如新的一条url，在bloom filter里查得系统已经存在了。但这会有一定的概率是错误的。数据量还不大的话这个概率很小很小。但是随着记录越来越多，误判的概率会增大的。所以，如果业务要求不能漏url的话，bloom filter不适合，否则可以考虑。