各位大佬请教一下，关于爬虫的过滤问题

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 2712 days ago, the information mentioned may be changed or developed.

现有一个爬虫，现在爬下来需要手动过滤一遍（ ps 这里吐槽一下人工都无法完美筛选，挺蛋疼的，更别提只用脚本清洗了

但接下来要定时抓取，每个月都要抓一遍，那么如何设定规则不让抓那些被筛除掉的数据，数据量会越来越大的感觉

过滤

爬虫

蛋疼

除掉

5 replies • 2018-12-19 18:58:07 +08:00

jatesun

Dec 19, 2018

题目没有描述清楚过滤规则，所以没法给出具体的建议。如果过滤规则可以代码话，那就通过过滤器校验就好了。

ClutchBear

Dec 19, 2018

url 个数量小,

url 用 redis 的 set 去重

url 数量多上百万
用 redis 的 bloomfilter 插件去重

cyy564

Dec 19, 2018

抱歉可能没描述清楚。

没有过滤规则，没有去重的问题，简单说就是爬虫第一次手动筛掉的数据，如何在第二次不去爬它

xpresslink

Dec 19, 2018

记录爬过的每个页面的根域名和 path URL，给标题做 MD5 存摘要，爬虫爬这个网站前把数据库里存的 URL 列表或标题摘要加载到 set 里面。再爬时候比对一下。

zarte

Dec 19, 2018

没描述清楚你的数据是什么，词还是文本还是网页。除了文本应该都可以先把去掉的数据存起来，爬虫爬下来要存的时候过滤下。