目前在抓一个站，抓多会被封 ip，然后我用了代理 ip 去抓，每次请求都换一个 ip。但是依然被封了！报 429 这个错误，不知道原因是啥？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3140 days ago, the information mentioned may be changed or developed.
 |
1
yunkchen Oct 10, 2017
代理 IP 确定是有效的么？
|
 |
2
Soar360 Oct 10, 2017
Cookie ？
|
 |
3
aragakiiyui OP @yunkchen 确定有效哦，都是过滤好了的。
|
 |
4
mrzys Oct 10, 2017 via Android
cookie，还有代理是高匿的吗？
|
|
5
aragakiiyui OP |
 |
6
won Oct 10, 2017  1
现在黑名单规则通常用 IP+MAC 两管齐下
|
|
7
aragakiiyui OP @won 那这个有什么办法处理吗？！
|
|
8
won Oct 10, 2017
USB 网卡+代理 IP
|
 |
10
15399905591 Oct 10, 2017
你用的代理是什么类型的？是高匿名的吗？如果不是高匿的，对方是可以获取到你的本机 IP 的
|
|
12
Soar360 Oct 10, 2017 5
Cookie 当然是每换一次 IP 清理一下咯。
高匿代理附上： https://proxy.coderbusy.com/zh-cn/classical/anonymous-type/highanonymous.aspx?from=v2ex |
 |
13
SoulGem Oct 10, 2017
随机高匿+随机 UA
另外检查好 Request 是否正确，可能会有别的防爬处理 |
|
14
aragakiiyui OP @Soar360 3q,下午把抓代理代码的重写了一下，加入了高匿和透明的分类，明天再试试看。
|
|
15
aragakiiyui OP @SoulGem 这个站就是会限制访问次数，我换了高匿的 ip 还是被发现了原始 ip....
|
 |
17
tbag781623489 Oct 10, 2017 via iPhone
@Soar360 刚需啊，thx
|
 |
18
ji4ozhu Oct 10, 2017
百度搜 掘金网 就是 高匿的
|
 |
19
mansur Oct 10, 2017
你确定 ip 有效吗？你访问 http://ip.chinaz.com/ 看下放回的 ip 地址是代理的地址还是你服务器的地址
|
 |
20
4BVL25L90W260T9U Oct 10, 2017
@Soar360 请问 post 代理是什么意思, 支持 post 么, 还有不支持 post 的代理?
|
|
28
aragakiiyui OP |
 |
29
yongpomat Oct 11, 2017
有个软件专门干这个的，15 一个月，我搞批量注册用了好久了。非 vpn。ss。。
|
Select Language