Home Sign Up Sign In
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
saximi
V2EX  ›  Python

关于用 Scrapy 开发爬虫时使用代理 IP 的问题

  •   
  •   saximi · Oct 24, 2017 · 8086 views
    This topic created in 3124 days ago, the information mentioned may be changed or developed.
    用 Scrapy 开发爬虫时想使用多个代理服务器的 IP 来隐藏真实 IP，请教大家几个问题：
    1、哪里可以找多个可用的代理 IP，以及如何判断 IP 是否可用，多个可用的 IP 间如何择优排序？
    2、 有没有基于 SCRAPY 框架，使用代理 IP 来实现爬虫的范例可供学习呢？

    感谢！
  • Scrapy
  • 代理
  • 可用
  • 范例
    16 replies  •  2017-10-26 10:20:18 +08:00
    seven2016
        1
    seven2016  
       Oct 24, 2017
    [看下这个]( https://github.com/shisiying/tc_zufang)
    fiht
        2
    fiht  
       Oct 24, 2017
    1. 代理 IP 直接购买就好，五块钱的代理够你爬很多很多很多数据了。判断 IP 是否可用，择优排序，应该属于另外一个系统做的事情。另外一个系统负责对代理池中的 IP 进行存活检测和速度测试打分。你去 gayhub 搜一下代理 IP 有现成的轮子。
    2. 请 Google 之。
    mon3
        3
    mon3  
       Oct 24, 2017
    https://github.com/qiyeboy/IPProxyPool 这是你需要的
    hcnhcn012
        4
    hcnhcn012  
       Oct 24, 2017 via iPhone
    Scrapoxy，这是官方推荐的框架
    saximi
        5
    saximi  
    OP
       Oct 24, 2017
    @mon3
    @seven2016
    @fiht 感谢指点，因为是初学，所以暂时不准备直接购买代理，准备先学习例子做一个练练手。
    saximi
        6
    saximi  
    OP
       Oct 24, 2017
    @hcnhcn012 谢谢，不知有没有关于这个框架的中文资料推荐？另外这个框架和 Scrapy 不可以同时使用吧？
    hcnhcn012
        7
    hcnhcn012  
       Oct 25, 2017 via iPhone
    @saximi 当然可以同时用啊，这个只是一个 js 写的代理，和 scrapy 没有关系的，但是和爬虫一起用就可以达到换 ip 或者是 user-agent 等等的目的了
    官方防 ban 建议里提到了
    https://docs.scrapy.org/en/latest/topics/practices.html#avoiding-getting-banned
    http://scrapoxy.io/
    sunwei0325
        8
    sunwei0325  
       Oct 25, 2017
    crawlera, 国内也有阿布云之类的每次请求都换一个 ip, 自己爬的免费代理有效性很差, 也可以自己搭几个拨号服务器充当代理, 自己控制拨号手动换 ip
    aaronzjw
        9
    aaronzjw  
       Oct 25, 2017
    []( https://github.com/qiyeboy/IPProxyPool)
    ZiLong
        10
    ZiLong  
       Oct 25, 2017
    @sunwei0325 老哥，拨号服务器这个怎么搭，有推荐教材么
    sunwei0325
        11
    sunwei0325  
       Oct 25, 2017
    @ZiLong http://cuiqingcai.com/3443.html
    saximi
        12
    saximi  
    OP
       Oct 25, 2017
    @hcnhcn012 谢谢，我找了下，没看到有 scrapoxy 的中文教材呢?
    hcnhcn012
        13
    hcnhcn012  
       Oct 25, 2017 via iPhone
    @saximi 是的
    saximi
        14
    saximi  
    OP
       Oct 25, 2017
    @hcnhcn012 有已经实现的例子可以供参考么
    hcnhcn012
        15
    hcnhcn012  
       Oct 25, 2017 via iPhone
    @saximi 没。。网上找找应该有的吧
    ZiLong
        16
    ZiLong  
       Oct 26, 2017
    @sunwei0325 感谢，老哥稳！
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2986 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 459ms · UTC 12:52 · PVG 20:52 · LAX 05:52 · JFK 08:52
    ♥ Do have faith in what you're doing.