jhdrfes
V2EX  ›  问与答

自己国庆没啥事,写了一个爬虫,利用接口抓取数据,可是响应很慢,有啥解决办法?

  •  
  •   jhdrfes · Oct 7, 2020 · 1927 views
    This topic created in 2057 days ago, the information mentioned may be changed or developed.

    利用 github 客户端抓取数据,可是响应很慢,有啥解决办法呢?用啥代理或者服务器吗?

    4 replies    2020-10-08 10:38:23 +08:00
    finely
        1
    finely  
       Oct 7, 2020
    牢里个个都是人才,讲话又好听,楼主不妨跟他们取取经
    locoz
        2
    locoz  
       Oct 7, 2020 via Android
    响应慢先尝试挂梯子或者放境外服务器看看能不能提速,还不能的话就是服务器本身的响应慢,在这种情况下你是没有办法提升单个请求的效率的。
    cccp2020
        3
    cccp2020  
       Oct 7, 2020
    大部分响应慢是自身网速和对方服务器导致的,小部分是你爬虫被盯上了或者并发请求严重了,弄的对方服务器响应都卡了

    小心坐牢
    oneoyn
        4
    oneoyn  
       Oct 8, 2020 via Android
    买台阿里 腾讯的轻量服务器 就可以了 在服务器上爬
    https://www.aliyun.com/activity?userCode=gr9dyqjt
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   939 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 71ms · UTC 20:36 · PVG 04:36 · LAX 13:36 · JFK 16:36
    ♥ Do have faith in what you're doing.