pual
V2EX  ›  问与答

请求各位怎么解决 https 爬虫登录

  •  
  •   pual · May 8, 2017 · 2027 views
    This topic created in 3326 days ago, the information mentioned may be changed or developed.

    楼主目前爬虫调试网站的 https 的 post 请求 , 从 chrome 上获取到了证书,但是请求还是 acess deny,请问各位有好的 https 请求调试工具么

    8 replies    2017-05-08 17:03:28 +08:00
    ss098
        1
    ss098  
       May 8, 2017   ❤️ 1
    我推测这和 HTTPS 无关,是对方的反爬虫策略所致,你可以试试检查所发出请求的特征和正常浏览器有什么区别。
    welkinzh
        2
    welkinzh  
       May 8, 2017 via Android   ❤️ 1
    应该和 https 没关系 我猜 同楼上
    pual
        3
    pual  
    OP
       May 8, 2017
    post 内容基本没问题和浏览器一致,request header 部分没有添加,爬取网站 login 的时候用到了 https, 浏览器显示调用 login 接口后重定向了
    gouchaoer
        4
    gouchaoer  
       May 8, 2017
    浏览器信任 fiddler 证书,然后设置 fiddler 抓包,那就可以看到发送内容了
    gouchaoer
        5
    gouchaoer  
       May 8, 2017   ❤️ 1
    程序请求 https 也可以通过 fiddler 抓包,比较一下区别就 ok 了
    pual
        6
    pual  
    OP
       May 8, 2017
    @gouchaoer 问题是我不知道这种非对称加密方式,同样的明文加密后每次都是一样的,aes-256-cfb 这种就是不一样的每次
    gouchaoer
        7
    gouchaoer  
       May 8, 2017
    @pual 你把 sockets 代理和 https 搞混了,简单地说就是 https 的浏览器网站 fiddler 直接搞
    我是高级爬虫开发工程师
    pual
        8
    pual  
    OP
       May 8, 2017
    @gouchaoer 多谢了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   918 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 20:57 · PVG 04:57 · LAX 13:57 · JFK 16:57
    ♥ Do have faith in what you're doing.