lwd219
V2EX  ›  Node.js

发现一个很奇怪的问题, cheerio 在 window 和 mac 结果完全不一样

  •  
  •   lwd219 · Sep 6, 2018 · 4117 views
    This topic created in 2820 days ago, the information mentioned may be changed or developed.

    是这样的,心血来潮研究一下 node 爬虫,其中用到了 cheerio 模块,楼主工作用的电脑是 Mac,这个模块用在 Mac 上非常顺手,但是我在我自己的服务器上用,同样的代码,同样的版本,windows server 2008 r2 完全用不了,打印出来的东西不知道是什么鬼东西,求助一下,求大佬解惑

    14 replies    2018-10-02 14:01:03 +08:00
    LengthMin
        1
    LengthMin  
       Sep 6, 2018
    iconv 试一下
    ps: 我之前有一次读出来中文汉字全是问号, 后面把 Header 里面的 Host 去掉又能正常读取汉字了...
    wxsm
        2
    wxsm  
       Sep 6, 2018
    这么说不太好分析,建议贴出具体问题,执行 log 等
    lwd219
        3
    lwd219  
    OP
       Sep 6, 2018
    @LengthMin 不是编码的问题,是在 Windows server 2012 上出来的结果跟 mac 上结果完全不一样,在 Mac 上可以使用 jquery 语句一层一层往下找,结构很清晰,比如 $('body').find('.list') 在 mac 上很完美,在 win 下就可能返回 length:0
    Trim21
        4
    Trim21  
       Sep 6, 2018 via Android
    服务器返回的 HTML 相同吗…
    realkenshinji
        5
    realkenshinji  
       Sep 6, 2018 via iPhone
    日志不贴,response 不贴,你让人家怎么帮你?
    cctv1005s927
        6
    cctv1005s927  
       Sep 6, 2018
    FakeLeung
        7
    FakeLeung  
       Sep 6, 2018
    先确定返回的数据是否一致先?说不定人家屏蔽了 xx 云的 ip 呢。
    lwd219
        8
    lwd219  
    OP
       Sep 6, 2018 via Android
    @Trim21 我能说结构完全不一样,同样一句$("body") win 下返回的一大串 json,都不敢一个个往下找,mac 直接就出来了
    lovedebug
        9
    lovedebug  
       Sep 6, 2018
    node 依赖的底层在 win 上本来就和 linux 不一样
    lovedebug
        10
    lovedebug  
       Sep 6, 2018
    应该时和 Mac 不一样
    lwd219
        11
    lwd219  
    OP
       Sep 6, 2018
    各位大佬,原因找到了,是 URL 的问题,有些网页在 Mac 上的地址和 win 上的地址不一样,在 Mac 上能打开,但是在 win 上就打不开
    mmnsghgn
        12
    mmnsghgn  
       Sep 6, 2018
    很多通过 UA 判断的啊
    lwd219
        13
    lwd219  
    OP
       Sep 6, 2018
    再提一句,服务器打不开是因为被他们网站的反爬虫屏蔽了 IP
    binaryify
        14
    binaryify  
       Oct 2, 2018
    模拟下 UA
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3413 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 47ms · UTC 10:43 · PVG 18:43 · LAX 03:43 · JFK 06:43
    ♥ Do have faith in what you're doing.