Home Sign Up Sign In
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
laoyuan
V2EX  ›  程序员

在国外放的爬虫撞墙也挺郁闷的。。。

  •   
  •   laoyuan ·
    laoyuan · Nov 27, 2014 · 4156 views
    This topic created in 4197 days ago, the information mentioned may be changed or developed.
    爬amazon.cn的定向爬虫，这几天就感觉不大对，查了下一看爬到的都是0字节，手工调试发现原来是撞墙了，就是这个亚马逊的页面：

    http://www.amazon.cn/JavaScript%E5%8A%A8%E6%80%81%E7%BD%91%E9%A1%B5%E7%BB%8F%E5%85%B8%E5%AE%9E%E4%BE%8B%E6%95%99%E7%A8%8B-%E9%99%88%E4%BA%89%E8%88%AA/dp/B00114B83W

    感觉没什么敏感词啊，陈争航这个人名除了写这本书什么也没干，是良民啊~
  • 爬虫
  • amazon.cn
  • 陈争航
    19 replies  •  2016-08-19 15:47:24 +08:00
    mornlight
        1
    mornlight  
       Nov 27, 2014
    你可能得先排除一下是不是你的爬虫被amazon屏蔽了
    Livid
        2
    Livid  
    MOD
    PRO
       Nov 27, 2014
    是的，这个页面确实在国外点开是 connection reset
    efi
        3
    efi  
       Nov 27, 2014
    wtf
    66beta
        4
    66beta  
       Nov 27, 2014
    难道是因为评论里有“卓越亚马逊”，哈哈哈
    wesley
        5
    wesley  
       Nov 27, 2014   ❤️ 1
    “动态网”才是真真的G点
    efi
        6
    efi  
       Nov 27, 2014   ❤️ 1
    你URL里面有一个关键词，你可以自己测试。我刚发出来被删了，这不是深度检测的关键词。不能发的能不能把规矩说明，不要偷偷删。
    laoyuan
        7
    laoyuan  
    OP
       Nov 27, 2014   ❤️ 1
    @Livid
    去掉中间的slug就没问题了 http://www.amazon.cn/dp/B00114B83W
    所以不是页面内容触发的，就是url触发，而中间那段decode过来完全不知道痛点在哪里：JavaScript动态网页经典实例教程-陈争航
    halczy
        8
    halczy  
       Nov 27, 2014
    这个简介是谁写的...
    JaVascript JavaScljpt JavaScriDt
    laoyuan
        9
    laoyuan  
    OP
       Nov 27, 2014
    @wesley 死了个明白终于
    laoyuan
        10
    laoyuan  
    OP
       Nov 27, 2014
    @halczy 这必须是OCR软件干的啊
    Livid
        11
    Livid  
    MOD
    PRO
       Nov 27, 2014
    @efi 是的。我删除了你的那条。但是在楼主的 notifications 中还是可以看到的。
    mogita
        12
    mogita  
       Nov 27, 2014
    @laoyuan 云力态网
    9hills
        13
    9hills  
       Nov 27, 2014
    你可以测试么：
    http://www.yahoo.com/%E5%8A%A8%E6%80%81%E7%BD%91
    laoyuan
        14
    laoyuan  
    OP
       Nov 27, 2014
    说实话弄书最容易碰到敏感词了，什么时候阿里云上SSD我就把网站搬回国内了
    laoyuan
        15
    laoyuan  
    OP
       Nov 27, 2014
    唉，标题有这个词的亚马逊图书条目有267个。。。
    laoyuan
        16
    laoyuan  
    OP
       Dec 4, 2014
    @efi @ck65 @wesley

    高中数学联赛备考手册 这个也撞墙，G点在何处？
    wesley
        17
    wesley  
       Dec 4, 2014   ❤️ 1
    @laoyuan 学联
    laoyuan
        18
    laoyuan  
    OP
       Dec 22, 2015
    又发现一个新的 url 触发：看中国
    laoyuan
        19
    laoyuan  
    OP
       Aug 19, 2016
    亚马逊中国全站 https 了，这个问题貌似不存在了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3406 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 52ms · UTC 12:20 · PVG 20:20 · LAX 05:20 · JFK 08:20
    ♥ Do have faith in what you're doing.