meso5533

百度蜘蛛诊断工具只抓取静态内容?

  •  
  •   meso5533 · Jan 3, 2019 · 4206 views
    This topic created in 2700 days ago, the information mentioned may be changed or developed.
    各位大大,百度蜘蛛应该是能抓取页面动态加载的内容吧?

    可是我用官方的百度蜘蛛诊断工具测试了一下只抓到静态内容。

    是我的问题还是这个诊断工具本身比较鸡肋?
    3 replies    2019-05-24 08:43:39 +08:00
    loading
        1
    loading  
       Jan 3, 2019 via Android
    百度就这个水平,不是不抓,是没那个本事。
    Ginson
        2
    Ginson  
       Jan 3, 2019 via Android
    一般蜘蛛抓取的时候不会执行 JS。
    只有某些特殊用处的蜘蛛才会执行,比如百度用来检查移动落地页体验规范的蜘蛛,这类蜘蛛 ua 里面会带有 render 字样
    opengps
        3
    opengps  
       May 24, 2019
    ajax 二次加载的抓不到
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   942 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 42ms · UTC 20:51 · PVG 04:51 · LAX 13:51 · JFK 16:51
    ♥ Do have faith in what you're doing.