 |
1
taineric May 1, 2017 via Android  1
robots 然后服务器检测到谷歌爬虫就 404
|
 |
2
ferrum May 1, 2017 via iPhone 1
为什么要生成固定链接，每个链接地址是这种?ip=121.67.34.278 不可以吗？
|
 |
3
tianxiacangshen OP @ferrum 对 每条 url 都是 ?ip=xxx.xxx.xxx.xxx 这样的话每一个 ip 也是对应一条 url 啊，这样就导致大量不同的 url 对应的内容是一样的
|
 |
4
Joway May 1, 2017
直接 robots 掉
|
 |
5
Zzzzzzzzz May 1, 2017 1
只显示 x.x.x.0/24, 碰到 x.x.x.x 301 到 x.x.x.0/24 上?
robots 是可以禁的， 问题是 robots 里禁的 google 只是不索引， 不代表不爬不参权 给 robots 和用户针对性吐 404 对搜索引擎来说性质更恶劣了 其实没必要太考虑那份东西， 上古查同 IP 虚拟主机的 whois.webhosting.info 这么搞了十几年, 权重高的很, 别说还有 he、arin 之类的. google 这份东西的意义在于你被降权后能自己找个框把自己套进去， 而不是你做的时候把自己框死. |
|
6
tianxiacangshen OP @Zzzzzzzzz 我是发现了，谷歌面前千万不要挂羊头卖狗肉，谷歌不好忽悠啊，我之前没仔细去看站长指南，做了一个英文站，半年到 6000 IP 了，然后被谷歌手动操作了，我程序出了问题，不知道是不是别人搞的鬼，导致大量不同的 url 指向同一个内容，然后谷歌说大量重复网页，然后就把我手动操作了
|
Select Language