V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
V2EX › robots.txt
 |
站长们注意了，网站必须要有 robots.txt Google • zf9617 • Jan 26 • Lastly replied by shiyunjin | 2 |
 |
网站根目录下设置的 robots.txt 规则现在爬虫机器人不遵守了嘛 站长 • keer • Oct 21, 2025 • Lastly replied by keer | 28 |
 |
cloudflared 自动给网站生成 robots.txt 站长 • VforVendetta • Jul 3, 2025 • Lastly replied by laobaiguolai | 1 |
 |
关于站点地图 sitemap 的疑问 程序员 • manami • Jun 26, 2025 • Lastly replied by duoduo1x | 18 |
 |
为什么在未设置 robots.txt 的情况下， Google 搜索不到上海人大官方网站 www.shrd.gov.cn 的任何内容但是 Bing 却能搜索到大部分公开内容 Google • qqqfreeboycn • May 18, 2025 • Lastly replied by zizon | 20 |
 |
请教个爬虫问题，请问这样有风险吗？会被请喝茶吗 问与答 • guoziq09 • May 21, 2024 • Lastly replied by mumbler | 18 |
 |
关于谷歌收录.如何禁止某个标签的内容收录? 搜索引擎优化 • xguanren • Mar 29, 2024 |
 |
服务器上删除了 robots.txt，但是远程还能访问到这个文件是怎么回事？ 问与答 • xxoxx • Mar 11, 2024 • Lastly replied by villivateur | 17 |
Select Language