想对某一个网站较快的方法得出其网站链接总数。
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 2485 days ago, the information mentioned may be changed or developed.
 |
1
sleepm Jul 29, 2019  1
在谷歌中 site:site.domain
在网页中找 sitemap.xml 找网站所使用的程序，举个例子，比如文章列表页，多少个目录，一页多少个，共多少，累加 得到完全具体的数字数字那是不可能的，自己建的站都不知道多少链接。。。。 |
 |
2
silencefent Jul 29, 2019
开个爬虫,一级域名通配符一页页抓 url,放 redis 里面用布隆过滤器去重
|
Select Language