大概几百万页面，只想拿到其url即可。
想自己写python，试了试，力不从心 囧～
所以上来问下有无一些现成的工具可以爬。
谢谢大家！
想自己写python，试了试，力不从心 囧～
所以上来问下有无一些现成的工具可以爬。
谢谢大家！
This topic created in 4219 days ago, the information mentioned may be changed or developed.
 |
1
muziyue Oct 31, 2014
老虎sitemap生成器:)
|
 |
2
TONYHEAD Oct 31, 2014
XENU
|
 |
5
iscraft Oct 31, 2014
2楼说的xenu应该是最快的吧
|
 |
6
llhh OP |
 |
7
jqw1992 Oct 31, 2014
http://www.zhihu.com/question/20788231 这个 chrome就可以了的
|
 |
8
touch Oct 31, 2014
python scrapy不是很好爬吗
|
 |
9
sohu022 Oct 31, 2014
用Scrapy，把规则写好，把response.url保存下来就行了。
|
 |
10
simapple Oct 31, 2014  1
https://github.com/simapple/spider 去年早些时候写的，比较烂，希望能对你有帮助
|
Select Language