请问有没有什么著名的爬虫框架可以下载网站镜像、最好还能增量更新的

This topic created in 4290 days ago, the information mentioned may be changed or developed.

这边搜到几个
crawler4j
j-spider
WebLech
不知道哪个比较靠谱
另外还有吗？

Supplement 1 · Aug 23, 2014

似乎crawler4j还算靠谱，但是增量更新这个做得到么？真的没有人回答吗？

Supplement 2 · Aug 24, 2014

最近在研究scrapy，不知有没有熟悉这个的大神可以现身说法

No Comments Yet