1
FightingX Apr 28, 2019
我一般基于 httpclient 自己写下载器
|
3
xioxu Apr 28, 2019
虽然平时我也写 java, 但爬虫我还是喜欢用 python 的 scrapy, 简单好用, 爬虫常用场景都有内在支持。
|
4
fwrq41251 Apr 28, 2019 |
5
yestodayHadRain Apr 28, 2019
Gecco 了解一下,我也是这几天刚接触的,感觉还是挺方便的
|
6
swuzjb Apr 28, 2019
Jsoup
|
7
canbingzt Apr 28, 2019
这种框架如果没有遇到 bug 的话,更新不更新应该是无所谓的吧,能满足需求就行了啊
|
8
quadrapop Apr 28, 2019
python 写爬虫就行,反正都是保存到数据库
java 一般我们用 Jsoup,还可以 |
9
uminokoe Apr 28, 2019
歪个楼,遇到需要使用 selenium 的情况用什么框架好呢?
|
10
xyooyx Apr 29, 2019
jdk11 开始内置 httpclient,可以配置 cookieMnager 自动管理 Cookie
|
11
zhangjinglongi Apr 29, 2019
dongliu 的 reuqests 也挺好用的,模仿的 python 的
|
12
ala2008 Apr 29, 2019
一般使用就可以了吧
|
13
xinQing Apr 29, 2019
这个 webmagic 很成熟了啊,源码也比较简单,推荐使用~
|
15
wiix May 5, 2019
手撸一个
|