我看很多人都从爬虫入手学习 python 啊，可是在我的认识里，基本上是个网站都有各种防爬措施了吧，那你们到底在爬什么呢？如何区分是自己的程序有问题还是被对方给防御了？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3227 days ago, the information mentioned may be changed or developed.
Supplement 1 · Jul 18, 2017
如何区分是自己的程序有问题还是被对方给防御了？
 |
1
duan602728596 Jul 17, 2017 via iPhone
爬手机某些 app 的数据，爬某些网站的数据并实时发送到群里，脚本节省人工的时间
|
 |
2
tgxh Jul 18, 2017 via Android
爬某番号站的磁力链接
|
 |
3
cnbeining Jul 18, 2017
爬 Chegg 的答案 HTML 解析成 Markdown 渲染成 PDF 就可以丢 iPad 上随时看了（暴露年龄）
|
 |
4
ricemo Jul 18, 2017 via iPad
爬美女图片呀
|
 |
5
am241 Jul 18, 2017
合法福利图片
历史价格记录 公开的非直接提供的数据 |
 |
6
Tunar Jul 18, 2017 via Android
。宅男福利图片
|
 |
7
Mutoo Jul 18, 2017
例如在墨尔本，政府有开放数据平台，可以获得各种有意思的社会化数据。有提供相应的 API 接口读取，可以用爬虫自己采集整合到自己的网站。
https://data.melbourne.vic.gov.au/ |
 |
8
hotsymbol Jul 18, 2017
爬知乎的各种照片
|
 |
9
laoyuan Jul 18, 2017
害羞组？
|
 |
11
xspoco Jul 18, 2017  3
请问有没有爬汤不热的啊
 https://carry9109.tumblr.com/archive [NSFW] |
 |
12
xiayibu Jul 18, 2017
中纪委数据
|
 |
13
janxin Jul 18, 2017
爱情动作片？ XX 照？
如果实在没什么要爬的，你也没必要非爬不可 |
 |
14
lxml Jul 18, 2017
Javbus， 一个 Java 学习网站
|
 |
15
AEANWspPmj3FUhDc Jul 18, 2017 via Android
1024
|
|
16
janxin Jul 18, 2017
|
 |
17
jeffersonpig Jul 18, 2017
爬写真集的下载链接然后自动下载解压
|
 |
19
gauzeehom Jul 18, 2017
爬山爬树
|
 |
20
annielong Jul 18, 2017
爬汤的太多了，但都没有管理功能，爬一次以后，不能检测更新文件
|
 |
21
jiangzhuo Jul 18, 2017
看最近有谁出什么问题八卦了，爬他相关的社交账号内容，顺手 archive。等他删除后把黑料卖给利益相关的。
|
 |
23
DiagnosticError Jul 18, 2017
爬花瓣和 p 站的图到本地 做个本地备份
|
 |
25
timwei Jul 18, 2017
页游的推广码
|
 |
27
myself659410 Jul 18, 2017
爬数据： 房价， 股票
|
 |
28
aaronzjw Jul 18, 2017 via Android
煎蛋妹子图，知乎，豆瓣不要害羞小组，国外高清大图，汤不热，p**nhub 等
|
 |
30
syncher Jul 18, 2017 via Android
爬楼梯
|
 |
31
ikeeper Jul 18, 2017
mark 了，回头把你们说的都爬一下
|
 |
32
jaky666 Jul 18, 2017
mark
|
 |
34
caniuse Jul 18, 2017
人体艺术图片
|
 |
35
6388xE5FRKTNUT9x Jul 18, 2017
看来 PYTHON 还是得学
|
 |
37
BadMan Jul 18, 2017
我是从写脚本入门 Python 的，够小清新吧
|
 |
38
2929899530pgy Jul 18, 2017
一般晚上爬
|
 |
39
wolffn Jul 18, 2017
我一般都爬山。
|
 |
40
ss0xt Jul 18, 2017
第一印象 想说爬山的。。。
|
 |
42
af463419014 Jul 18, 2017
爬 V2EX 的文章,看这些文章哪些被删了,哪些被移动了,什么时间操作的
然后可以给 livid 统计一下他的工时 |
 |
43
mnhkahn Jul 18, 2017
豆瓣害羞组
|
 |
44
sxm Jul 18, 2017 1
@lxml 前不久用 PHP 爬过，3 大类的车牌差不多 34 万+，磁力 85 万+，各类图片 1 千万+（下载下来 4 百多 G，开了 30 个 PHP 进程来抓，花了 1 天多）
|
 |
45
a68UkLHpycW7ImyV Jul 18, 2017
@myself659410 用的哪的接口啊？
|
 |
46
Kalv8n Jul 18, 2017 via Android
hentai 网站，不过看腻了又不想玩了
|
 |
48
OpenJerry Jul 18, 2017
mark
|
 |
49
gulangyu Jul 18, 2017
豆瓣害羞组爬虫已写好，高速运行中... 多谢科普！
|
 |
50
stzz Jul 18, 2017
靠,本来自制力就弱,结果不小心点开这个帖子
今天鸡儿又没得放假了😢 |
 |
52
ddjian Jul 19, 2017
mark 了 谢谢各位！
|
 |
53
wqqdhero Jul 19, 2017
mark 感谢各位司机
|
|
54
myself659410 Jul 19, 2017
@wlbcs 强行爬取
|
 |
55
linus3389 Jul 19, 2017
pixiv
|
 |
56
icerwinter Jul 19, 2017 via iPhone
A 级通缉令的数据
|
 |
57
niuoh Jul 19, 2017
推荐一个 http 代理网站 http://www.ip-chi.net
|
 |
58
TKKONE PRO tumblr、1024、各种视频网站，应有尽有
|
 |
59
sunwei0325 Jul 19, 2017
给老司机们跪了
|
 |
60
Mavious Jul 25, 2017 via iPhone
在线学习，20 分钟要确认一次在线。机器代挂机。
对搜罗各种数据没有兴趣。只是拿来辅助人工而已。偷偷懒。 |
Select Language