小白写了个壁纸的爬虫，能跑起来，但是感觉很慢，不知道怎么回事，请大佬指点

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 2503 days ago, the information mentioned may be changed or developed.

我知道命名很烂，轻喷，全靠字典直译的！弄了两个小时才弄出来个 gist 链接，第一次用，凑合看吧

https://gist.github.com/snake1080/817242ef0c0828d7eb3c20692ec2b2c1

爬虫

gist

直译

凑合

17 replies • 2019-07-15 19:00:41 +08:00

Buges

Jul 14, 2019 via Android

多线程并发

arrow8899

Jul 14, 2019

感觉慢？？ debug 下不就知道哪慢了吗

locoz

Jul 14, 2019 via Android

因为发请求的时候没有并发，每一个图片在下载的时候必须要等待上一个图片的下载流程结束

Raisu

Jul 14, 2019

楼主代码太乱了

Hopetree

Jul 14, 2019 via iPhone

IO 密集型用多线程

snake8090

Jul 14, 2019

@Buges
@locoz
@Hopetree
刚接触 python 两三个月，什么是多线程并发？

cherbim

Jul 14, 2019 via iPhone

@snake8090 哈哈哈哈哈，简单看了一下，你的脚本是下完一张图片后才开始下第二张，能不慢么，去看看多线程吧，让他同时多个照片下载

snake8090

Jul 14, 2019

@cherbim 正在搜索什么是多线程哈哈

whoami9894

Jul 14, 2019 via Android

有什么好问的，去补基础

Dart

Jul 14, 2019 via Android

小白多进城即可

cwjokaka

Jul 14, 2019

用多线程，顺便再安利一波我的 https://github.com/cwjokaka/bilibili_member_crawler 里面也用了多线程

cwjokaka

Jul 14, 2019

https://github.com/piglei/one-python-craftsman 再介绍一个别人(大佬)的项目，是关于编码习惯和 python 技巧的。内容很少但很精炼，我也是看完才动手写项目的

Perterually

Jul 15, 2019

2333....一路循环．．．我看到了我第一次写爬虫时候的风格

Atukey

Jul 15, 2019

只要不怕 IP 被拉黑
多线程多进程并发

snake8090

Jul 15, 2019

@cwjokaka 多谢正在找多进程的基础教程看

txy3000

Jul 15, 2019

去看看 asyncio 和 asynchttp

locoz

Jul 15, 2019

@snake8090 刚在我公众号上推了篇文章，讲怎么改你这个代码的，可以看看： https://mp.weixin.qq.com/s/ZDsoEVY0T2GI9E34dkfUZw