用 Python 抓取图片，用 wget 下载，那速度，让你怀疑人生

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 2841 days ago, the information mentioned may be changed or developed.

1、clone

git clone https://github.com/pmthink/get_pic_for_4chan.git

2、install

cd get_pic_for_4chan

pip3 install -r install.txt

3、download

python3 get2.py

demo

说明，本来想用多线程的，但是搞来稿去，觉得还是 wget 简单粗暴有效。

后续，打算做成 sqlite 的，把每个图片存进去，以便日后更新时不重复下载。

当然，为了追溯，最好能用区块链把图片的指纹给上链，哈哈哈。

声明，本程序默认下载 diy 频道的手工制作方面的图片，你们若用这个爬虫下载其他频道的东西，毁了三观可和我无关。

16 replies • 2018-08-07 17:49:34 +08:00

qsnow6

Aug 2, 2018 via iPhone

迅雷了解下

Mogugugugu

Aug 2, 2018

搞出一堆下载链接，然后扔在迅雷里面不就好了么 - -

OpenJerry

Aug 2, 2018 via Android

楼上+1，把下载链接整理好，批量导入专门的下载工具

imn1

Aug 2, 2018

1.下载工具
2.多个 wget 一起来，我以前就是这样

imn1

Aug 2, 2018

@imn1
3.pip install wget
import wget
……

annielong

Aug 2, 2018

以前懒省事，也用 python 采集图床，直到下载到两三百兆大小的 GIF 文件，把 python 拖崩溃

tomfs

Aug 2, 2018

python 调用迅雷的 SDKServer 了解下?

29EtwXn6t5wgM3fD

Aug 2, 2018

RPC 调用 aria2 怎么样

cr4fun

Aug 2, 2018

@shengyu 这个比较好，至少可以丢到服务器上去下载。

longyutao444

Aug 2, 2018

还好有最后一句，要不谁知道是 hm 还是 hc …

RqPS6rhmP3Nyn3Tm

Aug 2, 2018

switch fork()
case 0: execl(blah blah)

msg7086

Aug 3, 2018

aria2 的链接文件批量下载了解一下，还能重用 HTTP 连接。

xiaqi

Aug 3, 2018 via Android

调用 wget，还不如调用 axel，多线程，而且还不怕网络中断

cz5424

Aug 3, 2018 via Android

系统命令调用 wget &😉

jimmyczm

Aug 3, 2018

我用 requests。。感觉还可以

cr4fun

Aug 7, 2018

@jimmyczm requests 很慢啊