关于 Python 爬虫爬取网站图片

This topic created in 2890 days ago, the information mentioned may be changed or developed.

刚刚学习了爬虫，想拿一些图片网站下手，可是发现使用网站上爬取的 URL 下载下来的不是想要的图片，是统一的一张标题图片，任何图片 url 拿出来都下载不了，有个奇怪的就是将 url 放到浏览器中，第一次读取是能加载出图片，刷新后就又是标题图片了？比如一个网站，九妹图片

图片

URL

网站

标题

4 replies • 2018-06-16 11:40:44 +08:00

Sylv

Jun 16, 2018

http headers 了解一下。

Sylv

Jun 16, 2018

"Referer" header 重点了解一下。

F1024

Jun 16, 2018

opener=urllib.request.build_opener()

opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.75 Safari/537.36')]

urllib.request.install_opener(opener)

urllib.request.urlretrieve()

apley

Jun 16, 2018

感谢！感谢！谢谢前辈指点