爬虫：内存溢出问题，使用 scrapy 框架

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3003 days ago, the information mentioned may be changed or developed.

这是一些截图

我还自己写了个日志文件，储存抓取过的网址，每次都会读写此文件，内存溢出与这个有关系吗？

v 友们，帮忙看看

溢出

Scrapy

文件

内存

5 replies • 2018-04-08 10:43:24 +08:00

gabon

Apr 5, 2018 via Android

类似 java 堆 dump，分析内存可破。原来写爬虫用的 java 遇到过几次 oom，用 visualVM 和 memory analyzer 定位解决。Python 应该也有类似的工具吧

Mrkon

Apr 5, 2018 via Android

@gabon 上面截图就是一部分分析吧，我是看官方文档怎么解释的，不过接下来该怎么做啊。求指教

wzwwzw

Apr 5, 2018

每次关闭这个文件了吗？

Mrkon

Apr 5, 2018

@wzwwzw 用了 with open(....) as f:上下文管理器的

bbbb

Apr 8, 2018

楼主找到原因了么？我也遇到内存溢出了，机器还好内存大，用了快 11g 被杀了。