我有一批不同网站的页面需要下载，从数据表里挨个取出来处理，有可能会有错误出现，用 try 也只是挑几个主要的可能出错的地方，网页数据千站千面，肯定会出错，如果要实现断点续传，是不是每处理完一个页面就标记一下？比方说建一个临时表，里面放数据表的记录 ID 号，处理完一条把该表记录 update 下，出错后再回再执行就从这个临时表里取 ID ，从这里开始执行。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3408 days ago, the information mentioned may be changed or developed.
 |
1
loveyu Jan 15, 2017 via Android
就是这样的没啥毛病，除了队列就是这样一直循环取未标记的
|
 |
3
k9982874 Jan 15, 2017 via iPhone
矫情一下 这不是断点续传 这是批量下载
|
 |
4
crab Jan 15, 2017
你描述的这个和断点没关吧。断点续传同一文件，如 RANGE 协议，分块取回这样。
|
 |
5
LancerXin Jan 16, 2017
你这是在写爬虫吧 和断点续传有啥关系....
|
Select Language