在捣鼓一个秒杀器，想实现的功能就是监控网址抢拍。目前是页面定时刷新，然后用beautifulsoup来解析目标页面，过滤目标实现的（自动填单暂时还没实现）。监控多个网址的时候，就是循环这个列表，比如，解析一个页面2秒，10个地址跑完就是20秒。有没有其他更好的方案呢？或者目前这个方案想跑得更快，该如何优化呢？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 4223 days ago, the information mentioned may be changed or developed.
 |
1
pimin Oct 29, 2014 via iPhone
1.开多线程，每个查询一个线程。
|
 |
2
akira Oct 29, 2014
每个地址单独开个线程来监控吧
|
 |
3
gs038538 Oct 29, 2014 via Android
关键是 抢的到
|
 |
6
limbo0 Oct 29, 2014
前几天那个说不要在淘宝拍卖的帖子难道在指楼主
|
 |
9
imn1 Oct 29, 2014
bs慢，想快首先换 lxml 或其他更快的dom解析，能用regex就更好，因为载入dom树比载入文本耗时
|
 |
10
exceloo Oct 29, 2014
用js...
|
 |
11
chemzqm Oct 29, 2014
多进程多代理，要是同时开抢，你一个循环刚开始人家都抢完了
|
 |
12
20150517 Oct 29, 2014
beautifulsoup光这处理速度就已经秒了,这玩意
1. 要服务器离秒的服务器近 2. 用python太慢,最好直接c语言 |
 |
13
TheLamb Oct 30, 2014
这双十一快到了，LZ加油，到时候给我们测试一下
|
 |
14
ClownQiang Oct 30, 2014
同求测试。。。
|
 |
15
unfurl Oct 30, 2014
没用的…
关键时候页面能不能打开都是问题 |
 |
16
cdxem713 Oct 30, 2014
感觉解析一个页面两秒太慢了，按理说不会这么长时间的，你的解析是指请求-响应-解析的一整个流程么？
|
|
17
cdxem713 Oct 30, 2014
开多线程，然后挂VPN不停自动切换VPN地址会快很多
|
1 |
27
pythonfan OP @cdxem713 之前不够严谨，随便举得例子，刚刚看了下，整个请求-响应-解析流程大概0.3-0.5秒的样子。请问不停自动切换VPN地址是为了啥呢？
|
|
30
unfurl Oct 31, 2014
@pythonfan 我帮朋友写过抢nike限量发售的鞋子，用的是selenium，选的vps跟网站延迟5ms以内；不太热门的款式，成功率七八成，热门的鞋子…… 发售前一小时网页就几乎打不开了
|
|
33
cdxem713 Oct 31, 2014
@pythonfan 是爬虫的话，同一个IP并发请求太多肯定会被封的，之前做过稳定点的就是，开多个线程并发请求，然后隔几分钟暂停这些线程，切换VPN地址，再开始线程，这种就不容易被封了。
|
|
37
cdxem713 Oct 31, 2014
@pythonfan 可以先试试大并发会不会被封，这个东西每个网站也有不同。这类垂直爬虫，我觉得解析速度比较次要，提高request/response的速度，然后在安全的前提下提高并发数才比较关键。
|
Select Language