 |
1
sykp241095 Jul 17, 2012
可以，但没有这么做的
|
 |
2
zzWinD OP @sykp241095 谢谢你的回复，
请问什么方法才更适合我的需求？ |
|
3
sykp241095 Jul 17, 2012
You need a standalone consumer.
|
 |
4
judezhan Jul 17, 2012
...我实在是没明白你的意思。一个cronjob+shell脚本就搞定了吧？还是我曲解了你的意思？
|
 |
5
shellex Jul 17, 2012
@zzWinD 的意思是需要一个web介面提交下载地址，让呼叫一个下载程序去下载。
如果是我的话，我也会用一个独立程序来处理下载的事宜。你可以让这个下载程序访问数据库获得需要下载的任务，也可以让那个web暴露一个API提供任务给下载程序。 |
|
6
zzWinD OP |
 |
7
messense Jul 17, 2012
也许需要用 python-rq 或者 celery 这样的Task Queue？
|
 |
9
arzon Jul 17, 2012
@zzWinD 典型的生产者-消费者的需求. 可以用线程+队列解决.
随应用服务器初始化一个消费者线程和生产队列. 提交地址时将地址放入队列. 消费者线程依次从队列中取出地址进行下载保存. |
 |
10
jamiesun Jul 17, 2012
|
|
11
zzWinD OP |
 |
12
Archangel_SDY Jul 18, 2012
做过一个类似的, 前台用js bookmarklet提交请求, 后台用celery处理下载, 队列用rabbitmq.
webpy的话用在处理前台请求和管理页比较合适. |
 |
13
lanbing Jul 18, 2012
|
 |
14
ilessd Jul 18, 2012
可以參考
https://chrome.google.com/webstore/detail/hgndabfigagmapbcgdcmbcbmemkchlid?hl=zh-TW 使用 aria2c 的 rpc server |
 |
15
ipconfiger Jul 18, 2012
$sudo pip install celery
一切没烦恼 |
 |
16
cyberscorpio Jul 18, 2012
一般来说，可能你得提交两个地址。除了图片的 URL 之外，还要 HTTP_REFERER，否则很多网站会返回 403...
|
|
17
jamiesun Jul 19, 2012
|
 |
18
shiweifu Jul 20, 2012
cronjob + Python + 一个kv(k是文件地址,v是保存的路径)
|
 |
19
bigzhu Jul 24, 2012
我做的 http://digzhu.com 其实有部分功能用到你说的这个.
我这个站是用来推荐网站的. 输入 url,然后抓取站点截图. 正好也是用 web.py 开发的. 确实得用另外的程序来抓. python 就判断下抓过没有,还有转换下图片大小等杂事. |
 |
22
darklowly Sep 22, 2012
直接创建一个后台线程就可以了。
|
 |
23
mckelvin Sep 22, 2012
如果LZ嫌cron麻烦的话可以tmux开一个panel直接写轮询呀
|
 |
24
clowwindy Sep 22, 2012
|
 |
25
xi4nyu Sep 25, 2012
异步+队列.
|
Select Language