spotfg
V2EX  ›  问与答

请问一下 python3 在单核 cpu 情况下,将网络获取的数据再 post 出去,如何提高速度。

  •  
  •   spotfg · Mar 8, 2019 · 1265 views
    This topic created in 2627 days ago, the information mentioned may be changed or developed.

    之前都是直接用 multiprocessing 开多进程,但是现在只是单核。。。 同步执行获取到的数据,再发送出去这个过程,两次网络 IO 挺浪费时间的,大佬们有好的解决方法不?

    4 replies    2019-03-10 19:33:45 +08:00
    snBDX1b0jJM4ogKd
        1
    snBDX1b0jJM4ogKd  
       Mar 8, 2019 via Android
    网络环境下,不用协程也应该多线程,多进程是什么鬼
    yushenglin
        2
    yushenglin  
       Mar 9, 2019
    你开个多线程不就好了吗?
    spotfg
        3
    spotfg  
    OP
       Mar 10, 2019
    @cs010 因为以前需要把获取的任务,通过任务参数 get 请求得到大量数据分析之后,再 post 请求出去。所以用多进程。现在不需要分析,直接发出去。
    大佬,多线程和网络异步有好的推荐库吗
    snBDX1b0jJM4ogKd
        4
    snBDX1b0jJM4ogKd  
       Mar 10, 2019 via Android
    @spotfg 异步 python3 有 aiohttp,或者同步直接开线程池就行了,不过看你使用场景复杂,如果不复杂的话,就自带的库就能胜任,比如 asyncio
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3254 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 223ms · UTC 00:36 · PVG 08:36 · LAX 17:36 · JFK 20:36
    ♥ Do have faith in what you're doing.