dreamer2020's recent timeline updates dreamer2020's recent timeline updates |
dreamer2020V2EX member #263592, joined on 2017-10-30 17:09:33 +08:00 |
| nodejs 爬虫长时间运行后卡住 Node.js • dreamer2020 • May 23, 2018 • Lastly replied by dreamer2020 | 17 |
dreamer2020's recent replies
Sep 8, 2021 Replied to a topic by kuanos › macOS › mac 版的 QQ 巨卡 |
同特别卡，16 款 Mac Pro，切换群聊框、滚动消息都特别慢，以为是消息太多的缘故，看了网上同样的讨论，发现可能是图片缓存的问题，清理了一下，有几十 G，之后就比较流畅了。
May 23, 2018 Replied to a topic by dreamer2020 › Node.js › nodejs 爬虫长时间运行后卡住 |
@qfdk 一次最多会塞 4 万条数据
May 23, 2018 Replied to a topic by dreamer2020 › Node.js › nodejs 爬虫长时间运行后卡住 |
@gabon node 不是单线程的么？没有考虑过锁的问题
May 23, 2018 Replied to a topic by dreamer2020 › Node.js › nodejs 爬虫长时间运行后卡住 |
@whypool 内存这个问题之前我也注意到了，确实需要释放，我现在最多是 300M 左右。
迭代用得比较多，主要是 for，用了 async/await 控制异步，用 Promise.map 做了多并发。大佬说的递归，应该是在函数里面使用 setTimeout 延迟调用自己吧？
另外，关于 Promise.map 有什么改进建议么？
迭代用得比较多，主要是 for，用了 async/await 控制异步，用 Promise.map 做了多并发。大佬说的递归，应该是在函数里面使用 setTimeout 延迟调用自己吧？
另外，关于 Promise.map 有什么改进建议么？
May 22, 2018 Replied to a topic by dreamer2020 › Node.js › nodejs 爬虫长时间运行后卡住 |
@airyland 这确实是一个当前的解决办法！
May 22, 2018 Replied to a topic by dreamer2020 › Node.js › nodejs 爬虫长时间运行后卡住 |
@jiangzhuo 哦，明白了。感谢！
May 22, 2018 Replied to a topic by dreamer2020 › Node.js › nodejs 爬虫长时间运行后卡住 |
@jiangzhuo 弱问一下，怎么样查看当前状况下的堆栈啊？
Select Language