一直很好奇，如何来计算并发？ 假设 DeepSeek-R1-Distill-Qwen-7B 部署到 4090 ，能达到 5000 tokens/s 。 那么如果是 100 并发，则每个并发可以支持 50 tokens/s 。 如果是 1000 并发，则每个并发可以支持 5 tokens/s 。
这个算法我觉得肯定不对，实际使用中估计与很多因素有关系，所以想上来请教一下大家。
一直很好奇，如何来计算并发？ 假设 DeepSeek-R1-Distill-Qwen-7B 部署到 4090 ，能达到 5000 tokens/s 。 那么如果是 100 并发，则每个并发可以支持 50 tokens/s 。 如果是 1000 并发，则每个并发可以支持 5 tokens/s 。
这个算法我觉得肯定不对，实际使用中估计与很多因素有关系，所以想上来请教一下大家。
 |
1
jroger Mar 20, 2025 via iPhone
这个跟 max_token 有关系，这个参数设置的值越大并发数越低。设置为 2048 ，最大 10 个并发。
|
Select Language