任务队列的单用户串行设计

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 1636 days ago, the information mentioned may be changed or developed.

各位同学，我有一个需求场景想请教下设计思路。我总感觉找不到太好的解决方案

现在需要实现一个任务队列的需求，是一个导入任务的需求。

因为文件很大并且数据要求幂等性，且还是用户自己上传的数据。所以需要针对单个用户串行化处理。还要要做分布式部署项目，所以 JDK 提供的 API 是无法做到的。所以最终的要求就是对用户串行，单个用户提交多个任务则排队串行运行。对系统来说就是多线程调度执行，最好还不要 CPU 进行空转。我能想到的就是空转（ while ）+单个用户 redis 锁去实现，想请教下各位有更好的方案么？

串行

单个

空转

队列

12 replies • 2021-12-06 18:26:17 +08:00

zhady009

Dec 1, 2021

用一个 BlockingQueue 的分布式实现比如 Redisson 里的
线程池用这个队列来创建

jmperdev

Dec 1, 2021 via iPhone

用 actor 模型

Saxton

Dec 1, 2021

这不就是典型的队列吗

keshao

Dec 1, 2021

@Saxton 还不是典型的队列，我如果是 CPU 空转方案可能还需要为每个用户维护队列，不然无法保证单用户串行的

teem

Dec 1, 2021

TDMQ

Itoktsnhc

Dec 1, 2021

很像是 kafka 的一套东西
多条队列(或者队列内分区)(q1,q2,q3)
1. 消息在队列内的分布上需要考虑同一个 UserId 的消息有 FIFO 的顺序。(UserId Hash 保证落到同一个队列 /分区内)
2. 每一个队列(分区)的接收者需要做绑定，用类似锁的机制处理 receive 的断链和补位 q1->r1

siweipancc

Dec 1, 2021 via iPhone

用户任务表与对应的独占队列. 先拿不存在执行时间点的锁（按顺序遍历立马返回），pop 任务，写执行时间点到任务表。任务完成做行移除。视业务重要程度需要一个守护线程做失败任务重新提交

wqhui

Dec 1, 2021

@keshao 为什么要空转，redis 里面一个用户一个 list （里面放这个用户要执行的导入任务，比如文件名），当你一个线程要提交任务的时候，先去查一下 redis 有没这个 list ，把执行任务需要的参数加到这个 list 末尾，如果原本没有这个 list ，代表现在这个用户没有执行着的任务，启动一个工作线程去执行，工作线程完成当前任务后，检查下自己这个用户的 list 是不是空的，空的就删除这个 list 结束工作线程，不空就在这 list 取下一个任务执行。参考下 netty

night98

Dec 1, 2021

rocketmq 顺序消息，用户 id 做 msg id ，完事，其他的就是楼上说的，手动实现单用户队列，创建线程处理

Jooooooooo

Dec 1, 2021

你了解下消息队列

要处理的任务统一往队列发

然后消费线程设置成 1, 就是一个消息一个消息串行消费了

keshao

Dec 6, 2021

@wqhui 这种方式确实解决了我的一些问题，当时的确是我没有绕过来，参照了你的部分思路。感谢~

keshao

Dec 6, 2021

@night98 这种方式我也参照了，感谢~