初级码农的问题，关于多线程网络程序

初级码农的问题~求指导：
因为工作，需要写一个程序，基于linux,c++，大概是这样的：
服务器A负责监听请求（有很多），收到请求后，根据请求内容，处理后发送给服务器B1，B2，B3等。。。等待B1，B2，B3的结果，合并处理后返回给请求源。
而B1，B2，B3等完成类似的功能：B1接收请求，处理后发送给C11，C12，C13等。。。
每个服务器都是多线程的，那么大概要用到：epoll,线程池，任务队列等。
这么说来好像不难，目前也差不多实现了，但是在并发很多的时候，就会出现一些的问题，并且对于这个软件的结构也不是很满意。
请问有没有类似的开源软件/框架等，可以借鉴学习一下~