公司内部有各种面向内部员工的系统,里面往往有各种统计类的需求。现在的问题是:
- 有些统计需要涉及好几张大表的 count,group by 等操作,搞出来接口性能捉急,风险很高;
- 对实时性要求高。一旦有成交单之类的操作,往往需要快速在系统上展现数据。 我们内部也有离线计算平台,有时一些复杂或大数据量的统计接口我们会对接离线平台上的数据,提高性能,但实时性达不到要求。
我们考虑过对接 MQ 来做流式计算,但总觉得自己去做流式计算性价比很低。调研过市面上的一些实时计算框架(像 flink ),目前来看成本太高,而且有一种大炮打蚊子的感觉。所以现在真的很纠结该怎么去做。
简单概括下上面的问题,就是一句话:在公司各个阶段下,用什么方式来实现实时计算的性价比最高