现在 redis 服务器集群是 6 台机器，3 主 3 从，采用的是 Redis 的官方集群方案(slot)。
我想问一下可以直接批量写入 RDD 到 Redis 集群中吗？有没有类似的中间件或者 jar 包，如果写入集群的话，连接的是单点还是集群（多个 IP ）机器？ 是 spark 做 CRC 的分片还是让 Redis 自己来做？
而且 spark 算出的 rdd 数目巨大，是否会有性能上的影响？最好可以批量导入。
有朋友做过类似的开发没，不吝赐教！感谢！
This topic created in 2983 days ago, the information mentioned may be changed or developed.
 |
1
kex0916 Mar 14, 2018
|
|
2
kex0916 Mar 14, 2018
刚刚看了下，这个的 spark 版本有点老，redis 版本 v2.8.12 and v3.0.3，scala2.10 ，可能版本不太合适了
|
 |
3
anonymoustian OP @kex0916 它这上面说 Minimal requirements，我再仔细看看
|
Select Language