ceph 的几个问题 wal、db、pg_num

› DigitalOcean

This topic created in 764 days ago, the information mentioned may be changed or developed.

有 3 台服务器磁盘都是：
4 块 3.2T NVME 硬盘
24 块 8T SATA 硬盘

做 ceph 集群，有几个参数不太理解，想把所有的 SATA 都加入 ceph ，副本数是 3
1 、创建 OSD 的时候可以选择 NVME 硬盘存放 wal 和 db ，这个 wal 和 db 的大小我应该分配多少？比如每个服务器我都拿其中一块 3.2T 的 NVME 来分区，分别用来存全部 osd 的 wal 和 db

2 、创建 pools 的时候还有个 pg_num 参数，这个 pg 数值的大小又怎么确定？

Ceph

osd

pg_num

3 replies • 2024-04-11 12:59:30 +08:00

zizon

Apr 10, 2024

3 台 24 块 sata 就当你要起 72 个 osd 呗.
pg_num 就 72 的倍数吧,至少数字上可以尽可能做到每个 osd 的 pg 数量均匀(straw hash).

非要 wal 分开的话,那你得把 4 块 nvme 做个 lvm 分成 24 个 lv 给 24 个 osd 用吧(per nonde).
reference: https://docs.ceph.com/en/quincy/rados/configuration/bluestore-config-ref/

shiyuu

Apr 10, 2024

@zizon 懂了，还有个问题，可不可以把 nvme 和 sata 全都做成 osd ，能不能 nvme 的做一个 pools 、sata 做一个 pools ，这样分开

zizon

Apr 11, 2024

@shiyuu 可以.
你在建立 pool 的时候其实是可以指定把 pg 放置到哪一些目标 osd 的(pool 指定 crush rule).

相关文档.https://docs.ceph.com/en/latest/rados/operations/crush-map/