Перед установкой количества PG вам необходимо знать 3 вещи.

1. Количество экранных меню

ceph osd ls

Sample Output:
 0
 1
 2
 
 Here Total number of osd is three.

2. Количество пулов

ceph osd pool ls or rados lspools

Sample Output:
  rbd
  images
  vms
  volumes
  backups
     
Here Total number of pool is five.

3. Количество репликаций

ceph osd dump | grep repli

Sample Output:
 pool 0 'rbd' replicated size 2 min_size 2 crush_ruleset 0 object_hash rjenkins pg_num 64 pgp_num 64 last_change 38 flags hashpspool stripe_width 0
 pool 1 'images' replicated size 2 min_size 2 crush_ruleset 1 object_hash rjenkins pg_num 30 pgp_num 30 last_change 40 flags hashpspool stripe_width 0
 pool 2 'vms' replicated size 2 min_size 2 crush_ruleset 1 object_hash rjenkins pg_num 30 pgp_num 30 last_change 42 flags hashpspool stripe_width 0
 pool 3 'volumes' replicated size 2 min_size 2 crush_ruleset 1 object_hash rjenkins pg_num 30 pgp_num 30 last_change 36 flags hashpspool stripe_width 0
 pool 4 'backups' replicated size 2 min_size 2 crush_ruleset 1 object_hash rjenkins pg_num 30 pgp_num 30 last_change 44 flags hashpspool stripe_width 0

You can see each pool has replication count two.

Теперь перейдем к расчету

Расчеты:

Расчет общего количества PG:

Total PGs = (Total_number_of_OSD * 100) / max_replication_count

This result must be rounded up to the nearest power of 2.

Пример:

Номер OSD: 3
Количество репликаций: 2

Всего PG = (3 * 100) / 2 = 150. Ближайшая степень от 150 до 2 равна 256.

Таким образом, максимальное количество рекомендованных PG - 256

Вы можете установить PG для каждого пула

Расчет общего количества PG на пул:

Total PGs = ((Total_number_of_OSD * 100) / max_replication_count) / pool count

This result must be rounded up to the nearest power of 2.

Пример:

Номер OSD: 3
Количество репликаций: 2
Количество пулов: 5

Всего PG = ((3 * 100) / 2) / 5 = 150/5 = 30. Ближайшая степень от 30 до 2 равна 32.

Таким образом, общее количество PG на пул равно 32.

Таблица мощности 2:

2^0     1
2^1     2
2^2     4
2^3     8
2^4     16
2^5     32
2^6     64
2^7     128
2^8     256
2^9     512
2^10    1024

Полезные команды

ceph osd pool create <pool-name> <pg-number> <pgp-number> - To create a new pool

ceph osd pool get <pool-name> pg_num - To get number of PG in a pool

ceph osd pool get <pool-name> pgp_num - To get number of PGP in a pool

ceph osd pool set <pool-name> pg_num <number> - To increase number of PG in a pool

ceph osd pool set <pool-name> pgp_num <number> - To increase number of PGP in a pool

*usually pg and pgp number is same

Как я это исправил в 12.2.4 luminous:

Слишком много PG на OSD (380> максимум 200) может привести к множеству запросов на блокировку.

Для начала нужно установить:

[global]

mon_max_pg_per_osd = 800  # < depends on you amount of PGs
osd max pg per osd hard ratio = 10 # < default is 2, try to set at least 5. It will be
mon allow pool delete = true # without it you can't remove a pool 

Затем перезапустите все MON и OSD один за другим.

Проверить значение:

ceph --admin-daemon /var/run/ceph/ceph-mon.ceph2.asok config get  mon_max_pg_per_osd
ceph --admin-daemon /var/run/ceph/ceph-osd.3.asok config get osd_max_pg_per_osd_hard_ratio

А теперь посмотрите сюда:

rados lspools
ceph osd pool get .users.email pg_num

В моем случае по умолчанию pg_num было 128 или что-то в этом роде (моему кластеру 4 года, было много обновлений, много изменений). Вы можете уменьшить его вот так.

Будь осторожен:

ceph osd pool create .users.email.new 8
rados cppool .users.email default.rgw.lc.new
ceph osd pool delete .users.email .users.email --yes-i-really-really-mean-it
ceph osd pool rename .users.email.new .users.email
ceph osd pool application enable .users.email rgw

Если этого было недостаточно, попробуйте найти другой бассейн, который вы сможете разрезать.