Есть ли способ установить оповещение для нескольких метрик ENUM с похожим именем

Я пытаюсь обрабатывать несколько (около 500) показателей с похожими именами, например:

INSTANCE03{INSTANCE03="Dead"} == 1
INSTANCE05{INSTANCE05="Dead"} == 1
INSTANCE07{INSTANCE07="Dead"} == 1

Каждый из них указан как Enum, который показывает такой статус:

INSTANCE03{INSTANCE03="Dead"} == 1
INSTANCE03{INSTANCE03="Alive"} == 0

Есть ли способ сделать оповещение о переключении статуса с живого на мертвый для всех этих показателей в кратчайшие сроки? E. грамм. использовать регулярное выражение для значения __name__?

Оповещение работает, если я указываю по одному экземпляру метрики в строке, но это не лучший способ для такого количества метрик.

Ниже моего alert_rules.yml

groups:
 - name: example
   rules:
   - alert: InstanceDown
     expr: INSTANCE03{INSTANCE03="Dead",instance="127.0.0.1:8888",job="prometheus"} == 1
     for: 15s
     annotations:
       summary: "Instance is down."
       description: "Instance down for 15 seconds. Please check mentioned instance."

prometheus prometheus-alertmanager
person Lordi Wish    schedule 05.09.2019    source источник

Ответы (2)


arrow_upward
0
arrow_downward

Вы можете использовать действие labelmap в metric_relabel_configs, чтобы исправить эти названия меток и показателей.

Однако, как говорит Алин, лучше всего зафиксировать источник показателей. Датчик с 0/1 для каждого экземпляра был бы самым простым.

person brian-brazil    schedule 05.09.2019

arrow_upward
0
arrow_downward

Я почти уверен, что в Prometheus нет способа иметь дело с произвольными ярлыками (т.е. вашими INSTANCE03="Dead" ярлыками), кроме определения _ 2_ или <relabel_config> < / a>, где вы перечисляете все возможные имена меток и заменяете их фиксированной меткой (например, state).

Будет намного проще вернуться к тому, что экспортирует эти метрики и исправляет их там, прежде чем они попадут в Prometheus.

person Alin Sînpălean    schedule 05.09.2019