пометить тесты, у которых есть проблемы в Allure reporter с адаптером cucumber-jvm, как BROKEN?

Allure всегда устанавливает статус BROKEN для тестов, которые не прошли до утверждения. Но часто тесты терпят неудачу из-за существующей ошибки до утверждения (например, не работает вход в систему).

Есть ли возможность пометить тесты, для которых была назначена проблема, и которые не прошли проверку - как ПРОШИВШИЕ, а не ПРЕРЫВАННЫЕ в Allure?


person user7184029    schedule 20.11.2016    source источник
comment
Пытаюсь разобрать ваш вопрос. Вы спрашиваете, если в сценарии с огурцом есть тег @ test-has-preexisting-issue, может ли статус быть установлен на BROKEN вместо FAILED при любой ошибке, ожидаемой или неожиданной?   -  person MikeJRamsey56    schedule 21.11.2016
comment
Я спрашиваю, могу ли я добавить свои дополнительные условия в Allure, чтобы установить статус теста FAILED, если ему назначена проблема   -  person user7184029    schedule 21.11.2016
comment
Насколько я понимаю, Allure, BROKEN настраивается на непредвиденные исключения. Вы могли бы перехватить все исключения и явно заявить, что не удалось получить статус FAILED, не так ли?   -  person MikeJRamsey56    schedule 21.11.2016
comment
Но в данном случае я не смогу разделить случаи, когда исключение было вызвано ошибкой и плохим качеством теста. Например: я улавливаю исключение селена NoSuchElement. Тест должен быть ПОВРЕЖДЕН, если, например, локатор неисправен, но тест должен быть НЕ ПРОШЕЛ, если отсутствие элемента является ошибкой = ›Я хочу отметить тест как НЕ ВЫПОЛНЕННЫЙ, если мне назначена проблема.   -  person user7184029    schedule 21.11.2016
comment
Внутри блока catch вам нужно будет решить, следует ли вызывать утверждение, которое приводит к сбою (FAILED), или если исключение генерируется повторно (BROKEN). Решение может быть основано на тегах и характере сбоя. Вы можете написать класс, который будет вызывать все ваши блоки catch, который централизует эту логику. Зависит от того, сколько работы вы хотите вложить в это.   -  person MikeJRamsey56    schedule 21.11.2016


Ответы (1)


Лучше всего исправить это в адаптере Allure и заменить стандартный на вашу версию. Я сделал то же самое с java-адаптером, нам нужно было добавить дополнительные исключения как FAILED и некоторое описание для всех тестов.

person RocketRaccoon    schedule 23.11.2016