Мы используем Xray для управления тестовыми случаями и автоматизировали несколько тестовых случаев. Мы используем jenkins для выполнения автоматических тестовых случаев и используем плагин для чтения XML-файла результатов и обновления тестового прогона. Однако для каждого автоматизированного тестового примера он создавал новый тестовый пример Xray. Есть ли способ сопоставить каждый автоматический тестовый пример с существующим тестовым примером при выполнении теста?
обновление результатов автоматизации до тестовых примеров Xray во время выполнения без создания дополнительных тестовых примеров
Ответы (2)
Возможность сопоставления результатов автоматизации с конкретной существующей проблемой теста зависит от формата отчета, который вы используете, как подробно описано в следующей ссылке.
https://confluence.xpand-it.com/display/XRAY/Integrating+with+Testing+Frameworks
Например, с JUnit вы не можете обеспечить соответствие определенного аннотированного метода @Test существующей тестовой задаче (из-за ограничений формата отчета JUnit XML). Однако это возможно, если вы используете TestNG, NUnit или Robot framework, как показано в следующих руководствах:
- https://confluence.xpand-it.com/display/XRAY/Testing+using+TestNG+in+Java?src=contextnavpagetreemode
- https://confluence.xpand-it.com/pages/viewpage.action?pageId=62269682&src=contextnavpagetreemode
- https://confluence.xpand-it.com/display/XRAY/Testing+using+Robot+Framework+integration+in+Python+or+Java?src=contextnavpagetreemode
Наконец, вы также можете сообщить результаты в существующую тестовую задачу, если используете формат Xray JSON. Подробнее об этом здесь
Пример отчета Xray JSON будет примерно таким:
{
"testExecutionKey": "DEMO-1206",
"info" : {
"summary" : "Execution of automated tests for release v1.3",
"description" : "This execution is automatically created when importing execution results from an external source",
"version" : "v1.3",
"user" : "admin",
"revision" : "1.0.42134",
"startDate" : "2014-08-30T11:47:35+01:00",
"finishDate" : "2014-08-30T11:53:00+01:00",
"testPlanKey" : "DEMO-100"
},
"tests" : [
{
"testKey" : "DEMO-6",
"start" : "2014-08-30T11:47:35+01:00",
"finish" : "2014-08-30T11:50:56+01:00",
"comment" : "Successful execution",
"status" : "PASS"
}
]
}
Скорее всего, созданные вами тестовые примеры были не общего, а ручного типа. Взгляните на определение тестов, созданных с помощью автоматизированного задания. Это определение необходимо скопировать в фактические тестовые примеры, но, опять же, они должны быть общими.