Как собрать информацию о визуальном тестировании

В нашем отчете Состояние автоматизированного визуального тестирования мы делимся своими исследованиями и мнениями о стоимости визуальных ошибок, обнаруженных на производстве в таких компаниях, как ваша. Основываясь на количестве сборок, которые вы выпускаете в месяц, и на общем количестве уникальных экранов, на которых работает ваше приложение, мы можем помочь вам оценить количество визуальных проблем, которые вы можете ожидать найти, и их стоимость для вас.

Теперь мы можем помочь вам получить реальные данные о ваших процессах разработки. В Applitools Eyes 10.7 представлен новый набор встроенных показателей под названием Insights. Новая функция Insights предоставляет вам визуальный дисплей, показывающий ваш текущий статус теста, включая прохождение тестов из всех запущенных тестов, неудачные тесты, а также новые результаты для проверки и оценки. Вы можете просматривать свои общие результаты, а также фильтровать результаты по запуску партии или по названной команде, а также сообщать результаты за определенный диапазон дат. С помощью Applitools Eyes Insights вы можете отслеживать прогресс ваших проектов визуального тестирования.

Инженеры измеряют, потому что мы все оцениваем количественно. Мы хотим знать, насколько быстрее мы можем завершить процесс A по сравнению с процессом B. Или мы можем захотеть узнать требования к ресурсам для выполнения данной задачи. В других случаях мы хотим знать качество наших процессов. Мы постоянно измеряем.

Когда вы подписываетесь на Applitools Eyes, вы делаете это с неявным предположением, что визуальное тестирование с помощью Applitools делает вашу команду более продуктивной. Вы ожидаете, что будет легче выполнять больше тестов. И вы ожидаете обнаружить большее количество визуальных регрессов, требующих исправления. Как и большинство наших клиентов, вы чувствуете, что ваш код работает намного лучше. И, как и большинство наших клиентов, вам нужен способ количественной оценки улучшений.

Представляем Applitools Insights

Applitools Insights сообщает о тестах, которые вы запускаете с помощью Applitools. Вы получаете доступ к Insights со страницы Applitools Test Manager - части набора отчетов, которые показывают результаты ваших тестовых запусков.

На странице Insights представлен ряд диаграмм, которые дают вам визуальную информацию о тестировании, связанную с производительностью и эффективностью тестов, которые команды выполняют для вашей учетной записи. Просмотр диаграмм позволяет менеджерам определять текущие тенденции или риски. Объем данных, которые вы можете просматривать, зависит от ролей. Администраторы учетных записей могут просматривать данные на уровне учетной записи и команды. Пользователи, не имеющие прав администратора, могут просматривать только данные, относящиеся к командам, членами которых они являются.

Вы создаете диаграммы, задавая значение для двух параметров: «Область действия» и «Диапазон дат». Область действия определяет, будут ли данные взяты в отношении всей учетной записи или одной или нескольких команд, которые назначены вашей учетной записи.

Чтобы установить область действия, выберите ее в раскрывающемся списке «ОБЛАСТЬ ПРИМЕНЕНИЯ». Вы можете выбрать в качестве области действия всю вашу компанию или определенную команду или группы, которые вы определили ранее, которые вы выберете.

Диапазон дат устанавливает границы временного интервала, для которых собираются данные Insights. Вы устанавливаете дату либо в виде предустановки за последние 7, 30 или 90 дней, либо в произвольном диапазоне, который вы указываете в селекторе дат.

Макет страницы Insights

Страница Insights разделена на несколько разделов:

  • Панель инструментов Insights.
  • Вкладка Аналитика тестов.
  • Вкладка «Статистика партии».
  • Панель инструментов вкладки.

Панель инструментов Insights

На панели инструментов Insights используйте переключатель Scope, чтобы выбрать учетную запись или группы, для которых вы показываете данные визуального тестирования. Затем используйте функцию «Диапазон дат», чтобы установить временные рамки, используемые для извлечения информации из базы данных.

Вкладка Test Analytics

На этой вкладке отображается набор диаграмм, которые позволяют быстро получить представление обо всех выполненных вами визуальных тестах. Статистика отражает объем и временные рамки, которые вы установили на панели инструментов Insights.

Вкладка "Статистика партии"

Отображает список пакетов, которые были выполнены за выбранный период времени. Каждая строка в списке отображает отдельный пакет и базовый пакетный запуск, а также информацию о состоянии, такую ​​как последний запуск, успешный, неудачный, неразрешенный и общий запуск. При щелчке по строке строка разворачивается для отображения набора диаграмм и аналитики для этого пакета.

Панель инструментов вкладки

Предоставляет различные инструменты для организации отображения или извлечения и обмена информацией, представленной на вкладке. Доступный набор инструментов зависит от того, какая вкладка активна.

К другим элементам управления панели инструментов вкладок относятся:

  • Упорядочить отображение: когда вы щелкаете значок «Упорядочить отображение», страница изменяется, позволяя перемещать диаграммы. Перетащите диаграммы на новое место, а затем снова щелкните значок «Упорядочить отображение», чтобы вернуться к обычному отображению.
  • Печать PDF: чтобы создать PDF-файл текущего отчета, щелкните значок PDF, чтобы сделать снимок экрана, готовый к сохранению в формате PDF.
  • Поделиться ссылкой: чтобы поделиться текущим отчетом с кем-либо, щелкните значок Поделиться ссылкой, чтобы скопировать ссылку на текущую страницу в буфер обмена. С этого момента вы можете поделиться ссылкой.

Взгляд на тестовую аналитику

Раздел Test Analytics включает пять основных отчетов:

  • Определенные тесты с течением времени - линейная диаграмма для выбранного набора команд, показывающая количество определенных тестов, запускаемых за каждый период. Для каждой команды отображается отдельная строка.
  • Обнаруженные проблемы с течением времени - линейная диаграмма для выбранной группы команд, показывающая количество проблем, обнаруженных с течением времени, с разбивкой по командам
  • Количество выполненных тестов по - горизонтальная гистограмма, разбитая по параметрам вертикально. Этот отчет дает вам представление о вашем визуальном тестировании, организованном индивидуально, по команде или по целевой тестовой платформе. Для заданного объема и диапазона дат - количество тестов по выбранному набору параметров тестирования. Параметры включают исполнителя, браузер, устройство, ОС и область просмотра. В них разделяются соответствующие параметры (например, по названному браузеру). Вы также можете просмотреть свои самые и наименее стабильные приложения и тесты. Таким образом, вы знаете, на каких тестах нужно сосредоточиться, а на каких приложениях - на тестировании. Вот, например, диаграмма наших наименее стабильных тестов:

Просмотр статистики партии

Если вас заинтересует партия, мы подумали о вас в нашем дизайне. Applitools Eyes Insights использует имя пакетной последовательности для автоматической группировки пакетных данных. Insights собирает, анализирует и представляет информацию о статусе выполнения пакета и теста. Вы видите только визуальную информацию о пакетных тестах, соответствующих критериям вашего объема и диапазона дат.

Каждая пакетная последовательность представлена ​​в отдельной строке в списке пакетной последовательности. В этой строке вы можете увидеть все данные для этой пакетной последовательности, включая статус, время выполнения и самый последний результат. Для выбранной области и диапазона дат в отчете представлена ​​информация обо всех запусках визуального тестирования. Вы собираете информацию о визуальном тестировании для пакета, включая количество пройденных, неудачных и неразрешенных изображений, а также общее количество запусков.

При щелчке по строке строка разворачивается, чтобы отобразить набор диаграмм и аналитики, которые предоставляют дальнейшие визуальные сведения о тестировании и статистику по пакетной последовательности.

Следующие шаги

Первоначально опубликовано на https://applitools.com 19 июня 2019 г.