Глубокие нейронные сети (DNN) добились замечательных результатов во многих областях, таких как компьютерное зрение и обработка естественного языка. Однако, как и любая программная система, DNN могут иметь дефекты, которые приводят к неправильному или неожиданному поведению. Чтобы обнаружить такие проблемы, разработчикам DNN необходимо протестировать систему на большом и разнообразном наборе данных. Но ручная маркировка данных требует больших затрат времени и денег. В этом документе предлагается подход под названием «Выбор тестовых сценариев с помощью нейронной чувствительности» (NSS), позволяющий автоматически выбирать наиболее ценные тестовые сценарии из пула неразмеченных данных.
Ключевые идеи
- NSS основан на концепции чувствительности нейронов, которая измеряет, насколько небольшое изменение входных данных влияет на активацию нейрона. Тестовые случаи, вызывающие высокую чувствительность нейронов, вероятно, выявляют неправильное поведение.
- Он определяет оценку нейронной чувствительности тестового примера (TNSScore) для количественной оценки способности тестового примера обнаруживать ошибки. TNSScore суммирует значения чувствительности по всем нейронам. Дела с более высокими баллами имеют приоритет.
- Чтобы избежать накладных расходов на вычисление чувствительности для каждого нейрона, он использует идентификатор чувствительного нейрона для обнаружения наиболее чувствительных нейронов с использованием подмножества данных. Окончательный выбор учитывает только эти нейроны.
- Эксперименты с наборами данных и моделями классификации изображений, такими как MNIST, CIFAR-10 и LeNet, ResNet, показывают, что NSS неизменно превосходит методы выбора, основанные на покрытии, и другие методы выбора.
Почему это важно
Ручная маркировка является ключевым узким местом в создании надежных систем DNN. NSS обеспечивает автоматизированный способ выбора наиболее полезных тестовых данных для маркировки. Используя нейронную чувствительность, он улавливает тонкие взаимодействия, упущенные другими методами, которые просто рассматривают конечные результаты. Результаты показывают, что он может значительно ускорить обнаружение неисправностей с минимальными затратами.
В целом, эта работа демонстрирует, как концепции тестирования программного обеспечения, такие как охват и расстановка приоритетов, могут быть адаптированы для систем глубокого обучения. Метрика чувствительности нейронов предлагает новое понимание слабых сторон модели. Это имеет более широкое применение при тестировании, отладке и интерпретации DNN.
Таким образом, NSS — это многообещающий подход к решению проблемы высокой стоимости обеспечения качества в глубоком обучении. Приоритизация ценных тестовых случаев делает тестирование и улучшение программного обеспечения на основе DNN более эффективным. Код для NSS доступен на GitHub.
раскрытие информации: Автор использует ИИ для создания черновиков резюме.
