Что такое воспроизводимость, повторяемость и воспроизводимость

В литературе можно найти различные ссылки и представления о воспроизводимости. Обычно новичок склонен использовать термин «воспроизводимость» на разных этапах рабочего процесса в разных значениях. В этих случаях в игру вступают такие термины, как повторяемость и воспроизводимость.

Линнеруп и др. (2020) рассуждали о том, что они назвали «запутанной таксономией», которая создает «путаницу в значении повторяемости, воспроизводимости и воспроизводимости, что, в свою очередь, негативно влияет на общее развитие науки». В некоторых работах не проводится различие между воспроизводимостью и воспроизводимостью.

Один из способов определить эти три понятия:

- Повторяемость (одна и та же команда, одна и та же экспериментальная установка): измерение может быть получено с заявленной точностью одной и той же командой с использованием одной и той же процедуры измерения, одной и той же измерительной системы, в одних и тех же условиях работы и в одном и том же месте в ходе нескольких испытаний. Для вычислительных экспериментов это означает, что исследователь может надежно повторить свои собственные вычисления.

- Воспроизводимость (другая группа, одна и та же экспериментальная установка): измерение может быть получено с заявленной точностью другой группой с использованием той же процедуры измерения, той же измерительной системы, в тех же рабочих условиях, в том же или другом месте в нескольких испытаниях. . Для вычислительных экспериментов независимая группа может получить тот же результат, используя собственные артефакты автора.

- Воспроизводимость (другая команда, другая экспериментальная установка): измерение может быть получено с заявленной точностью другой командой, другой измерительной системой, в другом месте в нескольких испытаниях. Для вычислительных экспериментов независимая группа может получить тот же результат, используя артефакты, которые они разрабатывают совершенно независимо.

Для всестороннего обсуждения и исторических аспектов хорошее резюме представлено в работе Lynnerup et al (2020).

Библиография:

  • Линнеруп, Н. «Обзор воспроизводимости путем оценки алгоритмов глубокого обучения с подкреплением на реальных роботах». Материалы конференции по обучению роботов (2020 г.).