Воспроизведение статьи «Обучение нейронным решателям PDE с гарантиями сходимости».

›Хотите узнать больше о проблеме воспроизводимости? Прочтите наш вступительный текст здесь

Во время нашего первого интервью мы провели групповое обсуждение со студентами магистратуры в Федеральной политехнической школе Лозанны (EPFL). Франческо, Самуэль и Эмильиано вместе приняли участие в конкурсе воспроизводимости в качестве заключительного проекта их Курса машинного обучения EPFL.

В нашем интервью мы рассказали об их мыслях о том, что должна содержать полностью воспроизводимая статья, об их попытках вникнуть в недостающие детали из статьи PDE и о том, как их приверженность воспроизводимости менялась по мере углубления их академического опыта.

Краткое содержание интервью (TLDR):

  • Команде удалось воспроизвести первую серию экспериментов, но не второй, более сложный подход, предложенный в статье.
  • Некоторые проблемы, с которыми столкнулась команда, включали: отсутствие доступа к данным и коду, а также отсутствие подробностей о втором подходе с несколькими сетками. Также отсутствовала информация о том, как была обучена модель, форма данных, какие входы и выходы были для модели, функция потерь, термин регуляризации, версии библиотеки и какая машина использовалась для обучения экспериментов.
  • Чтобы добиться воспроизводимости исследования, команда отметила, что «все доказательства должны быть четкими, без скрытых предположений, и должен быть хотя бы образец кода с образцом набора данных, который вы можете обучить с разумной вычислительной мощностью».

Подробности отчета о воспроизводимости:

Члены команды:

Интервью

Примечание: это интервью отредактировано и сжато для ясности.

Сесилия: Итак, чтобы начать, представьтесь, пожалуйста, в любом порядке!

Сэмюэл: Привет, я Сэм! Я изучаю компьютерные науки в EPFL. Информатика со специализацией в неврологии (вычислительная нейробиология). Я получил степень бакалавра в Цюрихском университете и ETH по вычислительной нейробиологии, а также немного поработал инженером-программистом и специалистом по обработке данных для некоторых стартапов. А потом я вернулся в EPFL, чтобы расширить свой кругозор и изучить что-то еще. Да вот и все.

Франческо: Меня зовут Франческо, я родом из Италии, где я изучал машиностроение на степень бакалавра в Миланском политехническом университете. Затем я решил переехать в Швейцарию для получения степени магистра вычислительной науки и техники, чтобы дать мне возможность изучать как информатику, так и предметы машиностроения. Я также проходил стажировку в области вычислительной гидродинамики, и прямо сейчас я работаю над своей магистерской диссертацией, и я объединяю обе свои компетенции, работая над оптимизацией формы аэродинамики с использованием нейронных сетей. В будущем я хотел бы получить степень доктора философии.

Эмильяно: Я Эмильяно. Я из Албании. Я получил степень бакалавра в области информатики в Болгарии, где я также прошел стажировку по разработке программного обеспечения в компании Skyscanner. Затем я получил стипендию от правительства Албании на обучение здесь, в Швейцарии, в области науки о данных, что мне нравится, потому что это прекрасное сочетание математики и информатики. Мне нравятся обе эти области, и я надеюсь, что в будущем смогу получить докторскую степень в области кибербезопасности.

Сесилия: Попался. Очень круто. Итак, как вы узнали о проблеме и почему вы были заинтересованы в участии?

Франческо: По сути, это был один из трех проектов, которые были предложены в качестве заключительного проекта курса машинного обучения.

Сесилия: Была ли конкретная причина, по которой вы выбрали эту бумагу для воспроизведения?

Франческо: Я зашел на сайт OpenReview, набрал «уравнение в частных производных» и нашел вот это. Как я уже сказал, у меня есть опыт работы с численным моделированием, и я хотел поделиться своими знаниями и найти что-то, что могло бы сочетать глубокое обучение с численным моделированием.

Сэмюэл: Что ж, для нас с Эмильджано важен был аспект глубокого обучения. Это для нас очень интересно, и да, Франческо просто хотел провести PDE.

Сесилия: Попался. Интересно, что это было обязательным требованием для курса. Есть ли другие курсы или другие профессора, которые подчеркивают подобный аспект воспроизводимости?

Сэмюэл: Я имею в виду, что это всегда часть факультета информатики. Очень важно, чтобы код был хорошим, читабельным и хорошо выполнялся. Кроме того, я не знаю об этом.

Франческо: Я имею в виду, что меня никогда не подталкивали к подобному вызову, но мне всегда говорили, что всякий раз, когда я делаю презентацию, которую невозможно воспроизвести, она не получит хороших оценок.

Сесилия: Круто. Итак, перейдя к задаче, как вы, ребята, думали о воспроизводимости? Вы когда-нибудь задумывались об этом раньше? Как вы думаете, что это было?

Сэмюэл: Я имею в виду в целом, конечно, мы думаем об этом. Потому что каждый раз, когда мы видим статью, которую хотим использовать в проекте или тезисе, тогда, конечно, возникает вопрос, как ее на самом деле запустить и как на самом деле использовать. И поэтому на нас это влияет на нас, потому что мы не можем копировать или опираться на работу других. Пока что я думаю, что это почти самая важная вещь - действительно иметь возможность легко воспроизводить модели без особых сбоев. По сути, вот блокнот Jupyter или какой-нибудь пример кода; это вход и выход модели.

Франческо: Для меня это очень простая вещь, которую можно воспроизвести даже при небольшой вычислительной мощности. Также важно, чтобы вы уметь исходить из доказательств и уметь все понимать. Не должно быть скрытых предположений.

Самуэль: Вы должны суметь понять это от начала до конца и увидеть все предположения, которые они делают. Может быть, они сделали какие-то небольшие ошибки - я имею в виду, что все делают ошибки, поэтому мы должны иметь возможность их видеть и рассуждать о них.

Сесилия: Когда вы пытались воспроизвести документы из пропуска или попытаться включить их в свою собственную работу, вы думали, что это легко?

Франческо: Это не всегда легко, потому что я нашел некоторые документы с некоторыми ошибками, которые мешают мне воспроизвести их или использовать результаты из статьи. Это раздражало.

Самуэль: У нас не было доступа или нет доступа к самим данным. Возможно, у вас есть доступ к коду, который, вероятно, не совсем читается. Значит, у вас тоже нет данных, значит, вы не знаете «хорошо, откуда же берутся данные»? Как это выглядит? Я имею в виду, какова форма данных - изображения? Есть ли на нем препроцессинг? Или, если текстовый, то какие?

Сесилия: Если бы у вас была идеальная бумага, что бы они вам дали? Какими будут компоненты для полностью воспроизводимой бумаги или произведения?

Франческо: Материал должен быть понятным. Все доказательства должны быть четкими, без скрытых предположений, и должен быть образец кода с образцом набора данных, который вы можете использовать, и должен иметь разумную вычислительную мощность. Он должен работать непрерывно без 10 графических процессоров.

Сесилия: Так что вас устроит даже часть данных или образец кода. Вам не обязательно нужен полный код или полный набор данных.

Самуэль: Что касается кода, вы не можете запустить его без полного кода. Вам нужен весь код - без него было бы очень сложно его рассуждать. Я имею в виду, что набор данных всегда выглядит как проблема, иногда это просто не ... они не могут предоставить его вам. Если у вас есть пример, чтобы вы могли получить обзор данных, чтобы вы могли понять данные, и это было разумно.

Сесилия: Мы немного поговорили о том, как вы видите воспроизводимость, и о проблемах, с которыми вы столкнулись до этого момента. Считаете ли вы, что воспроизводимость важна? Если да, то почему или почему нет?

Франческо: Я имею в виду, что это основа науки, верно? Эксперимент должен быть воспроизводимым. Я не понимаю, почему этого не должно быть в случае компьютерного эксперимента.

Сесилия: Хорошо, я собираюсь задать важный вопрос, который я не включила в список. Были ли вы когда-нибудь виноваты в создании работы, которую нельзя было воспроизвести?

Франческо: Я имею в виду, что трудно сказать себя, потому что, возможно, для проекта мы оставили код для себя.

Сэмюэл: Как и в моей бакалаврской диссертации, я имею в виду, что в основном я немного взломал p-value. Модель не так хорошо обучалась, и я просто часами искал, пока не получил нужные параметры, чтобы производительность была хорошей. При моих значениях он все еще воспроизводился, но поиск этих значений не очень хороший.

Франческо: Я больше усвоил этот образ мыслей о воспроизводимости, когда начал работать в мастере.

Сесилия: А теперь самое интересное. Мы собираемся начать говорить о реальном путешествии, которое вы прошли при воспроизведении этой статьи. Итак, первый вопрос: можете ли вы описать, как вы решили подойти к воспроизведению статьи, и была ли конкретная причина, по которой вы выбрали этот подход?

Франческо: Ну, вначале мы пытаемся опровергнуть доказательства, которые они показали, и пытаемся понять, какой набор данных они использовали, и как они построили весь процесс, потому что было не очень ясно, как они построили вверх по функции потерь. Он был написан на официальном языке, и нам нужно было интерпретировать. Мы еще не знаем, была ли наша интерпретация хорошей или нет, потому что мы не получили ответа. Я имею в виду, что нам удалось воспроизвести результаты до определенного момента, но мы не знаем, единственный ли наш подход или тот, который они выбрали, или есть другие подходы.

Сэмюэл: Это было своего рода возможностью интерпретации. Для меня самой важной частью было как можно быстрее получить комплексное решение, чтобы вы могли как бы понять: «Хорошо, это работает? Мы на правильном пути? » И в этой связи для меня самым сложным было «как вы тренировали свою модель?» Каков был ваш вклад? Что такое выход модели »и функция потерь. Одно это уравнение было суперплотным, и для меня это могло быть немного более подробное объяснение.

Франческо: Итак, некоторые другие процессы, которые не были подробно объяснены вначале, потому что мы начали работать на бумаге и получили некоторые отзывы. А пока работали сами и думали, что все работает. А потом они опубликовали за два дня до нашей подачи - они опубликовали что-то, что давало больше объяснений.

Сесилия: Интересно. Если бы у вас это было немного раньше, было бы намного лучше. Я полагаю, что это хорошая аналогия с набором данных. Вы хотите проверить, верна ли ваша модель. Итак, когда вышло это новое продолжение, был ли ваш подход таким же, как тот, который они использовали?

Франческо: Думаю, да.

Сэмюэл: Я имею в виду, что мы хотели бы получить одобрение. Мы обсуждали это с профессором, но потом он также сказал: «Да, ваши объяснения разумны», но поскольку они также не могут тратить слишком много времени на один проект в классе из 400 студентов. Трудно представить себе, что мы на правильном пути.

Франческо: И у нас возникло это чувство, когда вышла последняя статья, и мы увидели, как в нее добавлялись вещи, которые мы обнаружили сами.

Сэмюэл: Я имею в виду, что авторы статьи были анонимны, поэтому мы не могли с ними связаться. Вы могли только оставить комментарий на сайте. Мне бы хотелось, чтобы мы могли отправить им электронное письмо, потому что я имею в виду, что мы не хотели задавать вопросы вроде «как вы на самом деле тренировали свою модель?» в качестве комментария к этому сайту, потому что он мне показался неправильным.

Франческо: Итак, мы оставили комментарий в конце с просьбой подтвердить.

Сесилия: Итак, вы хотели убедиться, что сделали несколько попыток, прежде чем задавать дополнительные вопросы.

Франческо: Но я думаю, что это хорошо, потому что обычно, когда я изучаю литературу, посвященную исследованию, проходит много времени, прежде чем я понимаю ее. Вам все еще нужно провести с ним это время, и иногда вы идете к автору вначале и видите, что это потраченное зря время, тогда как если вы начали после работы над ним, это гораздо более актуально, потому что вы понимаете, о чем говорите.

Сэмюэл: Но так же, как у нас не было цитат из них, у вас может быть только бумага, поэтому я думаю, что код вам очень помог. Но тогда мы не могли выбрать эту работу из-за требований, которые были у нас в классе. В общем, я думаю, что было бы очень полезно, если бы у вас был код, потому что тогда вы действительно можете видеть, что они делают.

Франческо: Нам посоветовали взять бумагу без кода.

Сесилия: А ты, Эмильджано? Что вы думали о проблеме?

Эмильяно: Я имею в виду, что полностью согласен, и я многому из этого научился. Потому что обычно, когда я читал статьи, я думал: «Хорошо, я не получу этого или не смогу воспроизвести это». Что ж, теперь я думаю, что могу подойти к этому с другим мышлением.

Сесилия: Сколько времени вы потратили на воспроизведение бумаги?

Франческо: Итак, мы начали в середине ноября и должны закончить до Рождества. Таким образом, у нас было два крайних срока: один для класса, который был на Рождество, а другой для теста воспроизводимости, который был на 7 января. Мы отправили для класса, а затем немного уточнили отчет для задачи.

Сесилия: Попался. И я знаю, что вы описали, как будто вы не были уверены в фактическом формате данных, каковы были входы, каковы были выходы, а также не знали, как они определили функцию потерь. Но помимо этих проблем, были ли другие проблемы, с которыми вы столкнулись, когда пытались воспроизвести статью?

Франческо: Я думаю, что когда мы получили интерпретацию и процесс заработал, все стало хорошо, потому что нам не нужны были данные откуда-то еще. Мы могли их генерировать. Поскольку данные являются решением уравнения Пуассона, и с помощью метода конечных разностей вы можете просто решить линейную систему, так что было очень приятно иметь возможность сгенерировать обучающий набор.

Сэмюэл: Я думаю, что для этой статьи это тоже было уникальным, потому что обычно у вас много обучающих данных, и мы могли бы их сгенерировать, поэтому у нас не было этой проблемы. Я думаю, что модель не заняла так много времени, потому что она не такая уж сложная. Так что я думаю, что это в целом уникально. Я имею в виду, что если вы тренируете модель для сегментации дорог, это займет намного больше времени, чем обучение нашей простой трехуровневой линейной сети.

Сесилия: Хорошо. Я проводил исследование и читал обзоры вашего отчета, и один из рецензентов упомянул, что вы фактически не воспроизвели все эксперименты из статьи. Есть ли причина, по которой вы не воспроизвели их все?

Франческо: Есть две основные причины: первая связана с ограничением времени, конечно, у нас был один месяц, чтобы воспроизвести ее, и поэтому мы сосредоточились на первом методе, о котором они сообщили. Во-вторых, предложенный ими многосеточный подход оказался более сложным. Это следовало бы объяснить лучше, но они сослались только на одну другую статью, которая представляет собой многосеточный подход, который они объясняют в этой статье, а затем не говорят, как они его использовали. Это было сложно. мы провели поиск по гиперпараметрам, которых они не предоставили.

Самуэль: Также для нашего класса одно требование заключалось в том, что, если мы можем, мы должны надстроить его и немного расширить. Так что покажите еще несколько результатов, разные результаты только с воспроизведением результатов других. Это было что-то вроде того, что сначала немного расширили низко висящий фрукт.

Эмильяно: Даже в финальной версии, которую они опубликовали за два дня до крайнего срока, они не расширили второй многосеточный метод.

Сесилия: Ага. Это прискорбно. Как вы думаете, если бы у вас было больше времени или ресурсов, вы бы поступили по-другому или подошли бы к этому так же?

Франческо: Я думаю, что наш подход будет таким же. Я имею в виду, что, конечно, мы могли бы расширить его до мульти-сетки, но это заняло бы много времени.

Сэмюэл: Ага. Учитывая, сколько времени нам потребовалось, чтобы разобраться в части, не связанной с несколькими сетками, на ее расширение и развитие потребовалось бы гораздо больше времени.

Франческо: Узким местом во второй части было объяснение этого многосеточного метода.

Сесилия: Сталкивались ли вы с какими-либо вычислительными ограничениями? Не похоже, чтобы модель, которую вы воссоздали, была особенно сложной, верно?

Франческо: Нет, с этой точки зрения все было нормально. Я просто говорю, что в начале статьи должен быть образец, который можно было бы легко и сразу воспроизвести без больших вычислительных ресурсов.

Сесилия: Какие инструменты или IDE вы использовали для воспроизведения статьи?

Самуэль: Он использовал Emacs [указывая на Франческо]. Мне больше нравится Вим. Но он был запрограммирован в PyTorch, блокнотах Jupyter и сотрудничал с Github.

Сесилия: Каким был ваш опыт общения с авторами по статье? У вас были сомнения? Я знаю, что не думаю, что вы когда-нибудь получали их электронную почту.

Самуэль: Мы опубликовали один комментарий, но никак не могли с ним связаться.

Сесилия: Они ответили на ваш комментарий?

Франческо: Они не ответили.

Сесилия: Вы смотрели другие комментарии и обсуждения в Open Review?

Франческо: Да, именно так мы начали новую задачу, просматривая комментарии.

Сесилия: Хорошо, я предполагаю, что вы пытались общаться, но ответа не последовало?

Сэмюэл: Нет, если честно, мы разместили комментарий только в конце. Поскольку мы не видели приятного и простого личного способа общения с авторами, мы не общались с ними.

Сесилия: Как вы думаете, было бы лучше, если бы существовал какой-то способ лично связаться с автором? Необязательно размещать его на этом общедоступном сайте обзора.

Сэмюэл: Да, я так думаю. В основном какой-то способ общения с ними в прямом канале.

Сесилия: Что, если бы у других людей были те же вопросы, что и у вас?

Самуэль: Вы можете задать вопросы позже, если найдете хорошее решение. Затем вы можете опубликовать это, но начинать с некоторых основных вопросов было не совсем правильно. Вроде нет, я не буду размещать этот простой, глупый вопрос на этом сайте.

Франческо: Возможно, мы не совсем понимали объем экспертной оценки. Может, форум должен быть похож. Может, стоит поступить по-другому.

Сесилия: Считаете ли вы, что на эти основные вопросы следовало дать ответы уже в статье?

Сэмюэл: Некоторые да.

Франческо: Что-то должно было быть более ясным. да.

Сесилия: Вы можете указать на конкретные вещи?

Самуэль: Как мы уже упоминали ранее, такие как вход или выход, форма данных, которые они давали. Ага, функция потерь. См. Пример кода. Они дали вам что-то вроде уравнения, но затем в нем была часть выборки - как вы ее отбирали? Я думаю, что они вроде как записали это, но в конце концов вы действительно не знаете размер партии или операции модели, которую вы обучили.

Франческо: А есть ли какой-нибудь срок регуляризации? Потому что они уделяли много внимания спектральному радиусу, чтобы гарантировать, но затем они не сказали, действительно ли они вносили некоторую регуляризацию в функцию потерь, чтобы предотвратить слишком большой рост спектрального радиуса. Но это было то, над чем мы много работали. Думаю, мы просили об этом в Open Review.

Сесилия: Да, и вернувшись на 15 минут назад, вы упомянули, что, очевидно, проделали некоторую работу, пытаясь воспроизвести это самостоятельно, прежде чем связаться с авторами, и вы попытались спросить своего профессора, собираетесь ли вы в правильное направление или нет. Но учитывая, что у вас не было всех ответов на все эти вопросы, как вы узнали, идете вы в правильном направлении или нет?

Франческо: Ну, это когда мы увидели, что эта штука начала работать, потому что в статье была попытка ускорить метод Якоби для решения линейной системы уравнения Пуассона. Наша сеть работала - значит, не показывала нестабильность, показывала сходимость.

Сесилия: Они утверждали, что конвергенция также происходит быстрее, верно? Вы заметили, что разница в скорости, которую вы реализовали, соответствует их разнице?

Франческо: Если у вас есть наша статья, есть несколько графиков, на которых мы показали скорость сходимости для разного количества сверточных слоев.

Самуэль: Чтобы полностью воспроизвести их результаты, нам потребовались бы дополнительные исходные данные и информация о том, как будет сокращаться количество операций и сколько процессорного времени будет сокращено. Но как тогда вычислить процессорное время?

Франческо: Да, они создали время, не сказав, было ли это средним значением, или они провели всего один эксперимент.

Самуэль: Мы могли бы как бы воспроизвести результаты или гипотезу в целом, но мы не могли полностью сравнить наши результаты с их результатами.

Эмильяно: Вы просто измеряете количество флопов (операций с плавающей запятой). Как это сделать, в газете не уточняли.

Сесилия: Проблема изменила ваше восприятие исследований в области машинного обучения или исследований в целом?

Франческо: Я впервые обратился к исследованию машинного обучения. И затем, я думаю, это помогло улучшить понимание воспроизводимости и понять, каких ошибок нельзя допускать при написании статьи .

Сэмюэл: Да, на самом деле нет, потому что для меня бумага должна быть воспроизводимой. Так что я всегда был похож на статью с ожиданием, что я могу, и они каким-то образом предоставляют мне некоторый код, чтобы на самом деле доказать свое утверждение, и я всегда расстраиваюсь, если это не так, потому что я чувствую, что это очевидная вещь для делать. И я не знаю, почему они его не публикуют. Может, им кажется, что код уродливый. Но все же это лучше, чем ничего.

Франческо: Это всегда так. Вы пишете какой-то код, который не очень рекомендуется и не очень чистый, и говорите: «Я не собираюсь публиковать или опубликую, когда он станет чище и лучше, но тогда вы этого не сделаете.

Самуэль: Может быть, это просто начинается с написания чистого кода, чего, конечно, никогда не бывает.

Сесилия: Выполнив задание, вы думаете, что будете по-другому подходить к своей работе в собственном исследовании?

Сэмюэл: Я имею в виду, что наша работа, конечно, всегда безупречна.

Сесилия: Верно. Конечно. Что ж, я думаю, если бы вы написали статью и отправили ее, вы бы выпустили код? У вас есть все эти очень конкретные детали о его реализации?

Франческо: Это не так уж и тривиально, потому что иногда код является секретным или не может быть передан другим лицам. И с этим трудно справиться, потому что, если сложно проверить код, трудно сделать воспроизводимый документ. Но все же я думаю, что если бы я собирался что-то опубликовать, я все еще пытаюсь предоставить что-то, что не является самим кодом, а что-то, что доказывает то, что я хочу показать, это просто.

Самуэль: Кроме того, иногда у вас есть эти ограничения по месту. Допустим, у вас есть четыре страницы, на которых вы можете написать свои выводы, и просто нет места для подробностей о том, как вы выполняли свою тренировочную модель.

Сесилия: Я думаю, вы могли бы поместить эту информацию в приложение, если есть ограничение по месту.

Самуэль: Можно, но иногда просто некогда это записывать. Итак, профессор всегда хочет видеть только результаты только потому, что он также знает, как вы тренировали свою модель, и тогда у него нет времени помещать его в приложение.

Самуэль: Каждый раз, когда я имею в виду, что пытаюсь что-то написать, я всегда публикую ссылку на дополнительную информацию, а также на код. Для меня это необходимо. Без этого нельзя ничего опубликовать.

Сесилия: Я предполагаю, что мой дополнительный вопрос к этому заключается в том, была ли опубликована статья, в которой были такие потрясающие результаты, и исходил ли она от уважаемого автора, но ее нельзя было воспроизвести, потому что они не могли поделиться код по какой-то причине, и они по какой-то причине не могли поделиться информацией о данных. Вы бы поверили этим результатам?

Франческо: я, по крайней мере, постараюсь использовать эту работу. Даже если они не предоставят код, а это что-то, что может быть полезно для моего исследования, я постараюсь реализовать его самостоятельно.

Эмильяно: Если это было опубликовано в уважаемом журнале, вероятно, их работа была рецензирована.

Сэмюэл: Я считаю, что это доверие к процессу. Это основа научных рассуждений. И если вы не убедитесь, что план вашего исследования или постановка эксперимента максимально ясны. Даже если вы действительно уважаемый человек, то откуда вам знать? Это просто необходимо. Даже если вы уважаемый человек, если вы не даете понять, как мы можем вам верить?

Сесилия: Пройдя через этот опыт, что, по вашему мнению, поможет сделать исследования более воспроизводимыми сейчас или в будущем?

Сэмюэл: Вы имеете в виду в целом? Нравится техники или гипотезы?

Франческо: Откройте доступ к бумагам. Многие статьи не в открытом доступе. Есть разные журналы, за которые нужно платить. Как студенты, есть журналы, к которым мы можем получить доступ, но есть другие, которые мы не можем и не можем позволить себе оплатить подписку.

Франческо: Ну, может быть, есть журналы, которым может потребоваться код в репозитории. Поэтому, если вы хотите опубликовать, вам необходимо предоставить нам рабочий код. Неплохо подмечено. Почему бы вам не провести небольшой эксперимент? Я имею в виду, как я могу доверять вашим результатам - покажите мне, что на самом деле происходит. Там может быть очень маленькая ошибка, и вы, конечно, покажете результаты. Так что после всего процесса нет никаких сомнений. Если я его не вижу, значит, я не могу его просмотреть. Я имею в виду, что он прошел рецензирование, но рецензируется только на бумаге. Код не проверяется экспертами. Код сложно проверять коллегами.

Самуэль: В общем, я считаю, что все должно быть открыто. Тебе нечего скрывать. С данными, если это личные данные, такие как данные о здоровье, вы, конечно, не можете их публиковать. Но вы по-прежнему можете публиковать статистику о данных, чтобы мы знали больше о том, откуда эти данные. Так что я думаю, что это должно быть включено или должно быть открыто для всех. Так мы прогрессируем.

Франческо: Как и в информатике, его легче всего воспроизвести. Я имею в виду, что биологический эксперимент был бы намного сложнее. Научный метод очень дорогой. Конечно, вам могут потребоваться дополнительные вычислительные ресурсы.

Самуэль: И даже тогда вы можете арендовать машину на Amazon на пару часов. Его должно быть легко создать, потому что, в конце концов, это программа, и программа должна быть работоспособной.

Сесилия: С точки зрения исследователей и практиков, как вы думаете, с какими проблемами они сталкиваются, чтобы сделать свою работу более предсказуемой? Мы немного поговорили о том, как иногда данные являются частными в качестве примера. Как вы думаете, есть ли какие-то практические проблемы в обеспечении воспроизводимости работы?

Самуэль: Ограничения по времени. Вы не можете опубликовать это. Вы не хотите его публиковать. Вы боитесь, что кто-то другой увидит это и украдет ваши идеи.

Франческо: Иногда библиотеки, которые они используют? Может быть, сложно установить все необходимые библиотеки.

Сесилия: Почему библиотеки затрудняют воспроизведение?

Франческо: Две недели назад у меня возникла проблема только из-за Tensorflow. Я использовал другую версию CUDA. Я изменил версию CUDA, и она хорошо работала с другими процессами, и они заметили, что была одна операция, которая не работала, а затем волшебным образом, когда я перешел на версию, все также было хорошо.

Сесилия: Должны ли исследователи также делиться информацией об окружающей их среде? Когда вы говорите, когда произносите код, включаете ли вы и эту информацию?

Самуэль: Ваши настройки должны быть там. Например, если вы используете библиотеки, например numpy версии X или Y, иногда операции меняются. Я думаю, вам также следует указать, на какой машине вы его тренируете, чтобы я знал: «Хорошо, они использовали суперкомпьютер для обучения в течение часа, поэтому я не могу ожидать, что код будет работать на моей машине». Возможно, они использовали другую архитектуру, поэтому я ожидал различий. Я думаю, что все, опять же, все должно быть дано, все должно быть простым в установке, простым в использовании.

Франческо: Я имею в виду, что в инструкциях по курсу профессор сказал нам пойти в библиотеку, чтобы взять напрокат ноутбук (другой ноутбук от университета) и попробовать запустить наш код на ноутбуке.

Самуэль: Потому что им также нужно было получить наши результаты, поэтому им действительно нужен код для их настройки. Это потому, что здесь 400 студентов, поэтому это должно было быть практическим.

Франческо: По крайней мере, он работал на трех разных ноутбуках.

Сесилия: Когда у вас был репозиторий для кода и когда вы пытались его запустить, как вы обеспечивали одинаковую среду для всех? Вы использовали контейнер Docker или что-то еще?

Сэмюэл: Нет, это заняло бы слишком много времени. Мы просто использовали среду conda.

Франческо: Да, для нашего проекта библиотек было не так уж и много. Это был просто PyTorch и numpy, так что это было довольно легко. Плюс у нас была фиксированная еженедельная встреча каждый четверг, на которой мы встречались на один или два часа.

Сесилия: Понятно. Были ли у вас все дополнительные вопросы или что-то, что вы хотели бы упомянуть помимо вопросов, которые мы рассмотрели?

Сэмюэл: Интервью было достаточно полным. Что ж, я просто хочу сказать, что мне это очень нравится - воспроизведение как вызов. Я считаю, что это хороший прогресс в той области науки, где в этом есть необходимость, и, возможно, вы действительно сможете сделать это без особых проблем. Так что мне очень нравится этот толчок к воспроизведению бумаг.

Франческо: Я думаю, что это будет очень актуальный журнал, потому что статья действительно прошла рецензирование. В процессе рецензирования была фаза воспроизводимости, когда работа рецензировалась снова. Вы можете, по крайней мере, убедиться, что это хорошая статья и что ее можно воспроизвести после двух этапов рецензирования.

Сесилия: Вы видели последнее обновление для NeurIPs, когда в запросе статей они фактически теперь просят людей присылать ответы на воспроизводимый контрольный список, который был введен в прошлом году. И Джоэл, которая как организатор этого испытания, именно она составила этот контрольный список.

Франческо: Хорошо, мне кажется, я видел на веб-сайте контрольный список воспроизводимости.

Сесилия: Итак, эта огромная конференция сейчас поощряет людей или фактически требует, чтобы люди присылали ответы на эти вопросы.

Самуэль: Это действительно здорово.

Сесилия: Я думаю, некоторые люди утверждали, что если вы пытаетесь заставить людей отправлять код или знаете, что выполняете все эти требования, на самом деле будет меньше исследований. Что вы думаете об этом утверждении?

Франческо: Нет, это неправда.

Самуэль: Важно не количество. Уже опубликовано слишком много статей. Я не могу за ними следить. Даже если я действительно хочу и хочу заниматься только глубоким обучением, ежедневно публикуется слишком много статей, и я не могу следить за ними. Я думаю, что если вы заплатите за меньшее количество бумаг, то получите более высокое качество.

Эмильяно: Наверное, плохих бумаг станет меньше.

Франческо: Но я подумал, что этот контрольный список воспроизводимости очень похож на то, что нас просят делать в наших более широких рекомендациях.

Сесилия: Понятно. Было здорово познакомиться с вами, ребята. Спасибо, что поделились всей этой информацией!

Наше следующее интервью будет опубликовано в эту пятницу. Обязательно подпишитесь на нас на Medium, чтобы оставаться в курсе.

Хотите узнать, как Comet.ml может помочь вашей команде автоматически отслеживать наборы данных, код, модели и историю экспериментов для воспроизводимых исследований? "Узнать больше".