Охвачены следующие статьи Лесли Н. Смит

  1. Дисциплинированный подход к гиперпараметрам нейронной сети: часть 1 — скорость обучения, размер пакета, импульс и уменьшение веса. "бумага"
  2. Супер-конвергенция: очень быстрое обучение нейронных сетей с использованием скорости обучения. "бумага"
  3. Изучение топологии функции потерь с циклическими скоростями обучения. "бумага"
  4. Циклические скорости обучения для обучения нейронных сетей. "бумага"

Хотя основная цель состоит в том, чтобы воспроизвести документы, с тех пор было проведено много исследований, и поэтому, при необходимости, я бы изменил некоторые вещи, чтобы они соответствовали современным практикам. Большинству этих вещей учат на курсах фастай, а именно Practical Deep Learning for Coders, v3.

Если вы не знакомы с fastai, это библиотека глубокого обучения, созданная на основе PyTorch и содержащая реализации большинства современных методов, которые со временем меняются. В результате этого вы можете получить самые современные результаты в большинстве задач, используя значения библиотеки по умолчанию.

Я бы объяснил все концепции, обсуждаемые в документе, и предоставил бы пошаговое руководство с примером CIFAR-100 по пути. Таким образом, будет объяснение темы, а затем код для этого. Если вы собираетесь использовать эти приемы в своей работе, вы можете следовать записной книжке сверху вниз. Для реализации некоторых концепций я бы использовал встроенные функции fastai, поскольку fastai предоставляет систему обратного вызова, которая действительно очень помогает при работе над проектами в реальной жизни. Так что, если вы не знаете фастаи, вы можете посмотреть упомянутый выше курс или прочитать документацию, так как в документации достаточно примеров. Для пользователей Tensorflow: на данный момент я не знаю, предоставляет ли какая-либо библиотека такую ​​​​большую функциональность, как fastai, но вы все равно можете продолжить, поскольку обсуждаемые концепции являются общими, отличается только реализация.

Вы можете проверить блокнот здесь со всеми деталями и кодом.

Я думаю о переходе на блокноты Jupyter для этих руководств, так как в них легче экспериментировать.

Поэтому, если вы хотите следить за новостями и узнавать, когда я буду делать новый блокнот, вы можете проверить https://kushajveersingh.github.io/notebooks/. Я буду обновлять список по мере создания новых блокнотов.

Я по-прежнему буду публиковать посты на Medium, но большая часть бумажных реализаций будет сделана в блокнотах Jupyter.