Месяц назад я предпринял странный, но в конечном итоге плодотворный поиск. В предыдущие годы я участвовал в интернет-проекте NaNoWriMo (Национальный месяц написания романов), в течение которого вы обязуетесь писать 1666 слов в день в течение всех 30 дней ноября. Мне нравится механика этого испытания: то, как он помогает вам преодолеть горб перфекционизма и лени и перейти к «Фактически делать вещь», но я не очень-то писатель-фантаст. Но я понял, что есть кое-что, что я был в равной степени мотивирован, чтобы дать себе мотивацию сделать: читать и обобщать новую литературу по машинному обучению.

Так родился месяц машинного обучения и письма. Условия задания: напишите не менее 500 слов, обобщающих статью или концепцию машинного обучения, каждый день в ноябре. Сокращение фактической письменной длины должно было учесть время, которое необходимо потратить на чтение и понимание фактического предмета.

Аббревиатура была выбрана немного неудачно (MaLeWrimo немного неудобно на носу, когда дело доходит до гендерной динамики ML-сообщества), и сообщения определенно немного различаются по качеству (я чувствую некоторое желание защитно маркировать те, что написаны в их после часа ночи), но я обнаружил, что этот вызов для себя действительно очень силен, и я с гордостью могу сказать, что я справился с ним до конца.

Я собрал умеренно организованный список сообщений в конце этого документа, но сначала я хочу поделиться некоторыми общими размышлениями и стратегиями, к которым я пришел во время этого процесса.

  • Я счел абсолютно необходимым делать пометки своими словами вместо того, чтобы копировать фразу, использованную автором статьи. Если вы не выполнили работу по сопоставлению слов с концепциями, вы недостаточно усвоили, чтобы вам можно было доверять объяснение идеи. Я нашел один обходной путь для случаев, когда я хотел отслеживать сказанное, но не обманывать себя, полагая, что понимаю больше, чем я, - это всегда использовать кавычки, когда я извлекаю предложения прямо из бумаги. Цитаты были моим сигналом к ​​самому себе, что «это утверждается, но я еще не понял, что это значит и почему это правда»
  • В том же духе использование юмора в моих заметках оказалось на удивление полезным. Хотя у меня нет хорошей теории на этот счет, я могу предположить, что добавление глупости в заметки заставляло меня чувствовать себя так, будто я говорю другу, что заставило меня больше настроиться объяснять (себе), а не просто расшифровывать
  • Признание непонимания дает огромное освобождение. Если вы заставляете себя оставаться в реестре «полностью информированного эксперта», вы доводите себя до крайности: либо не разделяете никакого понимания идеи до тех пор, пока вы ее полностью не поймете, либо притворяетесь, что понимаете что-то, просто повторяя утверждение. из газеты, которая не идет на пользу вашим читателям. Позволить себе сказать «да, я действительно не грокнул этот кусок» было одновременно и функционально необходимым, когда я поставил себе ограничение по времени и в конечном итоге мне нужно было поспать, а также, я думаю, полезным было получить по привычке делать.
  • Повторение - подарок вашему читателю. Одна из часто неприятных ловушек в работах заключалась в том, чтобы объяснить их архитектуру только один раз, одним набором слов, а вам оставалось искать подсказки, чтобы построить полную картину. Когда вы записываете какую-то вещь, у вас в голове есть полная концепция, и часто может показаться, что достаточно просто дать ей одну формулировку; одна проекция более низкого измерения, так сказать. Но для человека, который совершенно не знаком с вашей идеей, одного кадра может быть недостаточно; он может не сказать им, что ново, что актуально; вы могли просто использовать сбивающий с толку термин в своем первом объяснении и исправить его за секунду. Объединение слегка ортогональных версий чего-либо вместе - фундаментальная стратегия практики машинного обучения; это также должно лежать в основе объяснений машинного обучения.

Список резюме

Если какие-либо идеи, которые я рассмотрел в этих резюме, представляют собой то, что вы хотите изучить, я бы хотел, чтобы вы прочитали их и дали мне знать, что было полезно, что сбивало с толку и, в целом, какие отзывы вы есть на моем подходе. Следуя традициям сообщества, одержимого градиентным спуском, лучший способ учиться - это получать четкую обратную связь!

  • Зал славы ImageNet [3 сообщения]
    (ResNet, Inception и DenseNet)
  • Машинный перевод [4 сообщения]
    (Перевод с использованием одноязычных корпусов и роль внимания в современных моделях перевода)
  • Генеративные модели [5 сообщений]
    (Variational AutoEncoders, GANs, PixelCNN, WaveNet)
  • Теория [4 сообщения]
    (Capsule Networks, Generalization Theory, Bayesian DL)
  • Обучение с подкреплением [8 сообщений]
    (Моя попытка освоить RL, от основ до приоритетного воспроизведения и обучения Double Q, до Alpha Go Zero)
  • Безопасность и полунадзор [4 сообщения]
    (лестничные сети, быстрое обучение, состязательные примеры, безопасность искусственного интеллекта)