Давно хотел об этом написать. Пробуждение от праздничного сна кажется идеальным временем, чтобы справиться с ним.

Большинство из нас изучали законы движения Ньютона в какой-то момент школьного обучения. Однако, когда он впервые сформулировал эти законы, им пришлось пройти через академическую строгость. Процесс: ученые по всему миру проверяют их, следя за тем, чтобы они не терпели неудачу на краях (то же самое относится к исчислению). Лишь бы отклониться на секунду:

Насколько хорош Ньютон?

*Законы движения. Исчисление. Мурашки по коже.

Есть определенные визуализации, которые дополняют эти идеи; движение снаряда, маятник, совершенные объекты, совершенная передача импульса и т. д.

Бенжио в интервью недавно заявил, что его цель по отношению к глубокому обучению — установить набор законов для предмета. Я думаю, он утверждает, что мы все еще пытаемся понять и открыть для себя, «как» что-то делать. Здесь, я думаю, он имеет в виду, что методы, позволяющие потреблять данные из того, что у нас есть, все еще находятся в стадии разработки, и модели могут эффективно учиться.

Я начал свой путь в области машинного обучения в 2014 году. В 2017 году я заявил об изучении области глубокого обучения с определенной строгостью. Следующая визуализация в теме линейной алгебры была очень важной.

Визуализация вокруг следующего утверждения:

y = xW

Линейное преобразование. Базовая нейронная сеть представляет собой стек линейных преобразований с примененной к ней нелинейностью. Источники, в которых я нашел эти визуализации, следующие:

  1. Суть линейной алгебры: Это серия видео/лекций блестящего канала 3Blue1Brown. Серия охватывает визуализацию линейных преобразований и многое другое. Я настоятельно рекомендую пройти всю серию, так как многие инновации в глубоком обучении происходят вокруг концепций, изучаемых в этой серии. Помимо возможности визуализировать линейные преобразования, серия исследует визуализацию собственных значений и собственных векторов. Визуальное понимание этих концепций дает глубину для понимания, например, что означает иметь спектральный радиус, близкий к 1 (это из статьи Bengio et. al' Сложные для обучения RNN) .
  2. Нейронные сети, коллекторы и топология: это запись в блоге Криса Колаха, специалиста по глубокому обучению в Google. Его блог был упомянут в обзорной статье Deep Learning Hinton et al (что довольно круто). В этом сообщении блога снова исследуется, как выглядят линейные преобразования. Интересная идея, которая исследуется здесь, заключается в том, что в контексте классификации цель глубокого обучения состоит в том, чтобы сделать точки данных линейно разделимыми. Данные в своей первоначальной форме не являются линейно разделимыми. То, что мы хотим, чтобы модель обучила, — это набор весов, которые при использовании в стеках линейных преобразований (с применением нелинейности сверху) могут сделать данные линейно разделимыми.