Публикации по теме 'backpropagation'


Обратное распространение! Распространение информации обратно к вам!
Обратное распространение! Распространение информации обратно к вам! Чтобы открыть мистический черный ящик обратного распространения ошибки для новых энтузиастов машинного обучения, я создал эту короткую аналогию. Если использовать повседневную аналогию, мы рассмотрим приготовление вашей любимой еды!! Чтобы приготовить любимую еду, вам понадобятся ингредиенты. Чтобы получить/купить ингредиенты, вам понадобятся деньги. Сумма денег, которую вы готовы потратить (бюджет), влияет на..
Обратная интуиция
Точно так же, как HTML является базовым языком для изучения веб-разработки, обратное распространение также является основным алгоритмом для изучения глубокого обучения. Одна из лучших интуиций для изучения алгоритма обратного распространения выглядит следующим образом: Представьте, что вы находитесь в экзаменационном зале, и ситуация такова, что вы не отработали некоторые понятия, которые преподавались в классе. К счастью, вам удается тайно спросить окончательный ответ на вопрос у вашего..
Вывод обратного распространения с помощью кросс-энтропии.
Чтобы понять алгоритм обратного распространения, нам сначала необходимо понять некоторые основные концепции, такие как частичные производные, цепное правило, потеря кросс-энтропии, сигмоидальная функция и функция Softmax. Предполагая, что мы уже передали входы, чтобы получить некоторые выходы на последнем слое Y, нам нужно будет вычислить функцию потерь E и распространить потери на все предыдущие слои, изменив веса, связанные с каждым из слоев. Зная кросс-энтропийную потерю E и..
Обратное распространение нейронных сетей с нуля!
На создание этой статьи меня вдохновил Андрей Карпати . Я настоятельно рекомендую просмотреть приведенный ниже плейлист. Так как это самое пошаговое объяснение Back Propagation и обучения нейронных сетей. Обратное распространение: Это метод расчета градиента функции потерь по отношению к весам нейронной сети. Обратное распространение  – это способ вычисления градиентов выражений посредством рекурсивного применения цепного правила . Что оно делает ? Он используется для точной..
Что такое нейронная сеть?
Введение Привет всем, сегодня я хочу объяснить, что такое нейронная сеть (NN), основная причина в том, что многие люди слушают о NN, но не знают, что это такое, как он работает и его назначение. Это история для таких людей или для новичков в этой области ИИ, которые сомневаются в концепции НС. Нейронная сеть — это структура, которая пытается смоделировать биологическую структуру нейронов и их назначение, получить информацию о стимуле (получить данные в случае NN), передать эту информацию..
Как работают нейронные сети?
Поскольку нейронные сети меняют мир, я подумал, что было бы неплохо начать изучать их и рассказывать другим об этих влиятельных системах. В этой статье вы узнаете: Как нейронные сети могут делать прогнозы с помощью метода прямой подачи Важность функции потерь Как нейронные сети учатся через обратное распространение Как закодировать как метод прямой подачи, так и метод обратного распространения в Python, используя базовый пример Чтобы получить базовое представление о математике,..
Обратное распространение и проблема исчезающего градиента в RNN (часть 2)
Как это уменьшается в LSTM В части 1 этой серии мы рассмотрели обратное распространение в модели RNN и объяснили как формулами, так и численно показали проблему исчезающего градиента в RNN. В этой статье мы собираемся объяснить, как мы можем частично решить проблему исчезающего градиента с помощью LSTM, даже если он не исчезает полностью и с очень длинными последовательностями проблема все еще сохраняется. Мотивация Как мы видели в части 1 этой серии, ванильная RNN хранит..