Публикации по теме 'backpropagation'


Нейронные сети, часть 3: нейронная сеть с прямой связью
ГЛУБОКОЕ ОБУЧЕНИЕ Нейронные сети, часть 3: нейронная сеть с прямой связью Необходимое обучение : мои предыдущие публикации о нейронных сетях часть 1 и часть 2 . Нейронная сеть с прямой связью Установите обозначения Обучение Проход вперед Проход вперед (векторизованный) Полезные производные Обратный проход Обратный проход (векторизованный) Шаг обновления Tl;Dr. Код..
Нужна ли ИИ перезагрузка?
Один из крестных отцов ИИ, Джеффри Хинтон, очень подозрительно относится к одной из фундаментальных особенностей многих архитектур ИИ: обратному распространению. Нам нужно начинать заново? Во-первых, что такое обратное распространение? Обратное распространение - это применение цепного правила. Цепное правило - это фундаментальное свойство производных (наклон касательной к кривой в определенной точке), неформально заявляющее, что производная комплексной функции - это..
Безболезненное введение в обратное распространение с градиентным спуском
Веса — это сердце обучения в нейронной сети, веса — это то, что уточняется для получения желаемого результата. Обновление веса было основным исследованием до 1970-х годов, потому что Уравнение, соединяющее выход и вход, было слишком сложным Было почти невозможно провести грубую силу с точки зрения программистов и вычислительной мощности. Данных для обучения может быть недостаточно для правильного обучения сети. Решение: градиентный спуск. Обратное распространение — это метод..
Понимание обратного распространения ошибок
Нейронная сеть с нуля для объяснения обратного распространения ошибок Введение Нейронные сети (NN), технология, на которой основано глубокое обучение, довольно популярны в машинном обучении. Я помню, как еще в 2015 году после прочтения статьи Нейронная сеть в 11 строках кода Python Эндрю Траск меня сразу же заинтересовала область искусственного интеллекта. Но попробуйте построить сеть с нуля, я считаю, что большинство людей согласятся со мной, что обратное распространение ошибок..
Мои эксперименты по замене обратного распространения ошибки при глубоком обучении (SGD) генетическим алгоритмом
В этой статье описаны эксперименты, которые я провел, чтобы заменить стохастический градиентный спуск (SGD) и обратное распространение в моделях глубокого обучения генетическим алгоритмом (GA). В качестве спойлера позвольте мне сказать, что эти ранние эксперименты не проводились даже близко к SGD. Однако в выводах я говорю об этом больше. Контекст В этой статье я воспользуюсь следующей схемой, чтобы показать основной поток, используемый сегодня при обучении моделей глубокого обучения...
Глубокое обучение: объяснение нейронных сетей с прямой связью
Нейронные сети с прямой связью также известны как Многослойная сеть нейронов (MLN). Эти сети моделей называются с прямой связью, потому что информация передается только вперед в нейронной сети, через входные узлы, затем через скрытые слои (один или несколько слоев) и, наконец, через выходные узлы. В MLN нет соединений обратной связи, так что выход сети возвращается в себя. Эти сети представлены комбинацией многих более простых моделей (сигмовидных нейронов). Примечание для..
Эволюция обратного распространения
Эволюция обратного распространения Исследования по улучшению обучения алгоритмов для повышения точности Это резюме исследования - лишь одно из многих, которые еженедельно распространяются в информационном бюллетене для ученых в области ИИ. Чтобы начать получать еженедельную рассылку , зарегистрируйтесь здесь . Еще в 1986 году Джеффри Хинтон стал соавтором статьи, посвященной методу обратного распространения. Спустя десятилетия этот подход стал одним из важнейших алгоритмов..