Публикации по теме 'backpropagation'
Изучите кодирование нейронной сети на C#: метод обратного распространения — Часть 2
Этот пост является продолжением реализации техники обратного распространения в проекте C#. https://www.tech-quantum.com/learn-coding-neural-network-in-c-the-backpropagation-technique-part-1/ .
Если вы не знаете, с чего начать, пожалуйста, сначала прочитайте этот пост .
В последнем посте мы реализовали обратный метод для слоев и функции активации. Напомним, что метод обратного распространения реализуется путем нахождения частной производной уравнения, реализованного в прямой функции...
Градиентный спуск для обывателя
Градиентный спуск - это итерационный оптимизационный алгоритм первого порядка для нахождения минимума функции. Чтобы найти локальный минимум функции с помощью градиентного спуска, нужно сделать шаги, пропорциональные отрицательному градиенту (или приблизительному градиенту) функции в текущей точке. Если вместо этого делать шаги, пропорциональные положительному градиенту, он приближается к локальному максимуму этой функции; эта процедура известна как подъем по..
Основы нейронных сетей
Вы можете скачать полный исходный код здесь
Если вы похожи на меня, изучение нейронной сети может быть довольно запутанным. Как любопытный человек, который просто хочет увидеть эту так называемую нейронную сеть в действии. Материалы в Интернете о нейронных сетях могут быть настолько запутанными (слишком математическими или слишком много кода). Так что я решил извлечь максимум из обоих. Научите вас тому, что вам нужно, чтобы начать разработку нейронных сетей.
Давайте построим..
Простое объяснение линейных слоев
Часть серии о разных типах слоев в нейронных сетях.
Многие люди воспринимают нейронные сети как черную магию. У всех нас иногда есть склонность думать, что за архитектурой нейронной сети нет никакого объяснения или логики. Мы хотели бы верить, что все, что мы можем сделать, это просто попробовать случайный выбор слоев, добавить к нему некоторую вычислительную мощность (графические процессоры / TPU) и просто лениво ждать.
Хотя не существует строгой формальной теории о том, как..
Нейронная сеть — обратное распространение
Нейронная сеть — обратное распространение
подробное объяснение, основанное на простом учебном примере
Имея следующий простой обучающий набор (состоящий только из одной записи данных):
объем контролируемого процесса обучения вышеупомянутой нейронной сети состоит в том, чтобы просто сопоставить (насколько это возможно) вывод с заданной целью, регулируя веса персептронов:
Это внутренний механизм черного ящика «нейронной сети» выше:
E — функция ошибки, которая..
О переносимой реализации Gradient Backprop для сверточных слоев
В предыдущей статье я попытался описать, шаг за шагом, от краткого к более сложному, реализацию слоев свертки нейронной сети, которая достаточно хорошо работает на самых разных графических устройствах от разных поставщиков с разными архитектурами. Обоснованием для этого было то, что во многих приложениях, помимо достаточного уровня производительности, гибкость для быстрого развертывания новых решений на различных платформах является более ценной, чем получение немного большей скорости с..
Обратное распространение в простых терминах
Когда я узнал о нейронных сетях (NN), я изо всех сил пытался понять, что делает обратное распространение и почему это имеет смысл. Этот пост является продолжением истории Демистификация нейронных сетей . Итак, если вы не знаете, что такое градиентный спуск и что такое прямое распространение, я бы порекомендовал это проверить.
Почему нас волнует обратное распространение ошибки?
Мы заботимся об обратном распространении, потому что именно так обучаются нейронные сети! В частности, вот..
