Принц Патель
Введение
Машинное обучение, при котором мы хотим имитировать работу мозга, чтобы связать данные с его функциями. Идея глубокого обучения возникает из имитации работы нейрона. Глубокое обучение появилось на свет только 5 лет назад, но семена этого термина были придуманы в 1940-х годах.
В 1940 году Уолтер Питтс и Уоррен Маккалок разработали метод, получивший название TLU (пороговая логическая единица), который имитирует активацию нейрона, как в клетке мозга. Затем появилась одна нейронная сеть Фрэнка Розенблатта под названием перцептрон.
Фрэнк процитировал: «Перцептрон является эмбрионом электронного компьютера, который, как ВМФ ожидает, сможет ходить, говорить, видеть, писать, воспроизводить себя и быть в сознании. о его существовании. »
Но только Дж. Хинтон стал отцом глубокого обучения, представив концепцию / способ обучения для этих нейронов, известный как обратное распространение. Это был определенный и структурированный способ вычисления потерь и производных внутри слоя нейронов, которые будут автоматически генерироваться в соответствии с функцией потерь.
Затем мы все знаем о статье Яна Лекуна CNN (сверточная нейронная сеть), в которой он представил LeNet 5 для классификации цифр в 1990-х годах. Но и после этого не было концепции глубокого обучения из-за меньшей вычислительной мощности и отсутствия огромного количества данных.
Глубокое обучение
В 2006 году Хинтон представил сети глубоких убеждений, в которых можно узнать веса нового слоя, сохраняя параметры предыдущего слоя фиксированными. Используя эту идею, люди могли обучать гораздо более крупные сети, добавляя только слои сверху. Эта стратегия добавления слоев ввела термин «глубокое» в глубоком обучении.
GPU и данные
Благодаря сообществу геймеров, когда Nvidia выпустила CUDA в качестве инструментария для программирования многопоточной графики, они мало что знали, что та же архитектура поможет повысить производительность нейронной сети Deep. С выпуском Web 2.0 и расширением возможностей соединения во всем мире через Интернет доступность данных выросла.
Следующий
- Доступность большого и размеченного набора данных.
- Параллельные вычисления с использованием графического процессора.
- Волна новых архитектур, таких как GoogleNet, Inception Module, Resnets и др.
- Фреймворк для глубокого обучения - Caffe, Tensorflow, Caffe2, Pytorch, Torch, Theano.
- Все в Amazon, Google, Facebook используют глубокое обучение для получения огромного количества данных.
Как выжить ?
Есть только один способ оседлать эту волну глубокого обучения. Это путем постоянного обновления. Присоединяйтесь к программе Deep Learning Nanodegree от Udacity сегодня.
Об авторе | Принц Патель
Принц Патель по профессии инженер по машинному обучению.
