Искусственная нейронная сеть и машинное обучение стали горячими темами в популярных СМИ. Идея интеллектуальных машин захватывает воображение многих, особенно то, как их можно сравнить с людьми. В частности, один фундаментальный вопрос, который, кажется, часто возникает, касается механизмов, лежащих в основе интеллекта - действительно ли эти искусственные нейронные сети работают как нейроны в нашем мозгу?

Tl; Dr:

Нет. Хотя высокоуровневое и концептуальное мышление ИНС (искусственных нейронных сетей) вдохновлено нейронами и нейронными сетями в мозге, реализация этих концепций в машинном обучении значительно отличается от того, как работает мозг. Более того, по мере развития области машинного обучения с годами и разработки новых сложных идей и методов (RNN, GAN и т. Д.) Эта связь еще больше ослабла.

Ключевые сходства

Архитектура высокого уровня и общие принципы полносвязных сетей с прямой связью. На высоком уровне нейрон мозга состоит из трех компонентов:

  1. Дендриты (механизм ввода) - древовидная структура, которая получает ввод через синаптические соединения. Входной сигнал может быть сенсорным входом от сенсорных нервных сигналов или «вычислительным» входом от других нервных клеток. Одна ячейка может иметь до 100K входов (каждый из разных ячеек).
  2. Сома (механизм расчета) - это тело клетки, в котором собираются входные данные от всех дендритов, и на основе всех этих сигналов принимается решение, запускать ли выходной сигнал («спайк»). . Это немного обобщение, поскольку некоторые вычисления уже происходят до сомы и закодированы в дендритной структуре клетки.
  3. Аксон (механизм вывода) - после того, как было принято решение запустить выходной сигнал (что сделало клетку активной), аксон является механизмом, который передает сигнал, и через древовидную структуру, как на своем конце он передает этот сигнал дендритам следующего слоя нейронов через синаптическое соединение.

Точно так же в ИНС есть эквивалентная структура:

  1. Входящие соединения - каждый нейрон получает набор входных данных либо от входного слоя (эквивалент сенсорного ввода), либо от других нейронов на предыдущих уровнях сети.
  2. Линейный расчет и функции активации - они «суммируют» входные данные и принимают нелинейное решение, активировать ли нейрон и сработать.
  3. Выходные соединения - они доставляют сигнал активации нейрона на следующий уровень в сети.

Аналогичным образом, сверточные нейронные сети были вдохновлены визуальным путем. Приятно то, что изначально источником вдохновения была архитектура (небольшие ядра / фильтры, которые реагируют на определенные формы или узоры и применяются к небольшой области за раз). Однако годы спустя, когда исследователи ML разработали новые методы визуализации скрытых слоев CNN, было обнаружено, что представление изображений в CNN очень похоже на то, что происходит в зрительной коре головного мозга. То есть иерархическое представление - начиная с простых шаблонов на первом уровне, которые затем объединяются в сложные формы и объекты на более глубоких уровнях.

Пластичность - одна из уникальных характеристик мозга, и ключевой особенностью, которая позволяет обучаться и запоминать, является его пластичность - способность трансформироваться и меняться. В зависимости от опыта создаются новые синаптические связи, старые исчезают, а существующие связи становятся сильнее или слабее. Пластичность даже играет роль в отдельном нейроне, влияя на его электромагнитное поведение и его склонность вызывать всплеск реакции на определенные входные сигналы.

Эта идея пластичности является ключевым принципом в обучении ИНС - итеративное изменение весов параметров сети на основе пакетов входных данных. Недавно область метаобучения расширила использование пластичности в ИНС за пределы параметров и применила ее для изменения гиперпараметров или даже всей модели, которая оптимизирована для решения данной проблемы.

Ключевые различия

Сложность и надежность нейронов головного мозга намного выше и мощнее, чем у искусственных нейронов. Речь идет не только о количестве нейронов и количестве дендритных соединений на нейрон, которые являются порядками величины того, что мы имеем в современных ИНС. Но это также связано с внутренней сложностью отдельного нейрона: как подробно описано ниже, химические и электрические механизмы нейронов гораздо более детализированы и надежны по сравнению с искусственными нейронами. Например, нейрон не изоэлектрический - это означает, что разные области клетки могут иметь разный потенциал напряжения и разные токи, протекающие через них. Это позволяет одному нейрону выполнять нелинейные вычисления, выявлять изменения во времени (например, движущийся объект) или сопоставлять параллельные различные задачи с разными дендритными областями, так что клетка в целом может выполнять сложные составные задачи. Все это гораздо более продвинутые структуры и возможности по сравнению с очень простым искусственным нейроном.

Реализация - нейроны в головном мозге реализованы с использованием очень сложных и тонких механизмов, которые позволяют выполнять очень сложные нелинейные вычисления:

  • химическая передача сигналов между нейронами в синаптической щели с помощью нейротрансмиттеров и рецепторов, усиленная различными возбуждающими и тормозными элементами.
  • Возбуждающий / тормозной постсинаптический потенциал , который наращивается до потенциала действия, основанный на сложной логике интерференции временных и пространственных электромагнитных волн.
  • Ионные каналы и незначительная разница в напряжении, управляющая запуском спайков в соме и вдоль аксона
  • Многое из того, чего мы еще не понимаем ...

По сравнению с ними параметры, веса, линейные функции и функции активации, которые используются в ИНС, являются очень простыми и грубыми.

Вдобавок ко всему, общая сетевая архитектура нейронов мозга намного сложнее, чем у большинства ИНС. В частности, ваша обычная сеть прямого распространения по соседству, где каждый уровень связан только с предыдущим и следующим уровнями. Но даже по сравнению с многослойными РНС, или остаточными сетями, сеть нейронов в мозге до смешного сложна, с десятками тысяч дендритов, пересекающих «слои» и регионы во многих направлениях.

С другой стороны, очень маловероятно, что мозг использует такие методы, как Обратное распространение, используя правило цепочки над частными производными функции ошибок .

Энергопотребление - мозг - чрезвычайно эффективная вычислительная машина, потребляющая порядка 10 Вт. Это примерно треть энергопотребления одного процессора ...

Новые разработки - GAN, RL, RNN,… - существует постоянный поток новых идей и инноваций как в теоретическом, так и в прикладном ML. Они больше не укоренились в мозгу. Они могут быть вдохновлены этим или человеческим поведением, но во многих отношениях исследования и работа по машинному обучению теперь живут своей собственной жизнью - преследуя свои собственные проблемы и возможности.

Мозг как постоянное вдохновение

Несмотря на все перечисленные выше различия, исследования машинного обучения продолжают ссылаться на мозг как на источник вдохновения, поскольку он намного надежнее и эффективнее всего, что у нас есть. Таким образом, выявление этих пробелов и изучение того, как они работают в мозге, послужили толчком для некоторых из самых захватывающих и сложных недавних исследований машинного обучения. Например:

  • Энергоэффективность. Как уже отмечалось, мозг имеет на порядки больше нейронов и соединений, чем любая построенная нами ИНС, но при этом потребляет на порядки меньше энергии. Есть активные области исследований, пытающихся достичь этого. От биологических сетей, использующих ДНК и другие молекулы, до «нейроморфных» электронных переключателей, которые пытаются имитировать работу нейронов и синапсов.
  • Обучение на очень небольшом наборе обучающих примеров - скорее всего, с помощью некоторых встроенных моделей, которые позволяют «интуитивно» понимать физические законы, психологию, причинно-следственные связи и другие правила, которые управляют принятием решений и действиями на Земле. . Они ускоряют обучение и направляют предсказания / действия по сравнению с текущими общими архитектурами NN tabula-rasa.
  • Раскрытие возможностей обучения без учителя и обучения с подкреплением - обучение без учителя и обучение с подкреплением - это «темная энергия» ИИ. Как и в физике, где черная энергия составляет подавляющую часть нашей Вселенной, но мы очень мало о ней знаем, ясно, что наш мозг в основном учится без учителя и обучения с подкреплением. Тем не менее, в большинстве современных приложений машинного обучения используется обучение с учителем. Разблокировка этой головоломки имеет решающее значение для создания машин, которые могут учиться, как люди.
  • Новые подходы и архитектуры. Например, см. Статью в Quanta Magazine о том, как неврологические системы, лежащие в основе обоняния, могут вдохновить на новый подход машинного обучения к набору проблем, с которыми мы плохо справляемся, используя существующие подходы: Новая стратегия искусственного интеллекта имитирует то, как мозг учится нюхать. .

Наконец, это, конечно, никоим образом не исчерпывающий ответ, и очевидно, что есть еще много сходств и различий, которые я не охватывал. Например, это короткое отличное выступление Блейка Ричардса из Торонто, который дает свежий и уникальный взгляд на принципиальное сходство между мозгом и глубоким обучением. Но послушайте, это пересечение двух самых увлекательных, сложных и быстро развивающихся областей исследований нашего времени - так что ожидайте большего!

Tom Kuegler Подписаться

Участник миссии. 25. Опубликовано в Каталоге мыслей. YouTuber. Туристический блогер. Получите мой бесплатный 5-дневный средний курс по электронной почте → http://bit.ly/2olDN4V

1 октября

Вы должны понять это, прежде чем пробовать что-то новое

Я помню, как впервые взял свой Canon 70D для видеоблога.

Это было очень странно.

Люди определенно снимали мои образы, чтобы я разговаривал в камеру, но это было не поэтому странно.

Это было странно, потому что я не знал, что делаю.

У меня есть строгий набор процессов для открытия Medium и написания части контента, но для видео у меня нет.

Это было похоже на то, что тебя толкнули в бассейн, не зная, как плавать.

Я изо всех сил старался справиться с ударами и понять эту новую форму искусства, но по большей части я был довольно потерян.

И я любил каждую секунду этого.

Позволь мне объяснить.

Ничего не ожидайте, когда только начинаете

Мне было очень сложно «освоить» ведение блога.

Это требовало / требует безумного количества исследований.

Кстати, обычно я исследую вещи так…

  1. Стремитесь узнать о чем-то побольше.
  2. Осознайте 10 минут, что есть еще 5 вещей, которые вам нужно изучить, прежде чем вы сможете должным образом исследовать то, что вы только что исследовали.
  3. Потратьте два часа на изучение одной из этих вещей.
  4. Выдергивайте волосы, потому что вам кажется, что вы ни к чему не пришли.

Затем вы должны вернуться на следующий день, чтобы погрузиться в остальные четыре вещи.

Экспертиза приходит только после того, как мы открываем около 1000 матрешек (тех, где одна внутри одной внутри одной внутри одной).

Конечно, вы хотите быть блогером, влогером или каким-нибудь художником.

Но чтобы стать блоггером, вы должны овладеть МНОЖЕСТВОМ разных вещей, о которых вы даже не подозревали, были частью уравнения.

Примерно через 10 минут моего небольшого путешествия по видеоблогу несколько месяцев назад я понял, что мои видео за первый месяц, вероятно, будут отстойными.

Мне нужно заново познакомиться с Premiere Pro, освещением, монтажом, съемкой и раскадровкой. Не говоря уже о том, что мне нужно УЗНАТЬ, что движет совершенно новой платформой - YouTube.

Неужели я действительно ожидал, что к концу первого месяца у меня будет 1000 подписчиков?

Точно нет. Это подводит меня к следующему пункту ...

Дело не в числах, а в обучении

В первый день работы с Premiere Pro я научился снимать замедленное видео. На следующий день после этого я узнал о диафрагмах, выдержке и значениях ISO на моей камере.

Да, я чувствовал себя величайшим новичком всех времен, но я должен верить в свои способности как режиссера (способности, которыми я обладал в старшей школе), чтобы пройти через это.

Каждый божий день я узнаю что-то новое.

Это прогресс.

Это прогресс в достижении цели, которую я в конечном итоге хочу достичь - когда-нибудь в среднем 1000 просмотров на видео на YouTube.

Празднуйте обучение, а не числа.

Поначалу цифр там НЕ БУДЕТ, но они появятся, если вы сосредоточитесь на обучении и совершенствовании.

Это чертовски уверенность.

И еще кое-что ...

Наш профессиональный уровень со временем увеличивается в геометрической прогрессии

Скажем, я провел первые 3 месяца, сося на YouTube (я сделал - но теперь, 6 месяцев спустя, у меня 1600 подписчиков).

Хорошо.

Даже если бы у меня был отстой на YouTube (а я сделал это), у меня, вероятно, появилось бы небольшое количество подписчиков в 100–200 человек, верно? Если бы я публиковал 20 видеороликов в месяц в течение 3 месяцев (60 видеороликов), я думаю, что получить от этого 100–200 подписчиков было бы довольно реалистично (и я это сделал).

Довольно часто можно промахнуться, но они ОПРЕДЕЛЕННО не промахнутся 60 раз.

Что-то действительно забавное начинает происходить примерно в 3-4 месяца, когда вы действительно начинаете попадать в цель.

Вы начинаете никогда не скучать.

Тогда ваш контент начинает больше находить отклик.

Затем вы создаете небольшое племя людей, которое будет смотреть ВСЕ, что вы выпускаете.

Затем вы начинаете заставлять алгоритм YouTube работать в вашу пользу.

Тогда создание видео станет примерно в 50 раз проще (потому что вы разработали процесс).

Затем вы просто сидите сложа руки, создаете и продолжаете экспоненциально увеличивать свою аудиторию в течение следующих нескольких недель / месяцев / лет.

Самое странное, что это происходит вот так.

Это очень неприятно, особенно когда ты только начинаешь, и все, что ты делаешь, - отстой.

Помириться с сосанием

Мой совет - смириться с сосанием.

Вы должны понимать, что сосать - это совершенно нормально.

Да, это утомительно и утомительно - не преуспевать в чем-то и вкладывать душу в творчество, но прежде чем вы скажете, что не добиваетесь никакого прогресса, подумайте о том, что вы узнали.

Подумайте обо всем, что вы узнали.

И поймите, что вы добиваетесь прогресса. Ты.

Надеюсь, это поможет.

Хотите заработать на Medium дополнительные деньги? В среду я провожу бесплатный тренинг под названием Как заработать дополнительно 900 долларов в месяц на Medium. Получите бесплатное место прямо здесь!

Эта история опубликована в The Startup, крупнейшем предпринимательском издании Medium, за которым следят + 373 968 человек.

Подпишитесь, чтобы получать наши главные новости здесь.