Наводящий на размышления подход к выбору архитектуры нейронной сети посредством обучения с подкреплением, прекрасно объясненный Адрианом Кольером в его утреннем блоге.
(вы должны подписаться!)
Но хотя поиск использует кривизну пространства ошибок во время оптимизации, он остается в значительной степени неосведомленным о дистрибутивной природе и зависимостях проблемы, которую он пытается решить.
Кроме того, мозг, вероятно, выполняет такую оптимизацию во время обучения, но, как мне кажется, не требуя такой большой вычислительной мощности, посредством квазигомеостатического процесса. Я имею в виду гомеостатический в том смысле, что в мозгу должны действовать по крайней мере два механизма. Должно быть стремление к расширению, чтобы обеспечить определенную степень пластичности, добавляя сложность, мы позволяем встраиванию быстрее адаптироваться к нестационарности и новым стимулам. И в качестве противоположной силы должно быть стремление к упрощению, расслаблению, уменьшению сложности архитектуры, что приводит к сжатому аппроксимированному внедрению и более быстрому времени обработки.
Обратите внимание, что этот процесс сжатия может объяснить появление вложений более высокого порядка, например, изучение того, что любой топологический тор может быть чашей, но не объясняет каким-то образом «склеивание» параллельных знаний, например, изучение того, что взгляд влияет на поворот во время движения. Мотоцикл.
Алгоритмы оптимизации архитектуры в 2017 году находятся в зачаточном состоянии, но при таких темпах новые подходы 2018 года наверняка будут в 10 раз быстрее. Действительно захватывающие времена!
