В последние годы машинное обучение добилось невероятных достижений, особенно благодаря методам, использующим искусственные нейронные сети (например Go). Кроме того, несмотря на то, что методы нейронных сетей заведомо темпераментны, существует большая уверенность в том, что коннекционистская парадигма продолжит собирать трофейные победы. Тем не менее, в сообществе искусственного интеллекта все усиливается голос, который ставит под сомнение силу текущих методов для достижения цели человеческого общего интеллекта по ряду задач (см.). Прогрессивные нейронные сети могут пролить свет на эту проблему, но находятся в зачаточном состоянии. Здесь я утверждаю, что, как известно, только один алгоритм ведет к открытости, необходимой для обобщенного интеллекта, - естественный отбор. Чтобы спросить, является ли машинное обучение открытым, я сравниваю логику естественного отбора и машинного обучения, чтобы получить идеи, которые могут помочь отточить будущие исследования.

Основа неограниченной эволюции

В биологической теории есть только одна творческая сила, способная обеспечить неограниченную эволюцию - естественный отбор (NS). (Я подробно изложил аргумент, стоящий за этим пунктом в другом месте, если вам интересно, откуда взялось это утверждение.) Хотя первоначальное описание Дарвина NS было с явной ссылкой на такие особенности современной биологии, как организменность, поколения, пол и т. Д. После этого наметилось растущее движение Универсального дарвинизма, которое пришло к тому, что NS стал нейтральным к субстрату (например Dawkins 1976, Dennett 1995 и т. д.). Таким образом, NS можно рассматривать как алгоритм оптимизации производительности.

Таким образом, математика, которая используется для описания NS, может эквивалентно моделировать истинное обучение (Плоткин, 1995). Хотя NS обычно используется в отношении эволюционных изменений, которые происходят в генах между поколениями, отбор также может описывать процесс обучения, который происходит в мемах внутри человека. Здесь есть три квалифицирующих утверждения: i) мемы не обязательно должны быть репликаторами, потому что их существование может быть ограничено одним разумом (например Munz 1994), ii) мемы, вероятно, очень мало похожи на гены, но это не меняет применимости NS (например Barkow et al. 1992), и iii) не все изменения в поведении связаны с обучением, потому что управляемая пластичность сводится к норме реакции лежащих в основе генов ( например Dennett 2017; хитрый момент, так что смотри). Только мемы обеспечивают путь к истинному обучению, потому что они являются независимыми объектами наследования. Таким образом, организмы, которым обычно приписывается меметическая наследственность, ограничиваются людьми, отдельными человекообразными обезьянами и, возможно, некоторыми другими распространенными видами врановых и китообразных.

Качества NS, которые позволяют ему вести к неограниченной эволюции генов или мемов, горячо обсуждаются на протяжении многих лет. Фундаментальная проблема заключается в том, что NS в равной степени применимо к химической эволюции, как и к биологической, поэтому должна быть какая-то особенность биологических объектов, которая позволяет их NS иметь неограниченные возможности (например Cairns- Смит 1985). Другими словами, в алгоритме NS нет оснований для неограниченной эволюции. Эта проблема была признана в сообществе эволюционной биологии и в настоящее время исследуется в рамках концепции основных переходов.

Каркас основных переходов можно рассматривать как попытку обратиться к проблеме биологической сложности. Когда Уильямс (1966) и Докинз (1976) представили теорию эгоистичных генов, они подчеркнули бессмысленность биологической организации. Если каждый ген эгоистичен, почему они живут в обществе генов в геноме? Ожидается, что гены столкнутся с проблемами сотрудничества, такими как дилемма заключенного, которая оставляет генное общество открытым для разорения внутренним конфликтом, ведущим к трагедии общества. И все же Мейнард Смит и Сзатмари указали, что биологическая организация кажется почти исключительно необратимой. Они предположили, что расширение генного общества происходит за счет небольшого числа крупных переходных событий, которые преодолевают проблему сотрудничества и создают препятствия для реверсии. Результатом является храповой процесс, который увеличивает биологическую сложность.

Таким образом, эволюционная теория связала неограниченную эволюцию со способностью биологических объектов претерпевать серьезные изменения. Основные переходы по-прежнему являются горячей областью исследований, и на этот вопрос еще предстоит получить согласованный ответ. Я ранее пытался объяснить процесс основных переходов как процесс рефлексивной эволюции между субъектами и объектами НС. Субъект - это агент, максимизирующий приспособленность, такой как организм, в то время как объект - это единица наследования, такая как ген. Субъект возникает из коллективного поведения объектов, а это означает, что субъект представляет собой компромисс конфликтующих эгоистических интересов. В свою очередь, субъект взаимодействует с окружающей средой, чтобы вернуть своим объектам приспособленность. Однако задача субъекта неоднозначна, поскольку он может разделять объекты с другими субъектами и, следовательно, иметь общие интересы с другими.

Ключевой вопрос заключается в том, как субъект знает, как вернуть пользу своим объектам? Поскольку другие субъекты могут содержать те же объекты, что и он сам, чистый эгоизм потерпит неудачу, потому что он приведет к поведению, которое вредит приспособленности его объектов через других субъектов. В то же время чистый альтруизм также потерпит неудачу, потому что он будет способствовать эгоистическому поведению других. Формирование определенных групп обычно является хорошей идеей, потому что это ограничивает проблему небольшого числа субъектов, относительно которых легче принять решение по общим объектам. Именно эта группа может затем претерпеть серьезный переход, когда выгоды от облигатного формирования группы (например, разделения труда) перевешивают издержки пребывания за пределами группы и становятся слишком неблагоприятными. В результате субъект расширяется, превращаясь в группу, и, следовательно, количество объектов и сложность взаимодействий с каждым субъектом увеличивается.

Хотя мое описание обязательно является неполным и требует дальнейшего разъяснения, критический вывод заключается в том, что основные переходы зависят от разделения между субъектами и объектами. Как это отражается на алгоритмах машинного обучения?

Есть ли в машинном обучении предметы и объекты?

Если бы мы представили концепцию разделения между субъектом и объектом в сети, мы могли бы описать отдельный узел как объект, а субъект как относительно отдельный модуль в сети. У субъекта будет много сильных внутренних связей с небольшим количеством узлов, соединяющих другие части сети. Однако эта интерпретация, несмотря на ее интуицию, имела бы смысл при использовании избирательного алгоритма, но не алгоритма машинного обучения. Логика сводится к четырем пунктам:

1. В принципе, между NS и многими алгоритмами машинного обучения нет отличий

И NS, и многие алгоритмы машинного обучения являются методами оптимизации. В постоянной среде оба испытывают изменение в сторону оптимального положения дел. Некоторые биологи-эволюционисты и ученые-информатики утверждают, что популяционный подход к оптимизации уникален для алгоритмов, основанных на NS. На мой взгляд, я не вижу причин, по которым статистические свойства популяций не могут быть смоделированы таким образом, чтобы убрать популяционный компонент. В самом деле, существуют эволюционные модели НЗ, которые делают именно это. В результате, я думаю, более важно понять, что между NS и оптимизацией нет ничего особенного. Однако способы их реализации могут отличаться.

2. Под NS, объекты максимизируют приспособленность, но узлы ничего не максимизируют

В организме ген можно назвать эгоистичным, потому что он выбран так, чтобы максимизировать его приспособленность, даже если он приобретает эту приспособленность посредством взаимодействия с другими генами. Это может привести к конфликту генов с другими генами в геноме, но этот конфликт разыгрывается как конкуренция между аллелями, происходящая в определенном локусе генома. Как бы то ни было, локус - это место в геноме, все, что может измениться, - это то, кто сидит в этом месте. Например, когда в первом локусе эволюционирует мутантный ген, который наносит вред остальной части генома к своей собственной эгоистической выгоде (например, зеленая борода), он выбирает модифицирующий аллель в другом локусе, чтобы подавить изменение. Не ожидается, что генофонд для первого локуса будет отбираться против этого локуса. Таким образом, невидимая рука организует генетическую сеть, в которой гены действуют в своих собственных интересах и, попутно, приносят пользу остальной части генома.

Искусственные нейронные сети не работают через невидимую руку. Нет никакого смысла думать, что узел что-то максимизирует. Вместо этого сеть в целом максимизирует выполнение своих задач. Проблема не в том, что свойства узла определяются тем, как вся сеть взаимодействует с окружающей средой (то есть с игрой и т. Д.), Поскольку это то, что субъекты делают в природе, а в том, что узлы являются частью фиксированной архитектуры. В природе локус может стать нефункциональным, если вредные мутации поддерживаются NS, но в искусственных нейронных сетях этого не происходит. Фактически, есть целое искусство выбора сетевых ограничений, включая количество узлов, расположение узлов по слоям и так далее, что требует предусмотрительности. Это полностью отличается от слепого процесса отбора.

3. Узлы в сетях машинного обучения кодируют объекты, но не являются объектами сами по себе

Идея о том, что сеть кодирует объекты, непроста. Давайте на мгновение рассмотрим гены. Гены кодируются ДНК, которая находится на линейной строке, но они взаимодействуют друг с другом, создавая функции за счет сложных сетей экспрессии, которые не отображаются на линейной структуре кодирования. Точно так же сеть не должна отображать объекты обучения. С этой проблемой столкнулись в молодой науке меметики, где физическая основа мема представлена ​​идиосинкразическим набором нейронных связей в чьем-то мозгу. Эти нейронные связи и многие другие конфигурации нейронных связей кодируют мем-объект. Точно так же узлы в сети машинного обучения не являются объектами, но они кодируют объекты.

4. Сети машинного обучения - неэффективные кодировщики объектов

В современных прогрессивных нейронных сетях, которые находятся в зачаточном состоянии, одна сеть может получить интуицию, играя в одну игру, а затем применить эту интуицию в другой игре, чтобы увеличить скорость оптимизации производительности. Однако сеть делает это за счет формы пластичности, потому что выполнение существующей задачи ухудшается в процессе обучения игре в новую игру. Это вызывает беспокойство, потому что это означает, что в сети очень мало объектов, так что запуск новой игры обязательно означает перезапись объектов, которые были выбраны для предыдущей задачи. Такая перезапись явно сильно отличается от человеческого интеллекта, когда игрок может независимо поддерживать свою компетентность в нескольких играх. Кроме того, если такой перезаписи не происходит, вся процедура жестко запрограммирована, чтобы избежать забывчивости. Здесь еще предстоит пройти долгий путь.

Открытое машинное обучение?

Как биолог-эволюционист, меня беспокоят возможные пределы, до которых можно подтолкнуть современные методы машинного обучения. Очевидно, будет ли полезен подход, основанный на NS, зависит от вашей цели. Если вы хотите, чтобы машина действительно хорошо играла в Atari, я думаю, что DeepMind убедительно продемонстрировали сверхчеловеческие способности. Однако, если вам нужна машина, обладающая своего рода биологическим «универсальным» интеллектом, то я думаю, что целесообразно рассмотреть i) насколько ограничено количество биологических «разумов» своей конкретной нишей и ii) отличительные черты редких случаи открытого обучения (в более широком контексте универсальности открытого развития). У меня есть два предварительных предложения для будущих исследований. Во-первых, расслабляющие методы, позволяющие сетевым архитектурам быть более гибкими, могут позволить сетям быть более креативными; в удалении структур слоев, чтобы разрешить любые виды связи между узлами, разрешить создание / исчезновение узлов и разрешить внутренний выбор сетевых констант. Во-вторых, если узлы превращены в явные объекты, которые максимизируют что-то в выборочной среде, это может улучшить работу сети. Будет ли это так, я все еще не уверен, но, несмотря на это, это даст возможность быть более уверенным в том, что методы находятся на пути к открытому обучению, потому что NS достигли открытого обучения в природе. Кроме того, существует огромное количество экономической, физической и биологической литературы о самоорганизующихся свойствах невидимой руки, которая может помочь охарактеризовать структуры, обнаруженные внутри «черного ящика», способами, которые могут позволить их прояснить.

Спасибо за прочтение! Если у вас есть какие-либо комментарии, я был бы рад их услышать, поскольку это вопрос, о котором я чувствовал себя обязанным написать, не имея каких-либо твердых ответов. Я думаю, что действительно трудно сказать, будет ли машинное обучение способно к открытому обучению (как определено), но я подозреваю, что существующих методов недостаточно. Проблема открытых методов, кажется, начинает оцениваться, а не предполагаться, что приводит к некоторым изобретательским методологиям. В общем, будущее выглядит захватывающе!