Статья Zaadnoordijk et al. обсуждает важность того, почему мы должны смотреть на то, как мы сами учимся на очень ранних этапах жизни, чтобы создавать неконтролируемые алгоритмы, моделирующие истинный интеллект. Алгоритмы машинного обучения следующего поколения должны черпать вдохновение из человеческого познания, чтобы полностью раскрыть свой потенциал.

Контекст

У нас есть машинное обучение (ML) уже некоторое время (в этом году ему около 59 лет), и, следовательно, мы также какое-то время пользовались его преимуществами моделирования разумного поведения. Это также вызвало большой интерес к постоянному совершенствованию. У нас были огромные прорывы в контролируемом обучении, которое является ветвью алгоритмов машинного обучения, которые обучаются с помощью очень больших наборов данных, связанных с проблемой, которую алгоритм пытается решить. Например, если вы хотите, чтобы алгоритм предсказывал, является ли изображение, которое вы показываете, кошкой или собакой, вам потребуется предоставить ему большой размеченный набор данных изображений кошек и собак. Этот набор данных поможет контролируемому алгоритму проверить, верны ли его прогнозы, и соответствующим образом скорректировать себя, чтобы попытаться быть правильным в следующий раз на этапе обучения.

Обучение с учителем — наиболее известный способ решения задач машинного обучения, и до сих пор оно было весьма впечатляющим. Одна из проблем обучения с учителем, которую вы, возможно, уже заметили, заключается в необходимости больших помеченных наборов данных. Эти наборы данных требуют огромного количества человеко-часов для маркировки, что может быть довольно дорого, особенно если данные относятся к нишевой области, такой как патология или геномные последовательности.

Именно эту проблему решает ветвь алгоритмов неконтролируемого обучения. Этот набор алгоритмов не нуждается в предварительно размеченных данных для начала обучения. Их секрет успеха заключается в том, что они анализируют и находят закономерности между каждой точкой данных и объединяют их в классы на основе внутреннего сходства. изображение и используйте его, чтобы сформировать два кластера — один для собак и один для кошек, не зная, какой из них какой. Эти алгоритмы намного дешевле в обучении, поскольку не требуют маркировки. Хотя неконтролируемое обучение преодолевает затраты на маркировку данных, оно страдает от низкой точности, поскольку оно непрозрачно или непротиворечиво в том, как формируются кластеры в данных.

Теперь давайте перейдем к сути этой статьи и поговорим о детях, как обещано в заголовке. Из-за продолжительной зависимости от обучения с учителем и его высокой стоимости исследователи стали с гораздо большим интересом относиться к обучению без учителя. Кроме того, многие когнитивные нейробиологи и другие специалисты в области ИИ, гоняющиеся за «истинным интеллектом», не требующим больших наборов данных, также обратили свои взоры на неконтролируемое обучение. В конце концов, мы не приходим в мир с требованием большого и тщательно отобранного набора данных, чтобы начать демонстрировать интеллектуальное поведение. На самом деле оказалось, что изучение того, как учатся младенцы, может быть просто ключом к тому, чтобы еще на один шаг приблизиться к воссозданию «истинного интеллекта» с помощью неконтролируемых алгоритмов.

Почему младенцев?

Вот тут-то и появляется Статья Zaadnoordijk et al.’s Perspective Nature. Машинное обучение черпало значительное вдохновение из когнитивной нейронауки с зависимостью от искусственных нейронных сетей (которые моделируются непосредственно по образцу мозга). Тем не менее, большая часть этого вдохновения для изучения нейронауки основана на взрослых, которые уже обладают огромным количеством данных и ярлыков из своего жизненного опыта. Это очень похоже на контролируемое обучение, не так ли? Вот почему авторы призывают ученых обратить внимание на когнитивное развитие младенцев, чтобы поднять парадигму неконтролируемого обучения. Поскольку у младенцев нет таких размеченных данных в виде воспоминаний, в отличие от их взрослых собратьев, они являются гораздо более подходящим источником вдохновения для алгоритмов обучения без присмотра. Авторы надеются, что исследования развития младенцев откроют двери для нового поколения алгоритмов обучения без учителя.

Как учатся младенцы?

Люди должны изучать полезные представления из немаркированных данных в первые годы жизни на этой планете. В младенчестве мы учимся визуально (и иным образом) воспринимать множество раздражителей и реагировать соответствующим образом — двигаться, глотать предметы, создавать ассоциации и выполнять множество других сложных задач. Интересно то, что младенцы усваивают многие из этих сложных задач очень быстро, используя очень мало примеров для обучения (данные обучения). Это значительное отличие от современных алгоритмов машинного обучения, которые регулярно используются сегодня. В статье Zaadnoordijk et al. наметьте три важнейших фактора, которые позволяют младенцам так эффективно учиться в надежде, что это будет перенесено в алгоритмы машинного обучения.

Встроенные черты и управляемая обработка информации

Мозг младенца появляется на свет со многими уже существующими структурами, несмотря на распространенное мнение, что мозг изначально незрелый и недоразвитый и растет вместе с самим младенцем. Даже области мозга, которые, как считается, участвуют в сложных когнитивных функциях, такие как гиппокамп (память, обучение и ассоциация) и лобные доли (исполнительные функции, такие как планирование и организация), активны и почти полностью сформированы к младенчеству. Несмотря на то, что средний младенческий мозг почти цел, он гораздо более пластичен, чем мозг взрослого человека, что приводит к его значительным изменениям в зависимости от того, какие входные данные он наблюдает. Эта большая степень пластичности может быть, по крайней мере, частично ответственна за быстрый характер обучения младенцев. Поэтому стремление к самоперенастройке и корректировке нейронных сетей, чтобы имитировать пластическую природу мозга младенца, является многообещающим путем.

Кроме того, ученые, занимающиеся проблемами развития, подчеркивают (хотя подробности широко обсуждаются), что многие из строительных блоков познания могут уже присутствовать при рождении. Существует общее мнение, что дети рождаются с индуктивными предубеждениями, которые формируют и явно влияют на их процессы обучения. Примеры включают предпочтение фокусировки на человеческих лицах и биологическом движении. Еще одно важное преимущество включает в себя способность находить четкие непрерывные линии и смежные поверхности (которые помогают нам вставать и ориентироваться в начале жизни), которые приписываются зрительным кортикальным микросхемам в нашем раннем мозге. Интересно, что эта же микросхема была переведена в Нейронные сети, решающие задачи обнаружения контуров и краев со значительно большей эффективностью, чем современные. Это просто один из примеров того, что изучение ранней нейронной архитектуры имеет большие перспективы для развития искусственного интеллекта.

Дополнительным фактором, на который следует обратить внимание, является влияние инструкций родителей на обучение младенцев. То, как родители могут помочь нам ассоциировать яблоко со съедобной пищей и как они учат нас тому, как вставать и ходить, можно рассматривать как гиперпараметрическую настройку нейронной сети, в нашей аналогии с мозгом младенцев как с алгоритмами машинного обучения. Хотя уровень настройки, проводимой в сегодняшних нейронных сетях, составляет ничтожную долю уровня, происходящего в мозге младенца. Это напрямую связано со значительно более сложным и взаимосвязанным мозгом младенцев, который исследователи ИИ просто не смогли воспроизвести. Поэтому полезно использовать гораздо более богатое и широкое пространство гиперпараметров для оптимизации обучения.

Разнообразные и мультимодальные входы

Основная причина, по которой предполагается, что младенцы учатся более эффективно, чем модели машинного обучения, заключается в их способности обрабатывать мультимодальные входные данные. С самого раннего возраста мы можем сочетать слуховую и визуальную информацию (а иногда и тактильную), чтобы следовать инструкциям и обращаться с объектами. Младенцы также демонстрируют выдающиеся результаты в задачах, где они могут ассоциировать голоса с лицами знакомых им людей. Предполагается, что эта способность постоянно использовать несколько сенсорных модальностей в тандеме имеет решающее значение для эффективного обучения. Это связано с тем, что наличие разнообразных входных данных приводит к более богатому представлению информации в умах младенцев, что затем приводит к улучшению выполнения задач. Эти более подробные представления возникают из-за того простого факта, что мультимодальная информация может либо поддерживать, либо отвергать любую неоднозначность, полученную только от одного сенсорного потока. И, конечно же, эта способность дает нам преимущество перед машинами в задачах, требующих ввода от нескольких сенсорных потоков.

Поскольку мультимодальное восприятие обеспечивает более богатое и концептуальное представление информации во время обработки, отсюда следует, что ИИ должен учитывать эту способность. Традиционно большинство моделей обучаются на одномодальных данных — модели классификации изображений изучают только скрытую семантику пикселей и признаков изображения (визуальная модальность). В идеале модель должна быть способна обрабатывать любую информацию из любой переданной ей модальности таким образом, чтобы получить благоприятный результат. Уже было проведено немало исследований би- и мультимодальных сетей. Например, CLIP Open-AI (на самом деле миниатюра этой статьи была сгенерирована DALL-E, который частично поддерживается CLIP!) использует Contrastive Learning для изучения семантических отношений изображения и его функций наряду с текстовыми функциями. своих меток для повышения эффективности классификации изображений. Несмотря на такие редкие попытки, мультимодальные модели следует рассматривать как стандарт для решения задач, требующих интеллекта.

Учебные планы и активное обучение

Последним компонентом обучения младенцев, который выделяют авторы статьи, является содержание того, чему они учатся. Входные данные даются младенцам почти поэтапно. Например: новорожденные дети видят только то, что представлено их полям зрения другими людьми; зрительные стимулы ползающего младенца в основном ограничиваются тем, что находится на уровне пола; ходячий младенец подвергается гораздо большему количеству визуальных стимулов. Кроме того, обучение ходьбе и передвижению позволяет младенцам воспринимать высоту и пространство. Точно так же поэтапно увеличиваются и сенсорные возможности — у новорожденных очень низкая острота зрения (способность различать формы и предметы на расстоянии), которая увеличивается по мере взросления. Эти постепенные дополнения к стимулам и входным данным действуют почти как естественная учебная программа, которая облегчает процесс обучения для младенцев точно так же, как наши школьные программы разработаны для оптимизации наших собственных образовательных процессов обучения.

Параллельно с этим родители и опекуны также навязывают младенцам определенный учебный план. Это делается несколькими способами. Чтобы подчеркнуть важность объекта, взрослые могут постоянно указывать на него или жестикулировать, что укажет младенцу, на что следует обратить внимание. Родители также могут говорить «детским лепетом» с очень простыми словами и произношением в четкой манере, чтобы разговаривать с младенцами, что облегчает их понимание. Постепенно они начинают использовать более длинную и быструю речь с младенцами по мере их взросления, что похоже на снятие тренировочных колес для слухового восприятия. Есть много других способов родительской поддержки процесса обучения младенцев, таких как управляемая игра и передача знаний, которые снова облегчают процесс обучения.

Эти подходы, основанные на учебной программе, были опробованы в алгоритмах машинного обучения. По аналогии с естественным учебным планом, были попытки обучать нейронные сети сначала с размытыми изображениями, а затем поэтапно переходить к более высоким разрешениям. Эта сеть показала повышенную точность и обобщаемость по сравнению с традиционными сетями. С другой стороны, люди в алгоритмах человека в цикле в некоторой степени имитируют роль опекунов, когда люди пытаются направлять процесс обучения модели, не получая такого же уровня контроля, как родители. их младенцев. Однако было проделано недостаточно работы для обеспечения соблюдения учебной программы (естественной или иной) для моделей ML.

Наконец, младенцы не пассивно участвуют в обучении на основе доступных или данных им входных данных (в отличие от моделей ML), а скорее активно выходят и направляют свое внимание на желаемые стимулы. Это активное обучение, основанное на любопытстве. Младенцы тянутся к стимулам, которые их возбуждают, если они им знакомы или им комфортно с ними. Младенцы, как правило, активно исследуют и, следовательно, изучают работу и свойства этих раздражителей. Это внутреннее любопытство удивительно и имеет первостепенное значение для нашего процесса обучения (не только в младенчестве), и, возможно, его трудно воспроизвести искусственно. Алгоритмы, способные каким-то образом реализовать готовность исследовать определенные новые или знакомые данные или процессы, что позволяет им узнать больше об этом, являются правильным шагом для следующих алгоритмов обучения без учителя.

Новое поколение алгоритмов обучения без учителя

В статьях поднимается несколько важных факторов, которые напрямую влияют на превосходную эффективность человеческих младенцев, которые указывают на способы улучшения алгоритмов ML. Алгоритмы, которые не требуют больших размеченных наборов данных и обладают такими свойствами, как пластичность, полезные смещения и априорные значения, мультимодальная обработка информации, подходы, основанные на учебной программе, и тенденция исследовать то, что для нее «интересно» (это определение можно было бы сделать гибким в том, что алгоритм считает важным в данных) будущее неконтролируемого обучения. Теоретически эти алгоритмы сделают нас на шаг ближе к истинному интеллекту, поскольку мы черпаем больше (и на этот раз более подходящего) вдохновения от истинного интеллекта.