Эта запись первоначально появилась в моем личном блоге по адресу https://timshell.github.io/have-the-empiricists-won.
Два самых модных словечка в технологической индустрии сейчас — это искусственный интеллект и машинное обучение. Машинное обучение — это часть искусственного интеллекта, которую можно условно описать как автоматизированный анализ данных. Он обещает нам менее трудоемкие методы обучения компьютеров миру. Ранее я немного рассказывал о том, что такое машинное обучение и его потенциальные приложения здесь.
Крупные компании (например, Google, Facebook, Amazon) постепенно монополизируют пространство машинного обучения, потому что у них есть единственный самый большой актив: данные. Алгоритмы машинного обучения хороши настолько, насколько хороши наборы данных, к которым они применяются. Создайте большую базу данных, и точность ваших алгоритмов возрастет.
В этом исследователи машинного обучения отличаются от традиционных статистиков. Статистики заботятся о точном описании своего уровня достоверности в некоторой статистике набора данных. Исследователи машинного обучения просто хотят получить максимально возможную точность прогнозов и сделают все, чтобы добиться этого, от запуска своего алгоритма на массивных кластерах до создания большего набора данных.
Возрождение глубокого обучения создало большую часть нынешнего ажиотажа в области искусственного интеллекта и машинного обучения. Глубокое обучение основано на нейронных сетях, наборе биологических функций. Эти алгоритмы сегодня окружают нас повсюду, будь то автоматическая пометка фотографий в Facebook или Siri в Apple.
Его назвали необоснованно эффективным. Почему необоснованно?
Ну, на самом деле за этим стоит очень мало теории. Это не гарантирует работу. Нейронные сети работают, минимизируя заданную функцию ошибок. Основное исчисление различает локальные минимумы и глобальные минимумы. Самое лучшее решение находится на глобальных минимумах. Тем не менее, нейронные сети находят только локальные минимумы. Мы надеемся, что локальные минимумы близки к глобальным минимумам, но в настоящее время мы не можем этого доказать.
Тогда почему это так эффективно? Набор данных. Набросайте в эти сети достаточно примеров, и они научатся классифицировать объекты. Наше решение может быть неоптимальным или математически элегантным, но оно работает.
В докантианской эпистемологии два противоположных лагеря — это рационалисты и эмпирики. Рационалисты во главе с Рене Декартом верят в априорные рассуждения. Учитывая набор предположений, какой вывод вы можете сделать? С другой стороны — Юм и эмпирики. Этот лагерь отдает приоритет апостериорным рассуждениям или обучению на собственном опыте.
Нейронные сети до сих пор были на стороне эмпириков: давайте посмотрим на множество данных и сделаем из них выводы. В то время как у других методов машинного обучения больше теории, все они, как правило, основаны на эмпиризме. Без данных они ничто. Профессор Вашингтонского университета Педро Домингос сравнил машинное обучение с научным методом. Сформулируйте гипотезу и соберите данные. Уточните свою гипотезу и повторите.
Независимо от того, признаем мы, что нейронные сети приведут к общему искусственному интеллекту, или нет, похоже, что некоторая комбинация методов машинного обучения приведет к этому. Системы, основанные на правилах (то есть рационалистические), в прошлом терпели неудачу и не достигают точности, близкой к современным методам. Эмпирики доминируют в этой области, и маловероятно, что данные станут менее важными. Учитывая огромное количество данных, которые мы в настоящее время имеем и генерируем, почему бы не использовать их, если мы можем? У нас есть вычислительная мощность для этого.
Так что же происходит с рационалистами? Они обратили внимание на новую проблему: проблему контроля. Допустим, у нас есть искусственный агент, который умнее человека. Как убедиться, что его ценности совпадают с нашими? Мы не хотим делать из этих агентов врагов. В конце концов, общее мнение о том, почему люди доминируют на планете, связано с нашим интеллектом. Когда мы теряем эту монополию, как мы обеспечиваем свое выживание?
Рационалисты работают в таких учреждениях, как Институт будущего человечества и МИРИ, пытаясь оценить экзистенциальный риск, исходящий от сверхразумных агентов, и как лучше всего избежать такой ситуации. Мы можем понять, почему эмпирический подход не сработает: достаточно одного неприсоединившегося агента, чтобы навлечь на мир гибель. Здесь нет права на ошибку, поэтому рационалисты должны уметь точно предсказывать и избегать этого сценария.
Следует отметить, что эмпирики критикуют рационалистов за столь сильное внимание к этой проблеме. Два известных профессора машинного обучения, Эндрю Нг и Педро Домингос, соответственно назвали это «ненужным отвлечением» и «совершенно абсурдным». Они считают, что угроза (1) преувеличена и (2) слишком далека, чтобы ее можно было даже рассматривать.
Эмпирики и рационалисты не расходятся. Хотя многие отдают предпочтение какой-то одной стороне, для выработки оптимальных решений часто требуется сотрудничество обеих сторон. Илон Маск (известный своим рационалистическим подходом к рассуждениям от первых принципов) недавно профинансировал OpenAI, исследовательскую организацию, стремящуюся разработать общий искусственный интеллект, осознавая связанные с этим риски. До сих пор группа работала над обучением с подкреплением, обучением методом проб и ошибок — очень эмпирическим способом обучения.
Но кажется, что в настоящий момент эмпирики опередили рационалистов. Будет интересно посмотреть, будут ли рационалисты способствовать отсутствию теории в области машинного обучения или больше сосредоточатся на экзистенциальной угрозе, которую представляет искусственный интеллект.
— -
Большое спасибо Рэйчел Хоттл за отзывы о предыдущих черновиках этого поста.
— —
