использованная литература

Интервью V, исследователь компьютерного зрения, 12 марта 2018 г.

Ю. ЛеКун представил свою версию того же события в видеоролике (начиная с 20-й минуты): «Герои глубокого обучения: Эндрю Нг берет интервью у Янна ЛеКуна», YouTube, 7 апреля 2018 года.

Авторы Доминик Кардон, Жан-Филипп Куанте и Антуан Мазьер *

(Статья опубликована в журнале Réseaux . Также доступна в PDF, на английском или французском).

Этот эпизод стал легендарным в истории информатики. В октябре 2012 года конференция ECCV собрала исследователей, специализирующихся в области компьютерного зрения:

Так угадайте, кто появился на конкурсе 2012 года? Хинтон [отец возрождения нейронных сетей], и это действительно встряхнуло ситуацию. Он ничего не знал о компьютерном зрении, поэтому ему потребовалось два молодых человека, чтобы все это изменить! Одного из них [Алекс Крижевский] он запер в комнате, сказав ему: Нельзя выходить, пока не сработает! Он заставил работать огромные машины, машины с графическими процессорами, которые в то время не были хорошими, но он заставил их взаимодействовать друг с другом, чтобы повысить их эффективность. Это были совершенно безумные компьютерные штуки. В противном случае это не сработало бы; совершенно невероятные компьютерные знания, программирование. В то время специалисты по компьютерному зрению были в восторге от ImageNet в течение трех лет [база данных из 1,2 миллиона изображений с тегами 1000 категорий, используемая в качестве эталона для сравнения результатов классификации различных конкурентов]. Номер 1 имел коэффициент ошибок 27,03%, номер 2 - 27,18%, а номер 3 - 27,68%. Хинтон прислал этого парня из ниоткуда: У нас есть действительно большой, глубокий по работе, мы получили 17%! Он победил всех на 10 очков! Итак, этот молодой компьютерщик сделал это и объявил результат перед битком набитым залом. Он вообще ничего не понимал, как будто ему 17! Он не знал, почему там были эти штуки. Он был заперт в своем офисе и ничего не знал о поле. И вдруг он оказался перед Фей-Феем, а ЛеКун сидел в глубине комнаты и встал, чтобы отвечать на вопросы [Ли Фей-Фэй, профессор информатики и директор ПАРУС, Стэнфордская лаборатория искусственного интеллекта; Янн ЛеКун, сегодня директор FAIR, Facebook AI Research и один из центральных игроков в обновлении нейронных сетей]. И все большие парики компьютерного зрения пытались отреагировать: Но это невозможно. Это не сработает для распознавания объекта, когда вам нужно… Все они были поражены, увидев, что в основном десять лет интеллекта, тонкой настройки и изощренности были более или менее выброшены в окно.

Они не были людьми формальной логики, но они были людьми, у которых была идея, что вы должны понимать, что вы должны знать, как объяснить, почему вы так ставите ветки, почему вы следуете этим рассуждениям, почему вы так прогрессируете. что; и что вам необходимо иметь полное представление о связанных с ним функциях, которые помогут вам сказать, что вы прекрасно понимаете, что вы делаете и почему это так. А потом появляется этот парень с большим черным ящиком глубокого обучения со 100 миллионами параметров, которые он обучил, и он полностью разрушил всю область. «Ваши модели неизменны, если изображение движется?» Парень даже не понял вопроса! Тогда ЛеКун ответил: «Ну, эти модели неизменны, потому что ...» Он был действительно доволен, потому что Фей-Фей спросил его: «Но Янн, действительно ли эти модели принципиально отличаются от моделей, которые вы изобрели в 1980-х?» На что Янн ответил: «Нет, они точно такие же, и мы выиграли с ними все соревнования!» ²

Этот красочный отчет об объявлении эффективности метода глубокого обучения в области классификации изображений (Крижевский, Суцкевер и Хинтон, 2012) свидетельствует о том, как внезапный успех давно маргинализованной неортодоксальной парадигмы оказывает на научное сообщество3: сюрприз , столкнулся с результатом; сомнение в эпистемической валидности нового подхода; озабоченность будущим ортодоксальной парадигмы; насмешка перед незнанием новичками теоретических проблем области, головокружение перед неизбежным изменением парадигмы. Начиная с 2010 года, в поле за полем глубокие нейронные сети вызывают такие же нарушения в сообществах информатики, занимающихся сигналами, голосом, речью или текстом. Метод машинного обучения, предлагающий наиболее сырую возможную обработку входных данных, исключающий явное моделирование характеристик данных и оптимизирующий прогнозирование на основе огромных наборов примеров, дал впечатляющие результаты. Проще всего подумать об этом перевороте, описать его как переход от гипотетически-дедуктивных машин к индуктивным (рис. 1).

То, что раньше считалось человеческим компонентом при создании калькуляторов, программ, правил или модели, больше не было входом в систему, а скорее ее результатом. Взгляд социальных наук на этот индуктивный сдвиг часто состоит в деконструировании натуралистической иллюзии сырых данных и наивности вычислений без теории (Гительман, 2013). Хотя такая мера предосторожности, безусловно, необходима для рассмотрения некоторых небрежных рассуждений о том, что данные говорят сами за себя, она, тем не менее, не дает должного решительной и интенсивно искусственной работе, предпринимаемой сторонниками методов глубокого обучения по навязыванию второй тип вычислительной архитектуры. В этой статье мы будем называть эти индуктивные машины и, более конкретно, коннекторные машины, чтобы пролить свет на конкретный тип индукции, который они, по их утверждениям, используют. Создание артефактов, способных производить индуктивные вычисления над большими наборами данных, является результатом противоречивой истории и ряда очень изобретательных построений. Индукция была чем-то, к чему нужно было постоянно направлять машины и что нужно было защищать от противников, производить с помощью конкретных вычислений, развертывать в определенных архитектурах и откалибровать с подходящими данными. Разработчики машин такого типа не были наивными натуралистами, как их часто называют конструктивистские социальные науки. Идея доверить создание соответствующих прогнозов машинам, позволяя им учиться на данных - т.е. индуктивных расчетах - была делом, теорией и, прежде всего, устройством с бурной историей. Для реализации и достижения результатов потребовалась кропотливая работа по перенастройке архитектуры интеллектуальных машин, что и будет предметом данной статьи.

Символический против Коннекциониста

Чтобы рассказать историю обмена между этими двумя школами, мы должны сначала очертить хронологию, основанную на научных публикациях, взятых из Web of Science (WoS). Сеть совместного цитирования наиболее цитируемых авторов в статьях, в которых упоминается искусственный интеллект, ясно показывает разрыв между исследователями, придерживающимися символического или коннекционистского подходов. Например, на рис. 2 показаны имена основных участников, обсуждаемых в этой статье, с четким распределением по их сообществу. В основе коннекционистов, Румельхарт, ЛеКун и Хинтон, лежащие в основе глубокого обучения, стоят рядом исследователи (Голландия, Хопфилд), которые продвигали это движение в разное время, так как а также основные участники нескольких методов машинного обучения, таких как Брейман, Митчелл и Вапник. С символической стороны - основополагающее ядро ​​ИИ (Маккарти, Мински, Саймон и Ньюэлл), изложенное таким образом, чтобы отражать их близость и расхождения, в окружении основных участников производство когнитивного моделирования, экспертных систем и даже критики символического ИИ (Дрейфус, Серл, Брукс).

Однако противоречие между двумя сообществами ИИ становится еще яснее, если посмотреть на хронологию академического воздействия научных публикаций в символических и коннекционистских движениях с 1935 по 2005 год. Хронология на рис. 3 показывает возникновение парадигмы коннекционизма наряду с ранней кибернетикой. Затем, начиная с начала 1960-х годов, символическая парадигма постепенно возобладала и определила основные черты ИИ. Лишь в середине 1990-х, после второй зимы искусственного интеллекта, коннекционистская парадигма снова стала доминирующей в научных публикациях под знаменем глубокого обучения.

На основном графике (вверху) показаны изменения соотношения между количеством публикаций, цитируемых в корпусе коннекционистов (оранжевый) и соответствующим числом в символическом корпусе (синий), оба скорректированных на общее количество публикаций в WoS . Дополнительные графики (внизу) представляют количество публикаций, процитированных за определенный период для каждого корпуса.

Чтобы проследить эту историю, мы представляем очень простую аналитическую структуру, которая в рамках огромного множества разнородных технологий с очень высоким уровнем сложности выделяет ряд контрольных точек, позволяя нам одновременно учитывать трансформацию вычислительной инфраструктуры и различными способами. критического анализа их работы. Чтобы вместе взглянуть на устройство технических систем и их эпистемологическую цель, мы полагаем, что «интеллектуальная» машина должна артикулировать мир, калькулятор и target, основанный на различных конфигурациях. Эти понятия относятся к функциональной структуре, в которой обычно разбивается дизайн интеллектуальных артефактов на основе различных терминологий: «среда» / «входные данные» / «данные» / «база знаний» (мир). , «Расчет» / «программа» / «модель» / «агент» (калькулятор) и «цели» / «результаты» / «выходы» (цель). Таким образом, можно сказать, что прогностические машины установили калькулятор в мире, предоставляя ему цель. Устройства, разработанные на протяжении всей истории искусственного интеллекта, снабжают мир, калькулятор и цель различными и меняющимися объектами. Таким образом, они предлагают радикально разные способы взаимосвязи архитектуры этих наборов. Таким образом, сдвиг в исследованиях искусственного интеллекта от символических машин к коннекционистским машинам является результатом не изменения истории идей или достоверности одной научной модели по сравнению с другой, а полемика, которая побудила актеров кардинально изменить, трансформировать и переопределить форму, придаваемую их артефактам. Процесс, к которому эта аналитическая модель позволяет нам быть внимательным, представляет собой долгую историческую реконфигурацию союзов и парадигм между конкурирующими научными сообществами. Это влияет на методы расчета, но также и, прежде всего, на форму, придаваемую этим машинам, их цели, данные, которые они обрабатывают, и вопросы, которые они решают («Latour, 1987»). Чтобы выразить это таким образом, чтобы прояснить это на протяжении всей статьи: в то время как разработчики символических машин стремились вставить в калькулятор и мир, и цель, нынешний успех коннекционистских машин связан с тем фактом, что, в отличие от этого, их создатели опустошают калькулятор, чтобы мир мог принять свою собственную цель.

КИБЕРНЕТИКА И НАЧАЛО КОННЕКЦИОНИЗМА

Истоки нейронных сетей уходят корнями в пионерскую историю компьютерных наук и ранней кибернетики. Несмотря на то, что термин был придуман позже, кибернетика может эффективно считаться «коннекционистской» и по-прежнему относится к цели математического моделирования нейронной сети, поставленной нейрофизиологом «Уорреном Маккалоком» и логиком «Уолтером Питтсом» в «1943». По сей день эту основополагающую статью продолжают цитировать как отправную точку на пути к коннекционисту, даже в текущих цитируемых статьях по глубокому обучению. Хронология научной деятельности в области ИИ (Рисунок 3) ясно демонстрирует преобладание коннекционистского подхода в ранний кибернетический период. В первой статье Маккаллоха и Питта была предложена формальная модель (рисунок 4), в которой нейроны используют переменные в качестве входных данных и взвешивают их для получения суммы, которая запускает активацию нейрона, если она превышает определенный порог.

Это предположение сформулировано не как относящееся к искусственному интеллекту - этого термина не существовало - а скорее как инструмент нейрофизиологического эксперимента, который соответствовал биологическим знаниям того времени о нейронных процессах мозга. Это было быстро связано с идеей обучения благодаря работе нейропсихолога Дональда О. Хебба (1949), которая показывает, что повторная активация нейрона другим нейроном через данный синапс увеличивает его проводимость и может считаться обучением. Биологически вдохновленная формальная нейронная модель составляла одну из основных точек размышлений для кибернетиков того времени и должна была стать краеугольным камнем калькулятора первых интеллектуальных машин (Dupuy, 2005).

Тесная связь между миром и калькулятором

Характерной чертой архитектуры этих машин является то, что их связь с окружающей средой (миром) настолько органична, что нет необходимости предоставлять калькулятору собственную агентивность. Цель кибернетики - создать не что иное, как черный ящик обучения и ассоциации, цель которого регулируется путем измерения отклонения (т.е. ошибки) между миром и поведением машины. Такое представление интеллектуальных машин изначально было основано на материалистической концепции информации, которая отличалась от символической концепции, преобладавшей во время появления искусственного интеллекта («Triclot, 2008»). Как форма порядка, противоположная энтропии, информация - это скорее сигнал, чем код. С теорией информации, разработанной «Шенноном» («1948»), информацию не обязательно связывать с заданным значением; он был задуман как чистая форма, независимая от всех других соображений, ограниченная «выражением величины порядка или структуры в материальном агентинге» («Triclot, 2008»).

Кибернетические машины определили цель своих вычислений только на основе сравнения входов и выходов в мире. Предсказательное устройство Норберта Винера (1948), применяемое для наведения зенитных ракет, основывалось на постоянном обновлении их траектории, сравнении реальной траектории цели с предыдущими оценками. Устройство должно было найти лучшее решение на основе имеющихся данных; эти данные информировали, исправляли и ориентировали калькулятор. Отрицательная обратная связь - т.е. включение измерения выходной ошибки в качестве нового входа в адаптивную систему - таким образом, составляет основную аксиому кибернетики. Это позволило рассматривать технические системы в строго бихевиористской форме, перекликающейся с бихевиористской психологией того времени (Скиннер, 1971). Как и в случае с живыми организмами, машины индуктивно адаптировались к сигналам из окружающей среды с настолько тесной связью, что не требовали внутренних представлений или намерений; короче говоря, свойственный им интеллект. Когда Артуро Розенблют, Норберт Винер и Джулиан Бигелоу (1943) сформулировали основополагающие принципы кибернетики, они представили самокорректирующуюся машину, способную с помощью вероятностных операторов изменять или принимать конечные цели, которые не были Внутренним, а скорее производным путем адаптации своего поведения к собственным ошибкам. Строго элиминативистский дизайн кибернетических машин мог покончить с понятиями намерения, планов или рассуждений (Galison, 1994). Рассуждая о функционировании одной из самых известных машин, Гомеостат, Росс Эшби (1956: 110) описал вычислительную часть системы среда / машина как черный ящик. Конфигурация машин кибернетического прогнозирования настолько тесно связала мир и калькулятор, что их целью была оптимизация адаптивной работы системы, которую они сформировали. вместе. Кибернетические машины 1950-х годов (Гомеостат, Адалин и т. Д.) Были не более чем лабораторными артефактами с очень ограниченными целями и возможностями; В отличие от этого, калькуляторы с глубоким обучением в конечном итоге и гораздо более эффективно станут предлагать черный ящик вокруг мира данных, превращая выходные данные во входные.

Персептрон и машины коннекционистов

В частности, в области визуального распознавания нейронные сети Маккаллоха и Питтса предоставили очень подходящее решение для оснащения калькулятора первых адаптивных машин. В конце 1950-х годов эти машины претерпели важные изменения, которые способствовали первой волне общественного интереса к машинам мозга ». Коннекционистский подход вдохновил на работу «Бернарда Видроу» (Адалин), «Чарльза Розена» в Стэнфорде («Шейки») или даже «Пандемониум», гибридное устройство «Оливера Селфриджа» (1960). Однако именно «инициатива персептрона» (1957–1961) «Фрэнка Розенблатта», психолога и специалиста по информатике из Корнельского университета, воплотила первую настоящую машину коннекционизма и стала эмблемой другого способа включения вычислительного артефакта с помощью интеллектуального поведение. Это устройство, предназначенное для распознавания изображений, привлекло большое внимание и получило большое финансирование от ВМС США («ONR»). Машина Фрэнка Розенблатта была вдохновлена ​​формальными нейронными сетями Маккаллоха и Питтса, но в нее был добавлен дополнительный механизм машинного обучения. В наложенных слоях персептрона входные нейроны стимулировали активность сетчатки, а выходные нейроны классифицировали «особенности», распознаваемые системой; только скрытые, промежуточные слои были способны обучаться. Вопреки логике Маккаллоха и Питтса - организации «сверху вниз», Фрэнк Розенблатт отстаивал подход «снизу вверх», который позволял механизму обучения статистически организовывать структуру сети. После первоначальной программной реализации Фрэнк Розенблатт приступил к созданию единственной аппаратной версии Perceptron: Mark I, который состоял из 400 фотоэлектрических ячеек, подключенных к нейронам. Синаптические веса кодировались в потенциометрах, а изменения веса во время обучения производились электрическими двигателями. Однако конкретная реализация этих обучающих машин оставалась очень редкой из-за технических ограничений того времени, и, прежде всего, была остановлена ​​разработкой ИИ, исследующего совершенно другое направление исследований: «символическую» школу.

СИМВОЛИЧЕСКИЙ AI

Когда главные сторонники учредительного собрания Дартмута, «Джон Маккарти» и «Марвин Мински» в 1956 году придумали термин «искусственный интеллект» (ИИ), их намерением было противостоять коннекционизму ранней кибернетики (Dupuy, 2005) ¹⁰. Они очень явно хотели дать машинам цель, отличную от адаптивной настройки входов и выходов. Целью «символического» ¹¹ ИИ было реализовать правила в компьютерах через программы, чтобы можно было манипулировать представлениями высокого уровня. Таким образом, появление ИИ стало настоящим «антииндуктивным» движением, в котором логика должна была противостоять «химере» коннекционистского подхода, который обвинялся в отказе определять обработку данных независимо от физических процессов и в предложении теории разума. («Минский, 1986») ¹². Как показывает хронология (Рисунок 3), символический подход преобладал в научном производстве в области искусственного интеллекта с середины 1960-х до начала 1990-х годов.

Изначально это было проинформировано о работе Герберта Саймона, выполненной вместе с Аланом Ньюэллом в RAND в 1950-х годах. В 1956 году они написали первую программу, предназначенную для моделирования принятия решений машинами, Logic Theorist (1956), с заявлением - которое стало типичной привычкой среди исследователей искусственного интеллекта, - что к Рождеству мы с Алленом Ньюэллом изобрели мышление. машина ( МакКордак, 2004 : 168). Моделирование рассуждений было центральной чертой этой первой волны ИИ, охватившей период с 1956 до начала 1970-х годов. Эта область исследований вскоре состояла из небольшой группы из Массачусетского технологического института (Мински, Паперт), Карнеги-Меллона (Саймон, Ньюэлл) и Стэнфордского университета (Маккарти). Несмотря на внутренние разногласия, этот замкнутый круг установил монополию на определение проблем ИИ и получил большую часть (крупных) средств и доступ к огромным компьютерным системам. С 1964 по 1974 год они получали 75% финансирования исследований ИИ, предоставленных ARPA и ВВС (Fleck, 1982: 181), и пользовались редкими вычислительными возможностями, необходимыми для их проектов. В ARPA они пользовались неизменной поддержкой Джозефа Ликлайдера, который финансировал символические проекты, оправдывая их гипотетическими военными приложениями.

Этот захват власти символической школой над тогдашним расплывчатым и очень открытым определением интеллектуальных машин принял форму отлучения, провозглашенного в книге Марвин Мински и Сеймур Паперт (1969), посвященной демонстрации неэффективность нейронных сетей. В начале 1960-х годов коннекционистские подходы, унаследованные от ранней кибернетики, вызвали определенный энтузиазм, вызванный медийным успехом Персептрона Фрэнка Розенблатта. Хотя, будучи студентом, Марвин Мински сам разрабатывал нейронные сети (Snarc, 1951), он хотел подтвердить математическое превосходство символического ИИ над мистической природой, окруженной романтической атмосферой личности. организованные и распределенные системы коннекционистов (Мински и Паперт, 1969, примечание 13). Ориентируясь на ограниченную и упрощенную однослойную версию Perceptron, он и Сеймур Паперт продемонстрировали, что нейронные сети неспособны вычислять функцию XOR (исключающее ИЛИ) и, следовательно, не имеют будущего. Как показывает Микель Олазаран (1996), стратегия Мински и Паперта заключалась в том, чтобы вписать преобладание символической школы в определение искусственного интеллекта. Даже если эффект книги, вероятно, выходит за рамки намерений ее авторов, ее последствия будут окончательными. После преждевременной смерти Фрэнка Розенблатта в 1971 году нейронные сети были заброшены, их финансирование было сокращено, а работа, которая должна была увековечить их сущность, будет выполняться за пределами области искусственного интеллекта.

Пространство для работы с символами

Главная особенность архитектуры символических машин состоит в том, что они разрывают связи с миром и открывают независимое пространство рассуждений внутри своего калькулятора. Так называемая конфигурация новых компьютеров «фон Неймана», реализованная в 1950-х годах, создала именно это пространство. В то время как «ENIAC» (1946 г.) был разработан для расчета баллистических таблиц путем «программирования» машины в аппаратное обеспечение, «Проект EDVAC» (1952 г.) разделил логические операции, выполняемые над символами (программное обеспечение ) физической структуры машин (аппаратного обеспечения) («фон Нейман, 1945»). Таким образом, программе было предоставлено собственное пространство, независимое от физической работы компьютера. Он стал «универсальным автоматическим компьютером с централизованной программой» («Goldstine, 1972»: 198–199), и программирование, независимое от аппаратных процессов, можно было освободить «на бумаге», как «Алан Тьюринг» (« 2004 »: 21) положил. Пол Эдвардс («1996») показывает, как с появлением сложных языков программирования, подобных человеческим, и впоследствии скомпилированных в машинный язык, представленный нулями и единицами, физическая машина могла быть отделена от символической машины. Таким образом, искусственный интеллект можно рассматривать как науку о разуме в машине. Один из первых вкладов ИИ в информатику был связан именно с разработкой языков программирования, самым известным из которых был «LISP», разработанный «Джоном Маккарти» в 1958 году, который полностью отождествлялся с исследованиями ИИ из-за его возможностей логической абстракции¹³ .

Как только оно было создано в калькуляторе, это пространство программирования стало доступно для управления символами. Искусственный интеллект родился в том же году, что и когнитивная наука (1956), и вместе эти две области сформировали усилия, направленные на то, чтобы дать компьютерам способность рассуждать (Gardner, 1985). В отличие от бихевиористской психологии, которая вдохновила адаптивные черные ящики кибернетики, цель когнитивной науки заключалась в том, чтобы наделить машины логическими и абстрактными способностями. И в отличие от коннекционизма, эти области не проявляли интереса к физиологии и поведению человека, уделяя внимание только рассуждениям. Вычислительная теория разума установила двойственность, постулируя, что ментальные состояния могут быть описаны как в физической форме как набор физических экземпляров обработки информации, так и в символической форме как механически выполняемые операции сравнения, ранжирования или вывода значения ( Андлер, 2016). Эта гипотеза физических систем символов утверждает, что разум не имеет прямого доступа к миру, а скорее состоит из внутренних представлений мира, которые могут быть описаны и организованы в виде символов, вставленных в программы.

Игрушечный мир

Основатели ИИ сделали все возможное, чтобы отделить данные от сенсорного мира и человеческого поведения¹⁴. Мир символических машин был театральным фоном, созданным машиной для того, чтобы спроецировать на нее синтаксис ее логических правил: шахматные или шашечные игры («Артур Сэмюэль»), геометрические теоремы (с помощью Доказательства теоремы геометрии «Герберта Гелернтера» ), фоны видеоигр. Символические проекты этой первой волны ИИ характеризовались изобретением упрощенных пространств форм, которые необходимо распознавать и перемещать, таких как «Микромиры» Марвина Мински (MAC) или знаменитый язык SHLURDU «Терри Винограда». Подобно ограниченному пространству с несколькими комнатами и объектами, в котором должен перемещаться «робот Shakey», это вымышленное, «игрушечное» ¹⁵ пространство, в котором объекты могут быть легко связаны с синтаксисом правил, которые являются рассчитаны для обеспечения соответствующего поведения системы.

Если калькулятор проецирует свой собственный мир, это также связано с тем, что его цель - содержать собственную цель. Вот как этот ИИ смог заявить, что он силен, потому что цели, поставленные перед системой, специфичны для нее и могут быть выведены из своего рода рассуждений, включенных в логические выводы, сделанные моделями. Все очень изобретательные языки, придуманные для формирования синтаксиса этих систем, основаны на логических выводах. Они разбивают на этапы элементарные операции обработки, преобразующие сущности, каждая из которых является выводом правильного расчета (Andler, 1990: 100): дерево решений, промежуточная цепочка рассуждений, разбивка целей и подцелей, а также средства. - завершает анализ. Рациональная цель расчета заключена в синтаксис программы. Машина должна решить проблему, найти верное или правильное решение и принять правильное решение¹⁶. Следовательно, нет необходимости давать ему правильный ответ (как это делают примеры методов обучения), потому что правила должны вести его к этому, следуя выводам калькулятора. Поскольку синтаксис рассуждений и семантика манипулируемых объектов были созданы в калькуляторе, можно было спутать их друг с другом в правильных и более или менее детерминированных рассуждениях - но за счет искусственного дизайна, в котором «интеллигентный мир воплотил дизайнер; регулируемый, точный и явный мир, так что его целью может быть рассуждение. Хотя эти машины были способны достигать определенных характеристик в закрытой среде, они быстро оказались слепыми и глупыми, как только столкнулись с внешним миром.

Первая зима искусственного интеллекта

В начале 1970-х AI вступил в свою первую зиму, заморозив как символические, так и коннекционистские проекты. Оба потока дали много обещаний, и результаты далеки от ожиданий. Что касается коннекционистов, персептрон Фрэнка Розенблатта пострадал из-за освещения в СМИ, в котором его сторонник - при соучастии военно-морского флота США - активно участвовал. Среди множества заголовков СМИ, полных энтузиазма по поводу скорого появления интеллектуальных машин, газета New York Times объявила: «На прошлой неделе военно-морской флот продемонстрировал эмбрион электронного компьютера под названием Персептрон, который, когда был завершен примерно за год, как ожидается, станет первым неживым механизмом, способным «воспринимать, распознавать и идентифицировать свое окружение без человеческого обучения или контроля» ». Однако преувеличенные пророчества и объявления быстро разочаровали, особенно в символическом ИИ, во главе которого стояли Герберт Саймон и Марвин Мински. Головокружительные обещания исследователей, армия и DARPA думали, что скоро у них появятся машины для перевода русских текстов, роботы для проникновения на линии врага или системы голосового управления для пилотов танков и самолетов, но обнаружили, что «интеллектуальные» системы объявили это всего лишь искусственные игры, в которые играют в синтетической среде. В 1966 году Национальный исследовательский совет сократил финансирование автоматизированного перевода - зловещее решение, которое спровоцировало каскад отчуждения финансовых и академических сторонников ИИ. В начале 1970-х годов проект MicroWorlds Мински и Паперта в Массачусетском технологическом институте столкнулся с трудностями и потерял поддержку. В Стэнфорде робот Shakey больше не получал военного финансирования, и программа распознавания речи DARPA SUR, предназначенная для Карнеги-Меллона, была внезапно закрыта. В Англии крайне критический «Отчет Лайтхилла» 1973 г. также сыграл роль в прекращении государственного финансирования ИИ («Crevier, 1997»: 133–143).

С кризисом финансирования все более заметной критике стало подвергаться само предприятие по логическому моделированию рассуждений. В 1965 году RAND приказал Хьюберту Дрейфусу написать отчет об ИИ, который он назвал Алхимия и искусственный интеллект, и в котором использовались убедительные аргументы, которые он позже подробно изложил в первом издании своей успешной книги What Компьютеры не умеют (Дрейфус, 1972). Острые и острые противоречия между истеблишментом искусственного интеллекта и Хубертом Дрейфусом значительно подорвали идею о том, что рациональные правила могут сделать машины умными. Явное определение логических правил было полностью лишено телесных, ситуативных, имплицитных, воплощенных, коллективных и контекстных форм восприятия, ориентации и решений человеческого поведения ». Критика была также выдвинута первым поколением ренегатов, которые стали серьезными противниками тех надежд, которые они сами выражали; например, Джозеф Вайценбаум (1976), основатель ELIZA, и Терри Виноград, разочарованный дизайнер ШРДЛУ (Виноград и Флорес, 1986). Умные машины рассуждали в соответствии с элегантными правилами логики, детерминированным синтаксисом и рациональными целями, но их мира не существовало.

ВТОРАЯ ВОЛНА ИИ: МИР ЭКСПЕРТОВ

Святилища правил

Столкнувшись с критикой жесткого вычислительного подхода первой эры, который изобрел абстрактную вселенную без реалистичных связей с миром, исследования ИИ предприняли нисходящий процесс для завершения, интеллектуализации и абстрагирования концептуальных систем, предназначенных для манипулирования сущностями этих новых знаний. базы. Таким образом, символическое движение усилило свою цель рационализации, сделав чрезмерный акцент на моделировании, чтобы охватить различные контексты, недостатки в рассуждениях и множественность эвристик, тем самым приближаясь к миру пользователя через посредство экспертов. Эта приверженность программированию калькулятора характеризовалась большей гибкостью логических операторов (синтаксис) и уплотнением концептуальных сетей, используемых для представления знаний (семантика). Наблюдаемое в исследованиях искусственного интеллекта движение было направлено на разобщение центрального, общего и детерминированного механизма вычислительного мышления с целью умножения, децентрализации и вероятности операций, выполняемых над знаниями. Заимствуя, в частности, из дискуссий о модульности разума (Fodor, 1983), системы, реализованные в калькуляторах, разбили процесс рассуждений на элементарные блоки взаимодействующих агентов, которые независимо друг от друга могут иметь разные способы мобилизации знаний и вывода результатов из it²¹. Таким образом, основные нововведения второй волны символического ИИ были разработаны в рамках семантической организации значений эвристики, взятой из баз знаний. Они использовали языки (ПРОЛОГ, МИКРОПЛАНЕР, ЦИКЛ) и интеллектуальные конструкции с редкой степенью сложности, например, принцип списков; понятие концептуальная зависимость, подробно описанное Роджером Шенком; Семантические сети Росс Квиллиан и т. Д. Незавершенным шедевром этих многочисленных инициатив стал Цикл Дугласа Лената, общая онтология здравого смысла, основанная на архитектуре фундаментальных предикатов, функций истинности и микротеорий, которые Сообщество AI восхищалось, но никем не использовалось.

Растущий объем поступающего знания и усложнение сетей концепций, предназначенных для манипулирования им, стали причиной еще одного крупномасштабного сдвига: логические правила стали условными и могли быть «вероятностными». Что касается рационального и логического подхода, представленного Джоном Маккарти, с 1970-х годов Марвин Мински и Сеймур Паперт защищали идею о том, что «дихотомия правильного / неправильного является слишком жесткой. При работе с эвристикой, а не с логикой, категория истинно / ложно менее важна, чем плодотворно / бесплодно. Естественно, конечной целью должно быть получение верного заключения. Но, нравится это логикам и пуристам или нет, путь к истине проходит в основном через приближения, упрощения и правдоподобные догадки, которые на самом деле ложны, если понимать их буквально »(« Minsky and Papert, 1970 »: 41). Среди тысяч правил, сформулированных экспертами, можно, основываясь на фиксированной посылке (ЕСЛИ…), установить вероятность того, что второе утверждение (ТОГДА…) имеет возможность быть истинным. Вероятность правил знания означала, что детерминированная форма логического вывода, которая пережила момент своей славы в первую эпоху ИИ, могла быть ослаблена. Став более реалистичными, разнообразными и противоречивыми, знания, входящие в машины прогнозирования, также вносили в них вероятность («Nilsson, 2010»: 475). Когда пара «плодотворный / бесплодный» заменила пару «истина / ложь», цель, обеспечивающая цель для калькулятора, оказалась не столько логической истиной, сколько оценкой правильности, релевантности или правдоподобия. ответов, предоставленных системой. Однако об этой оценке больше нельзя было позаботиться по существу с помощью правил калькулятора; он должен был быть перенесен в мир, состоящий из экспертов, которые были мобилизованы, чтобы предоставить примеры и контрпримеры для механизмов машинного обучения²².

С появлением вероятности умозаключений эти методы глубже проникли в сферу искусственного интеллекта, чтобы выполнять задачи, которые программистам было невозможно выполнять вручную (Карбоннелл и др., 1983). Следуя работе Тома Митчелла (1977), методы обучения можно было бы описать как статическое решение для поиска лучшей модели в пространстве гипотез - или версий - автоматически генерируемых калькулятором. В экспертных системах это пространство гипотез было сильно структурировано по характеру входных данных, то есть, знания. Механизм обучения исследует несколько версий моделей, созданных калькулятором, для поиска непротиворечивой гипотезы, используя логические выводы для построения рассуждений (обобщение концепций, подчинение, обратная дедукция). Статистические методы для устранения потенциальных гипотез также созрели и развились, создавая рассуждения на основе выводов, такие как деревья решений (которые впоследствии привели к случайным лесам, методам разделяй и властвуй или байесовским сетям, которые служили для упорядочивания зависимостей между переменными с помощью каузального формализма. (Домингос, 2015)). Даже в автоматическом режиме автоматическое обнаружение целевой функции сохраняло идею о том, что модели - это гипотезы, и что даже несмотря на то, что машины больше не применяли определенный тип дедуктивных рассуждений, они выбирали наилучшее возможное рассуждение из набора потенциальных рассуждений. Однако, начиная с начала 1990-х годов, изменение характера данных, составляющих мир ввода калькулятора, привело к сдвигу в области машинного обучения. Было больше данных, они больше не были организованы в виде помеченных переменных или взаимозависимых понятий, и вскоре они потеряли понятность, превратившись в числовые векторы (ниже). Данные больше не имеют структуры и могут быть собраны только в форме статистической близости. Как следствие, в области машинного обучения произошел переход от методов разведки к методам оптимизации (Cornuéjols et al., 2018, стр. 22), который разрушил бы святилища правил в пользу массовых статистических расчетов.

Увеличивая объем и реалистичность данных для вычислений, индуктивный механизм изменил направление внутри калькулятора. Если данные больше не предоставляют информацию о взаимосвязях между собой (категории, зависимости между переменными, концептуальные сети), то для определения целевой функции индуктивный механизм должен полагаться на окончательные критерии оптимизации, чтобы выполнить правильное распределение (Cornuéjols et al., 2018: 22). Преобразование в составе мира для обучения побудило исследователей изменить реализованный индуктивный метод и тем самым предложить совершенно иную архитектуру для прогнозирующих машин. Этот сдвиг ускорился с помощью нейронных сетей (Infra), но поворот уже был подготовлен в мире машинного обучения. Поскольку данные становились все менее символическими, индуктивный механизм больше не искал модель в структуре исходных данных, а скорее в коэффициенте оптимизации (Mazières, 2016). Цель вычисления больше не была внутренней для калькулятора, а скорее значением, которое мир присвоил ему извне - и которое очень часто было человеческим, как продемонстрировала вся ручная работа по маркировке данных: есть ли на этом изображении носорог (или не)? Кликнул ли этот пользователь по этой ссылке (или нет)? Ответ (критерии оптимизации) необходимо ввести в калькулятор вместе с данными, чтобы первый мог найти адекватную модель. Таким образом, новые методы машинного обучения (SVM, нейронные сети) оказались более эффективными, в то время как они стали непонятными, как подчеркивал изобретатель деревьев решений Лео Брейман (2001). провокационная статья о двух культурах статистического моделирования.

Великолепные святилища, воздвигнутые строителями экспертных систем, не исполнили своих обещаний. Вскоре они оказались чрезвычайно сложными и очень ограниченными в своих возможностях. Высокодинамичный рынок, сложившийся в середине 1980-х годов, внезапно рухнул, и многообещающие компании ИИ обанкротились, в частности потому, что для продажи экспертных систем им также приходилось продавать специализированные рабочие станции, называемые машинами LISP, по непомерным ценам, одновременно когда рынок ПК был на подъеме (Марков, 2015: 138 и далее). Снижение стоимости и увеличение вычислительной мощности в течение 1980-х сделало мощные калькуляторы доступными для неортодоксальных и девиантных школ мысли, которые были исключены из финансирования крупных проектов в области информатики в результате монополии символической школы (Fleck, 1987 : 153). Контроль небольшого круга влиятельных университетов над символическим определением ИИ стал слабее, учитывая, что экспертные системы давали лишь очень ограниченные результаты в областях синтеза голоса, распознавания форм и других секторов. В начале 1990-х годов символический ИИ был настолько слаб, что этот термин практически исчез из исследовательской лексики. Создание бесконечных хранилищ явных правил для передачи тысяч тонкостей восприятия, языка и человеческого мышления все чаще рассматривалось как невыполнимая, необоснованная и неэффективная задача (Collins, 1992; Dreyfus, 2007).

РАСПРЕДЕЛЕННЫЕ ПРЕДСТАВЛЕНИЯ ГЛУБОКОГО ОБУЧЕНИЯ

Именно в этом контексте и в конце фазы депрессии, начавшейся в конце 1960-х годов, в 1980-х и 1990-х годах коннекционистские подходы вернулись с огромным теоретическим и алгоритмическим творчеством. После встречи в июне 1979 года в Ла-Хойе (Калифорния), организованной Джеффом Хинтоном и Джеймсом Андерсоном, междисциплинарная исследовательская группа, состоящая из биологов, физиков и компьютерных ученых, снова предложила обратить свое внимание на массово распространенные параллельный характер психических процессов с целью поиска альтернативы классическому когнитивизму. Эта группа приобрела реальную известность в 1986 году с публикацией двух томов исследований под названием Параллельная распределенная обработка (PDP), термин, выбранный во избежание негативной репутации коннекционизма (Румельхарт и др., 1986b ). В отличие от последовательных подходов компьютерного и символического мышления, PDP исследовал микроструктуры познания, снова используя метафору нейронов для разработки контрмодели с оригинальными свойствами: элементарные единицы были связаны друг с другом через обширную сеть связей; знания не хранились статически, а основывались на прочности связей между единицами; эти единицы взаимодействуют друг с другом посредством бинарного механизма активации (валюта нашей системы - не символы, а возбуждение и торможение, стр. 132); эти активации происходили постоянно, параллельно, а не по стадиям процесса; не было централизованного контроля над потоками; одна подпрограмма не запускала поведение другой, а вместо этого подсистемы модулировали поведение других подсистем, создавая ограничения, которые были учтены в расчетах; и операции, выполняемые машиной, были подобны системе релаксации, в которой вычисления итеративно выполнялись для выполнения приближений, удовлетворяющих большому количеству слабых ограничений (систему следует думать о more как о переходе в решение , чем вычисление решения , стр. 135). Устройство коннекционистов действительно создавало внутренние репрезентации, и эти репрезентации могли быть высокоуровневыми, но они были субсимволическими, статистическими и распределенными (Смоленский, 1988). Как следует из этого краткого резюме, коннекционистский подход был не простым методом, а, скорее, весьма амбициозной интеллектуальной конструкцией, призванной полностью опровергнуть вычислительный когнитивизм:

Я думаю, что в первые дни, еще в 50-х годах, такие люди, как фон Нейман и Тьюринг, не верили в символический ИИ. Их гораздо больше вдохновлял мозг. К сожалению, они оба умерли слишком молодыми, и их голос не был услышан. На заре искусственного интеллекта люди были полностью убеждены, что репрезентации, необходимые для интеллекта, были своего рода символическими выражениями, своего рода очищенной логикой, в которой вы можете делать немонотонные вещи, и не совсем логические, а как логические, и что суть разума заключалась в рассуждении. Теперь произошло совершенно иное мнение: мысль - это просто большой вектор нейронной активности. Так что сравните это с мыслью, являющейся символическим выражением. Я думаю, что люди, которые считали мысли символическими выражениями, совершили огромную ошибку. На выходе получается строка слов, а на выходе - строка слов, и поэтому строки слов являются очевидным способом представления вещей. Итак, они подумали, что между ними должна быть цепочка слов или что-то вроде цепочки слов. И я думаю, что то, что между ними, не похоже на цепочку слов. […] Мысли - это просто эти огромные большие векторы, и эти большие векторы обладают причинной силой; они вызывают другие большие векторы, и это совершенно не похоже на стандартное представление ИИ²³

Хотя эти эпистемологические отсылки утратили свою актуальность для новых прагматичных пользователей современных нейронных сетей, которые никогда не испытывали исключения и насмешек, которым подвергались их предшественники, они были постоянным двигателем неустанного стремления к коннекционистскому проекту. Между входящими и выходящими цепочками слов приходилось вставлять не модель, запрограммированную логическим умом, а сеть элементарных сущностей, адаптирующих свои коэффициенты к входам и выходам. По мере возможности, это было необходимо, чтобы он делал это сам, а для этого требовалось множество артефактов.

Перенастройка коннекционизма на основе алгоритмов

В начале 1980-х, в соответствии с работами «Джона Хопфилда», который предложил пересмотренную версию модели персептрона, которая давала каждому нейрону возможность независимо обновлять свои значения, физик «Терри Сейновски» и английский психолог «Джефф Хинтон» »Разработаны новые многоуровневые архитектуры для нейронных сетей (получившие название« машины Больцмана »). Они также разработали «Nettalk», систему с тремя слоями нейронов и 18 000 синапсов, которая успешно преобразовывала тексты в разговорные фразы. Однако истинным поворотным моментом в этом возрождении стало создание алгоритма, называемого стохастическим обратным распространением градиента (сокращенно «backprop»), который позволял вычислять веса коэффициентов («Rumelhart et al. , 1986а »). Вопреки критике Мински и Паперта («1969») авторы показали, что когда сетям даны несколько уровней, их можно легко обучить, поскольку дополнительные слои нейронов позволяют им изучать нелинейные функции. Алгоритм работает, беря производную функции потерь сети и «распространяя» ее ошибку, чтобы исправить коэффициенты на нижних уровнях сети²⁴. Подобно кибернетическим машинам, ошибка вывода «распространяется» на входы (рисунок 5).

С существованием универсального алгоритма, который служил для оптимизации любого типа нейронной сети, 1980-е и 1990-е годы были замечательным периодом изобретательности, который сильно повлиял на возрождение коннекционизма. Одним из первых успехов было их применение «Янном ЛеКуном» для распознавания почтовых индексов, проведенное в AT&T Bell Labs («Lecun et al., 1989»), которое «изобрело» технику свертки. Используя базу данных почтовой службы США, он успешно обучил многослойную сеть распознаванию номеров почтовых индексов, написанных на пакетах. Его успешный подход стал одним из первых широко распространенных бизнес-приложений нейронных сетей, сначала в банковском (проверка сумм чеков) и почтовом секторе. Затем последовал ряд предложений по интеграции большего количества скрытых слоев, по усложнению карты соединений («кодировщики»), по диверсификации функций оптимизации («ReLU»), по интеграции памяти в сетевые уровни («повторяющиеся сети» и «LSTM»), чтобы сделать обучение без учителя и с учителем зависимым от части сети («сеть убеждений») и так далее («Куренков, 2015»). В очень творческой манере были подвергнуты испытанию многочисленные архитектуры, по-разному связывающие взаимосвязи между нейронами, с целью изучения их свойств.

"Они могут быть не выпуклыми, но более эффективными!"

Несмотря на то, что эти алгоритмы заложили основы большинства подходов, которые теперь называют глубоким обучением, их изобретение не сразу увенчалось успехом. С 1995 по 2007 год институциональная поддержка стала очень редкой, доклады на конференциях отклонялись, а полученные результаты оставались ограниченными. Они пережили колоссальную зиму, - говорит исследователь компьютерного зрения. Правда в том, что в то время никто не мог заставить эти машины работать. В мире было пять лабораторий, которые знали как, но мы не могли их обучить ²⁵. Исследователи, поддерживающие эти методы вокруг Джеффа Хинтона, Янна ЛеКуна и Йошуа Бенжио, были небольшой, изолированной, но сплоченной группой, чья исключительная поддержка исходила от Канадского института перспективных исследований (CIFAR). Их положение стало еще более трудным в 1992 году, когда они столкнулись с появлением оригинальной техники обучения: опорных векторных машин, также называемых ядерными методами, которые оказались очень эффективными для небольших наборов данных. Уже изгнанные из сообщества искусственного интеллекта, коннекционисты снова оказались на задворках сообщества машинного обучения.

В то время, если вы сказали, что создаете нейронную сеть, вы не смогли бы опубликовать статью. Так было до 2010 года, в прежнем виде. Я помню, как однажды ЛеКун был в нашей лаборатории в качестве приглашенного профессора, и нам пришлось приложить усилия, чтобы поесть вместе с ним. Никто не хотел идти. Клянусь, это была неудача. Он плакал, его публикации не принимали в CVPR, его методы не были модными, это не было сексуально. Итак, люди тяготели к тому, что было популярным. Они тяготели к ядрам, машинам SVM. И ЛеКун сказал бы: «У меня есть 10-слойная нейронная сеть, и она делает то же самое». Тогда мы бы сказали: «Вы уверены? Какие новости?" Потому что, если у вас есть нейронная сеть, даже если на этот раз в ней может быть 10 слоев, она не будет работать лучше, чем предыдущий. Это отстой! Затем он говорил: «Да, но данных не так много!» ²⁶

Один аргумент постоянно появляется в критике редких сторонников нейронных сетей:

Они [сторонники SVM] всегда говорили: «они [нейронные сети] не выпуклые, это просто ярлык». Это все, что они сказали. Мы подавали документы, и они говорили: «Они не выпуклые!» Мастера математики, помешанные на оптимизации, которые никогда в жизни не видели ничего другого! Так было много лет. Но нам было наплевать .²⁷

Из-за своей нелинейной природы²⁸ нейронные сети не могли гарантировать, что общий минимум был найден на этапе оптимизации функции потерь; с таким же успехом он мог бы сходиться к локальному минимуму или плато²⁹. С 2005 по 2008 год настоящая политика реквеста была инициирована небольшой группой «нейронных заговорщиков» («Маркофф, 2015»: 150), которые намеревались убедить сообщество машинного обучения в том, что оно стало жертвой эпидемии «нейронного заговора». конвексит »(« LeCun, 2007 »). Когда их статьи были отклонены на «NIPS» в 2007 году, они организовали ответвленную конференцию, на которой участников отвезли в отель Hyatt в Ванкувере, чтобы защитить подход, который сторонники доминирующих SVM в то время считали архаичным и алхимическим. «Янн ЛеКун» первым начал с заголовка своей статьи: «Кто боится невыпуклых функций потерь?» После представления нескольких результатов, показывающих, что нейронные сети более эффективны, чем SVM, он утверждал, что чрезмерная привязанность к теоретическим требованиям, вытекающим из линеаризованных моделей, препятствует созданию инновационных архитектур вычислений и возможности рассматривать другие методы оптимизации. Очень простой метод стохастического градиентного спуска не может гарантировать сходимость к глобальному минимуму, однако «когда эмпирические данные указывают на факт, в отношении которого у вас нет теоретических гарантий, это как раз означает, что теория не адаптирована […], если это означает что надо выпуклость выбросить в окно, тогда ничего страшного! » («LeCun, 2017», 11’19).

Творческие люди всегда сумасшедшие. Вначале эта группа, творческие люди, были очень шумными. После этого прибыли люди из других областей, помимо ИИ, пришедшие из математики и отказавшиеся от градиентного спуска, чтобы рассказать вам о своих методах: «Моя теорема более элегантна, чем ваша». В оптимизации люди потратили около десяти лет на поиск более эффективного метода выпуклости и выполнение очень сложных, но очень дорогостоящих вещей [с точки зрения вычислительной мощности]. В этом есть свои преимущества, но он был истощен тысячами бумаг, и когда внезапно прибыла большая волна данных, ни одна из их машин не работала! ³⁰

Преобразование мира в векторы

Таким образом, коннекционисты сместили научную полемику вокруг выпуклости, потребовав, чтобы новые потоки данных, стучащие в двери лабораторий, содержали выбор лучшего метода расчета. Архитектура машин прогнозирования была преобразована для обслуживания больших данных. Он не имел ничего общего с небольшими, откалиброванными и искусственно созданными наборами данных традиционных соревнований между исследователями. Это связано с тем, что во время этих дебатов компьютеризация общества и развитие веб-сервисов вызвали появление новых инженерных проблем, основанных на больших объемах данных, таких как обнаружение спама, методы совместной фильтрации для выработки рекомендаций, прогнозирование запасов, поиск информации или анализ социальных сетей. В промышленном контексте статистические методы новой области науки о данных заимствованы и разработали методы машинного обучения (байесовские методы, деревья решений, случайные леса и т. Д.), Не беспокоясь о позиционировании себя в отношении проблем ИИ («Dagiral and Parasie , 2017 »). С другой стороны, было ясно, что, столкнувшись с объемом и неоднородностью характеристик данных, в отличие от «подтверждающих» методов, необходимо использовать больше «исследовательских» и индуктивных методов («Tuckey, 1962»). Он также контактировал с отраслевыми игроками (первоначально AT&T, затем Google, Facebook и Baidu), что заговорщики нейронных сетей решали проблемы, вычислительные мощности и наборы данных, позволяя им продемонстрировать потенциал своих машин и отстоять свою точку зрения на научная полемика. Они привлекли нового судью: эффективность прогнозов, в данном случае применительно к «реальному» миру.

Эти данные были частично взяты из Goodfellow и др. («2016»: 21 и 24) и были дополнены на основе статьи Википедии «Список наборов данных для исследования машинного обучения».

От моделирования к архитектуре

В результате реального сдвига то, что предлагалось разнообразием и объемом данных, пришлось удалить из калькулятора. Поэтому разработчики нейронных архитектур приступили к систематическому и строгому устранению всех явных правил, намеренно встроенных в калькуляторы с целью заблаговременной идентификации, описания или агрегирования данных. Исследователь в этой области объяснил:

За этим стояла сила. Была волна, волна данных, своего рода гигантская фоновая волна, которая все смыла. И это полностью отбросило школы мысли, которые основывались на моделировании людей, явном моделировании. Я работал в нескольких областях приложения, включая речь, письмо, текст, социальные данные, и каждый раз видел одно и то же. Какое-то время люди думали о том, чтобы внедрить знания в свою систему, но это было отброшено. Систематически! И вот уже тридцать лет с тех пор оно рушится, поле за полем. Вот как обстоят дела. Знаете, это забавная штука. Это как когда люди всю жизнь верят в социалистический режим, а затем он рушится прямо на их глазах… Это то же самое .³²

С конца 2000-х дестабилизирующее чувство, возникающее при наблюдении за техникой без теории, заменяет годы усилий по терпеливому моделированию поведения, распространяясь по всем сообществам сигналов, голоса, изображений и машинного перевода один за другим. В поле за полем нейросетевые вычисления становились более эффективными, перенося операции, которые ранее были в центре внимания научной деятельности - проектирование признаков и распознавание образов - на распределение веса в сети. Эти методы состояли из созданных вручную алгоритмов для определения характеристик исходных данных - процесса извлечения, который облегчил обучение за счет упрощения взаимосвязи между характеристиками и целью задачи. Все более эффективная автоматизация распознавания признаков позволила методам статистического машинного обучения стать более мощными, чем моделирование в калькуляторах (выше) ³³. Однако нейронные сети сделали этот сдвиг радикальным, на этот раз устранив любой процесс извлечения признаков в пользу сквозной обработки: переход от сырых цифровых данных к помеченному примеру без явного с целью создания промежуточных представлений данных, направляющих вычисления к цели.

Примером такого сдвига является принцип свертки, использованный во вступительной иллюстрации к этой статье. Сообщество компьютерного зрения разработало чрезвычайно тонкие методы извлечения для определения границ, углов, контрастов переходов и конкретных точек интереса на изображениях, чтобы связать их с мешками слов, используемыми в качестве функций для задачи, возложенной на калькулятор. Эти операции стали неявной обязанностью конкретной структуры, данной сверточным сетям: разбиение изображения на маленькие плитки пикселей, предназначенных для отдельных сегментов нейронов, чтобы собрать их на другом сетевом уровне. Вместо того, чтобы моделировать носорога или особенности блоков пикселей, которые определяют форму носорога, несколько тысяч фотографий носорогов, движущихся внутри изображения, часть тела которых усечена при просмотре под разными углами и положениями, сделают снимок. Намного лучше запечатлеть концепцию формы носорога в весе нейронов, чем процедура предварительной обработки признаков, которая не знает, как решать проблемы, связанные с неизменностью масштаба, трансформации или вращения. Связь между фрагментом данных и его характеристикой не исследуется, а скорее определяется. Нейронные сети действительно извлекают элементы - края часто видны первым слоем нейронов, углы - другим, более сложные элементы формы - другим, - но эти операции, не реализованные явно, являются возникающими эффектами сеть с архитектурными ограничениями.

Таким образом, предварительная обработка расчетных «параметров» была преобразована в определение «гиперпараметров» калькулятора. Чем больше уменьшалась человеческая составляющая моделирования, тем сложнее становилось определение архитектуры индуктивных машин. Полностью подключенная нейронная сеть ничего не производит; необходимо лепить его, чтобы адаптировать его архитектуру к возложенной на него задаче машинного обучения: количество скрытых слоев, количество нейронов на слой, карта связей, выбор функции активации, тип оптимизации, коэффициенты в начале обучения, выбор целевой функции, количество раз, когда обучающий набор данных будет показан модели, и т. д. Эти конфигурации корректируются методом проб / ошибок. Например, метод отсечения состоит в удалении нейронов, чтобы увидеть, не влияет ли это на производительность сети. Техника отсева предполагает, что на этапе обучения не следует отправлять сигналы определенным нейронам на входном слое или скрытых слоях случайным образом, чтобы избежать чрезмерной подгонки, когда сеть должна обобщать новые данные. Эти рецепты, передовой опыт и отраслевые стандарты в значительной степени являются предметом обсуждения в сообществе и по-прежнему носят характер самостоятельной работы («Domingos, 2012»). Столкнувшись с математическим уточнением извлечения признаков, создание нейронных сетей может показаться делом хакера, занятием для одаренных программистов, наделенным своего рода черной магией.

То, что они сделали, чтобы удалить все функции извлечения, чтобы принять необработанное изображение, ребята, которые сделали это с «Hinton», они были сумасшедшими, потому что одно дело воспроизвести что-то, но сделать это так, исследуя! Они создали системы невообразимой сложности и смогли заставить их работать. Если вы возьмете газету у одного из этих людей и посмотрите на нее, вы скажете, что это страшно, я слишком стар для этого! Эти парни почти даже разговаривают с вами, как будто они программируют. Они не создают описание с тремя понятными для меня уравнениями. Но в 5 строках они могут описать нечто сверхсложное. Другими словами, он создал архитектуру, в которой он разместил 100 элементов, связанных друг с другом, и чтобы связать их, для каждого из них у вас есть десять возможных вариантов. Он поигрался с этим и сумел заставить его работать. Это хакер; это работа хакера! ³⁴

Таким образом, гиперпараметры стали тем местом, куда были перенесены новые требования к объяснимости нейронных сетей. Данные «говорят сами за себя» только тогда, когда они представлены в архитектуре, которую нельзя извлечь из данных, и которая с этого момента была в центре внимания значительной части исследований ИИ. На конференции «NIPS» заслуживающим внимания докладом была статья, предлагающая новую архитектуру, которой, как и планетам, исследователи систематически давали имена, тем самым создавая странный вид бестиария (Рисунок 7). Путем перехода от моделирования к архитектуре, которая была местом, где могла быть выражена изобретательность исследователей, также изменились навыки и качества, необходимые для их проектирования. Это позволило новой группе специалистов по обработке данных, мастеров-мастеров и программистов войти в ранее очень закрытую сферу производителей ИИ, особенно из-за наличия открытых и простых в использовании инструментов. Преобразовывая архитектуру машин для прогнозирования, коннекционисты внесли свой вклад в изменение социальных миров ИИ: во-первых, потому, что «реальные» данные, и в частности данные из цифровых отраслей, (частично) заменили «игрушечные» наборы данных академических лабораторий; и во-вторых, потому что ноу-хау, необходимое для создания соединительных машин, требовало навыков компьютерной разработки, отличных от навыков предыдущих поколений ИИ.

РАБОТА ИНДУКЦИИ

Путь интеллектуальных машин, историю которых мы только что суммировали в четырех последовательных конфигурациях, показывает глубокую трансформацию их архитектуры (Таблица 1 ниже). мир, калькулятор и цель этих устройств были коренным образом реорганизованы, и взаимосвязи между этими компонентами формируют устройства, которые предлагают заметно разные определения интеллекта, рассуждения и предсказания.

Тем не менее в этой изменчивой истории проявляется глобальная динамика. Материалистическое стремление представить сознание в вычислительном отношении сегодня приняло решительно коннекционистский подход. Но нынешний успех индуктивных машин, конечно же, не означает, что был найден окончательный пункт или решение. Несмотря на свое мастерство, методы глубокого обучения очень далеки от удовлетворения потребностей общей программы искусственного интеллекта, что является источником постоянной критики со стороны символистов, которые, цепляясь за обрыв, заявляют, что эти два подхода необходимо гибридизировать3. Однако из истории, за которой мы следили в этой статье, ясно, что эта индуктивная реорганизация прогнозных вычислений не могла быть осуществлена ​​без значительных и амбициозных усилий по изменению баланса между миром данных и формой вычислений.

Прежде всего, как входные данные для калькулятора, состав мира претерпел глубокие изменения с точки зрения атомизации и грануляризации. В то время как миры игрушечных и экспертных знаний символических машин состояли из маленьких, ограниченных миров, которые были очищены и приручены с помощью структуры понятных и взаимозависимых функций, коннекционистские машины работают в мире, в котором данные должны поступать не только в огромных количествах. объемы, но также должны быть как можно более атомизированными, чтобы лишить его какой-либо явной структуры. Даже если данные содержат закономерности, композиционные отношения, глобальные стили и т. Д., Эти элементы должны выделяться калькулятором, а не программистом. Таким образом, первый компонент достижения индукции должен заключаться во вводе данных в систему самым элементарным способом: пиксели, а не формы, частоты, а не фонемы, буквы, а не слова, щелчки, а не утверждения пользователей Интернета, поведение, а не категории. и так далее (Кардон, 2017). Тот факт, что данные могут быть разнородными, избыточными и часто неверными, больше не является проблемой; каждый сигнал может быть добавлен в виде нового столбца во входной матрице, которая формирует мир коннекционистских машин. Следовательно, данные не доступны для восприятия калькуляторами в сырой и немедленной форме, а скорее подвергаются дроблению и разделению, чтобы преобразовать их в наиболее элементарные возможные стандартизованные цифровые знаки. Для создания этих входных данных новая метрология датчиков, записей и баз данных представляет собой важную инфраструктуру для преобразования изображений, звуков, движений, щелчков или переменных всех типов в эти гигантские векторы, необходимые для подключенных машин (Mackenzie, 2017).

Вторая особенность этого сдвига в целом - исчезновение априорной мобилизации деятельности вычислителя (явление, которое часто называют концом теории (Anderson, 2008). ) в пользу вероятности моделей в рамках все более широкого пространства гипотез, за ​​которым следует более радикальное рассредоточение моделей, когда различные измерения данных учитываются на нескольких уровнях нейронных сетей. Огромное интеллектуальное стремление к моделированию рассуждений, типичное для раннего возраста искусственного интеллекта, рухнуло, открыв путь для важного вклада в исследования в области компьютерных наук. Коннекционистские машины сместили проблемы ИИ с решения абстрактных проблем, которые были в центре внимания ортодоксальной когнитивной науки, к восприятию особенностей в огромных объемах сенсорных сигналов. Вторая особенность предприятия по достижению индукции, вероятно, заключалась в успешном достижении условий, которые перевернули бы вычислительное устройство ИИ, чтобы производить программы на выходе, а не на входе. Однако нейронные сети никоим образом не исключают теорию; вместо этого они смещают его в сторону гиперпараметров архитектуры калькулятора, придавая слову теория менее символическое значение. Эта тема ставит вопросы, связанные с пониманием и взаимодействием процессов, которые они реализуют, делая свои прогнозы особенно деликатными (Burrel, 2016; Cardon, 2015). Как подсказывает PDP 1980-х годов и многочисленные исследования сложных систем, нам вполне может потребоваться научиться преобразовывать формы моделирования, которые больше не имеют привычных нам свойств (линейность, удобочитаемость, полнота, экономичность и т. Д.) с помощью - очень символической - идеи понятности моделей в социальных науках, на элементы, которые являются воспринимаемыми, применимыми и обсуждаемыми.

Третий сдвиг связан с целевым показателем, заданным калькулятору. В то время как интеллектуальные машины, созданные с помощью символического ИИ, поставили перед собой цель рациональных ожиданий логики - рациональность, внутреннюю для вычислений, которая позволяла сторонникам ИИ утверждать, что эти машины были «автономными», - в модели коннекционизма цель расчета не принадлежит калькулятор, а мир, который дал ему «маркированные» примеры. Выходы - производимые, символизируемые и предвзятые людьми - сегодня составляют один из самых важных входов машин коннекционизма. Третья особенность предприятия по достижению индукции заключалась в том, чтобы основывать характеристики предсказания на самом мире, обновляя адаптивные обещания рефлексивных машин кибернетики: сформировать систему с окружающей средой для вычислений, чтобы реализовать новый тип обратной связи. Поэтому несколько парадоксально, что, увековечивая «символическую» концепцию машинного интеллекта, большая часть критических споров вокруг предвзятости новых форм вычислений была направлена ​​на стратегические намерения программистов, в то время как последние постоянно стремились устранить все следы предшествующих форм вычислений. «Человеческое» вмешательство (свободное от знаний) в работу калькулятора. По общему признанию, разумно быть очень бдительным в отношении стратегических целей, которые компании цифровой экономики стремятся использовать в своих расчетах. Однако, чтобы быть более актуальной и эффективной, критика должна также адаптироваться к «индуктивной» революции предсказательных машин, потому что, хотя расчетные прогнозы не являются «естественным» отражением данных, надзор за обучением, на который необходимо обратить внимание все больше внимания уделяется составу входных данных, архитектуре, поддерживаемой различными системами, и целям. Апологетические или критические представления об искусственном интеллекте, основанном на жанре научной фантастики, основанном на символическом ИИ, - Марвин Мински был научным консультантом 2001: Космическая одиссея - кажутся крайне неуместными. устаревшие и, прежде всего, лишенные воображения столкновения с гораздо более интригующей и уникальной реальностью этих новых машин.

* Авторы располагаются в алфавитном порядке. Эта работа частично вдохновлена ​​кандидатом наук «Антуана»: «Картография машинного обучения и его алгоритмов» (на французском языке). Загляните сюда, если вам нужны более наукометрические данные и история сообществ ИИ.

АНДЕРСОН К. (2008), Конец теории: сделает ли поток данных устаревшим научный метод?, 23 июня, «http://www.wired.com/science/discoveries/magazine/ 16-07 / pb_theory. »

АНДЕРСОН Дж. А., РОЗЕНФЕЛЬД Э. (ред.) (1988), Нейрокомпьютеры: основы исследований, Кембридж, MIT Press.

АНДЛЕР Д. (1990), Связь и познание. À la recherche des bonnes questions , Revue de synthèse, №1–2, стр. 95–127.

АНДЛЕР Д. (1992), «От палео к нео-коннекционизму», в Г. Ван Дер Вийвер (редактор), Перспективы кибернетики, Dordrecht, Kluwer, стр. 125–146.

АНДЛЕР Д. (2016), Силуэт человека. Quelle place pour le naturalisme dans le monde d’aujourd’hui?, Париж, Галлимар.

Корпус «Искусственный интеллект» содержит 27 656 публикаций, полученных из Web of Science в феврале 2018 года с использованием запроса TS = («искусственный интеллект»). Размер узлов зависит от периодичности появления автора. В сети есть ссылки на авторов, которые регулярно цитируются в одних и тех же публикациях. Алгоритм обнаружения сообщества выявляет двойное разделение сети на два сплоченных сообщества.

1. Корпус Connectionist содержит 106 278 публикаций, полученных из Web of Science в феврале 2018 г. с использованием запроса TS = (искусственная нейронная сеть * ИЛИ Глубокое обучение ИЛИ перцептрон * ИЛИ Backprop * ИЛИ Глубокая нейронная сеть * ИЛИ Сверточная нейронная сеть * ИЛИ (CNN И нейронная сеть *) ИЛИ (LSTM И нейронная сеть *) ИЛИ (рекуррентная нейронная сеть * ИЛИ (RNN * И нейронная сеть * )) ИЛИ машина Больцмана * ИЛИ сеть Хопфилда * ИЛИ Автоэнкодер * ИЛИ сеть глубоких убеждений * ИЛИ рекуррентная нейронная сеть * ).
2. Впервые термин «коннекционизм» употребил Д. Хебб в 1949 году. Затем он был использован Ф. Розенблаттом в 1958 году (Andler, 1992).
3. О гомеостате см. Пикеринг (2010) и Рид (2016).
4. Обратите внимание, что в начале 1960-х работа над нейронными сетями считалась потенциальным путем для ИИ. Это очень быстро превратилось в область меньшинства, прежде чем быть полностью маргинализовано в рамках развивающейся области, но крупные конференции в начале 1960-х все еще собирали вместе исследователей как символической, так и коннекционистской школ мысли (Андерсон и Розенфельд, 1988).
5. Об истории возникновения ИИ см. Crevier (1997), McCorduck (1979) и Nilsson (2010).
6. Также называется LGAI для логического ИИ, AGI (общий искусственный интеллект), «сильный» или «полный ИИ», а сегодня - «старый добрый ИИ» (Haugeland, 1985).
7. Приведенные выражения взяты из транскрипции архивов семинара: http: // rayolomonoff.com/dartmouth/, получено 10.05.2018. Что касается желания порвать с кибернетикой, никто не говорит более откровенно, чем «Джон Маккарти» (1988): «Что касается меня, то одной из причин, по которой я придумал термин« искусственный интеллект », было избавление от ассоциации с« искусственным интеллектом ». кибернетика". Этот акцент на обратной связи казался мне неправильным, и я хотел избежать необходимости принимать Норберта Винера как гуру или разговаривать с ним ».
8. Еще один вклад «J. Маккарти »к развитию искусственного интеллекта было изобретением разделения времени, которое позволило программистам напрямую взаимодействовать с машиной и ее результатами, общаться с ней, тестировать ее и тем самым делать ее« умной »(Edwards, 1996 ).
9. Как подчеркивает Дж. Маркофф (2015), вся история информатики основана на противостоянии между людьми, продвигающими интеллект в машинах (искусственный интеллект - ИИ), воплощенным ПАРУСОМ, лабораторией «Джона Маккарти» в Стэнфорде и воплощенным в одержимость робототехникой; и люди, стремящиеся распределить интеллект между людьми и машинными интерфейсами (усиление интеллекта - IA), из которых соседняя лаборатория Д. Энгельбарда могла бы стать очень продуктивной цитаделью, и которая дала бы начало школе взаимодействия человека и компьютера (HCI). См. Также Grudin (2009).
10. Мински и Паперт описали микромиры как «сказочную страну, в которой все настолько упрощено, что каждое утверждение о них было бы буквально ложным, если бы оно было утверждено в реальном мире» (Minski and Papert, 1970: 36). Гипотеза, лежащая в основе этой редукции, заключалась в том, что сетевое представление абстрактных концепций в пределах микромиров можно было затем обобщить на более полный и подробный мир. Сторонники коннекционизма использовали противоположную аргументацию: это описание информации на самом элементарном уровне, которое впоследствии позволяет сети обобщать.
11. Например, это точка зрения, реализованная с помощью анализа целей / средств, предложенного Ньюэллом и Саймоном (Newell and Simon, 1963) для решения общих проблем.
12. Электронный мозг сам учит себя, New York Times, 13 июля 1958 года.
13. Вслед за книгой Х. Дрейфуса и часто в контакте с социальными и гуманитарными науками, вокруг витгенштейновской критики правил возникла очень продуктивная школа критики ИИ. Результатом стала работа над распределением интеллекта в пространстве (Коллинз), коллективной формой познания (Брукс) или воплощенным разумом (Варела).
14. Другие названия интеллектуальных машин во время второй волны ИИ: интеллектуальные системы, основанные на знаниях, инженерия знаний, автоматизация делопроизводства или многоагентные системы.
15. В 1967 г. во время лекции в Карнеги перед А. Ньюэллом и Х. Саймоном Э. Фейгенбаум бросил вызов своим бывшим профессорам: «Вы, люди, работаете над проблемами игрушек. Шахматы и логика - игрушечные задачи. Если вы их решите, вы решите игрушечную задачу. И это все, что вы сделали. Выйдите в реальный мир и решите проблемы реального мира »(Фейгенбаум и МакКордак, 1983: 63).
16. Теория «фреймов» М. Минского (1975) оказала большое влияние на этот процесс и привела к всеобъемлющей теории в «Обществе разума» (1986).
17. Для последователей логики, таких как А. Ньюэлл, такая позиция была ересью: «у вас есть все эти эксперты, работающие на вас, и когда у вас возникает проблема, вы решаете, какого эксперта вызвать для решения проблемы» (McCorduck, 1979: 267). .
18. Хинтон Г., «Герои глубокого обучения: Эндрю Нг берет интервью у Джеффри Хинтона», YouTube, 8 августа 2017 г. (начиная с 37’20).
19. Споры ведутся вокруг предшествования алгоритма «обратного распространения ошибки». Этот метод был сформулирован и неоднократно использовался до публикации этой статьи, в частности Линнаинмаа в 1970 году, Вербосом в 1974 году и ЛеКуном в 1985 году.
20. Интервью V, исследователь компьютерного зрения, 12 марта 2018 г.
21. Там же.
22. Интервью Ф., исследователя информатики, одного из пионеров глубокого обучения во Франции, 20 июля 2018 г.
23. Уникальность нейронных сетей заключается в том, что функция активации нейрона создает разрывы, которые производят нелинейные преобразования; выход не может быть воспроизведен линейной комбинацией входов.
24. Свойство, обеспечившее репутацию SVM, заключалось в том, что они предлагали линейную систему, которую можно было стандартизировать, чтобы гарантировать выпуклость (Boser et al., 1992).
25. Интервью Ф., одного из пионеров глубокого обучения во Франции, 20 июля 2018 г.
26. Верные когнитивной модели коннекционизма, три основных сторонника глубокого обучения Я. ЛеКун, Дж. Хинтон и Й. Бенжио переводят ее в расчетные термины: «Проблема репрезентации лежит в основе спора между логикой. -вдохновленные и вдохновленные нейронными сетями парадигмы познания. В парадигме, основанной на логике, экземпляр символа - это нечто, единственное свойство которого состоит в том, что он либо идентичен, либо не идентичен другим экземплярам символа. У него нет внутренней структуры, относящейся к его использованию; а чтобы рассуждать с помощью символов, они должны быть связаны с переменными в разумно выбранных правилах вывода. Напротив, нейронные сети просто используют большие векторы активности, большие весовые матрицы и скалярные нелинейности для выполнения типа быстрого «интуитивного» вывода, который лежит в основе легкого здравого смысла »(LeCun et al., 2015: 436).
27. Интервью Ф., одного из пионеров глубокого обучения во Франции, 20 июля 2018 г.
28. «Многие разработчики систем искусственного интеллекта теперь понимают, что для многих приложений гораздо проще обучить систему, показывая ей примеры желаемого поведения ввода-вывода, чем программировать ее вручную, ожидая желаемого отклика для всех возможных вводов» (Джордан и Митчелл, 2015: 255).
29. Интервью Ф., одного из пионеров глубокого обучения во Франции, 20 июля 2018 г.
30. См. Дискуссию между Y. LeCun и G. Markus (2017). Маркус призвал к гибридизации символического и коннекционистского подходов, поскольку последний имел многочисленные недостатки, которые создавали новые исследовательские проблемы в этой области: он позволял интерполировать между двумя известными примерами, но плохо справлялся с экстраполяцией в ситуациях, которые не рассматривались. обучения; его модели потребляли значительный объем помеченных данных, которые часто не всегда были доступны; он не был способен установить иерархию рассуждений, изолировав правила и абстракции; он не был способен интегрировать ранее существовавшие знания относительно рассчитанных данных; ему не хватало прозрачности и объяснимости; он предсказывает стабильный и статичный мир, не будучи готовым к неожиданным элементам; это было вероятностным и неспособным предсказывать с уверенностью и точностью (Маркус, 2018).
31. В методе нейронной сети, который мы недавно увидели триумф на ECCV’12, нет ничего нового. Используя преимущества увеличения вычислительной мощности компьютеров и доступности гигантских баз данных, сегодня он выполняет обещание, данное в начале кибернетики. Удивительно, но недавно для описания этих выдающихся достижений в области вычислений был принят термин искусственный интеллект (AI). Возвращение этого термина, придуманного «Джоном Маккарти» в 1956 году, на передний план - интересная загадка в истории науки и техники. В частности, большинство близких наблюдателей заявляют, что в настоящее время наблюдается заметный прогресс в расчетном прогнозировании только в области методов машинного обучения и, в частности, в области глубокого обучения. Однако не всегда считалось, что эти методы относятся к сфере ИИ. В бурной истории этой области исследований методы машинного обучения с использованием нейронных сетей - которые мы будем называть «коннекционистскими» методами - долгое время высмеивались и подвергались остракизму со стороны «символической» школы мысли. Это противоречие между этими двумя подходами возникло с появлением искусственного интеллекта, который явно отличался от ранней кибернетики. Символический подход, который составлял исходную основу для ИИ, был отождествлен с ортодоксальным когнитивизмом, с точки зрения которого мышление состоит из вычисления символов, которые имеют как материальную реальность, так и ценность семантического представления. В отличие от этого, коннекционистская парадигма считает мышление похожим на массовое параллельное вычисление элементарных функций - функций, которые будут распределяться по нейронной сети, осмысленное поведение которых проявляется только на коллективном уровне как возникающий эффект взаимодействий, производимых эти элементарные операции («Андлер, 1992»). Это различие между двумя способами представления и программирования «интеллектуальной» работы машины является основой напряженности, которая последовательно и очень глубоко структурировала направления исследований, научной карьеры и проектирования вычислительной инфраструктуры. Таким образом, сейчас мы являемся свидетелями одного из ситуативных поворотов, типичных для истории науки и техники: исследовательская стратегия, маргинализованная людьми, которые внесли свой вклад в создание концептуальных рамок для искусственного интеллекта, снова выходит на первый план и сейчас находится в стадии реализации. позиция для очень глубокого пересмотра той области, из которой она была исключена. Как иронично заявил «Майкл Джордан» («2018»), «при интересном перевороте именно интеллектуальная повестка дня Винера стала доминировать в нынешнюю эпоху под знаменем терминологии Маккарти».
32. Тем не менее в 80-е годы ИИ пережил вторую весну, когда он предложил существенную модификацию архитектуры символических машин под названием «экспертные системы». Это возрождение стало возможным благодаря доступу к более мощным калькуляторам, позволяющим вводить гораздо большие объемы данных в память компьютера. Таким образом, «игрушечные» миры могут быть заменены репертуаром «специализированных знаний», взятых из экспертных знаний² ». Артефакты ИИ второго поколения взаимодействовали с внешним миром, который не был разработан и сформирован программистами. Теперь он состоял из знаний, которые нужно было получить от специалистов в разных областях, преобразовать в набор декларативных предложений и сформулировать на максимально естественном языке («Виноград, 1972»), чтобы пользователи могли с ними взаимодействовать. задавая вопросы («Гольдштейн и Паперт, 1977»). Эта внешность мира для вычислений привела к модификации структуры символических машин, разделив «механизм вывода» на то, что впоследствии составило бы калькулятор, и ряд возможных миров называемая «производственными системами», согласно терминологии, предложенной «Эдвардом Фейгенбаумом» для «DENDRAL», первой экспертной системой, которая могла идентифицировать химические компоненты материалов. Данные, из которых состоят эти базы знаний, состояли из длинных, легко изменяемых и изменяемых списков правил типа «ЕСЛИ… ТОГДА» (например: «ЕСЛИ ЛИХОРАДКА, ТО [ПОИСК ИНФЕКЦИИ]»), которые были отделены от механизма, позволяющего один, чтобы решить, когда и как применять правило (механизм вывода). «MYCIN», первая реализация базы знаний из 600 правил, направленных на диагностику инфекционных заболеваний крови, была отправной точкой в ​​1980-х годах развития инженерии знаний, которая, по сути, будет применяться в научном и промышленном контексте: «XCON» (1980) помогал клиентам «DEC computers» их настраивать; DELTA (1984) выявила поломки локомотивов; ПРОСПЕКТОР обнаружил геологические месторождения и др. («Crevier, 1997», стр. 233). Крупные отрасли промышленности создали команды ИИ как часть своей организации; исследователи начали промышленную авантюру; инвесторы устремились к этому новому рынку; компании росли исключительными темпами (Teknowledge, Intellicorp, Inference) - всегда при добросовестной поддержке ARPA («Roland and Shiman, 2002»); и СМИ ухватились за это явление, еще раз объявив о скором появлении «интеллектуальных машин» («Waldrop, 1987»).
33. Неоконнекционисты сначала выдвинули свои собственные термины в дебатах. По их мнению, необходимо было отличать «ширину» «мелкой» архитектуры SVM от «глубины» (термин «глубокое обучение» был придуман «Джеффом Хинтоном» в 2006 году) архитектур, основанных на слоях нейронов. . Таким образом, они смогли продемонстрировать, что глубина предпочтительнее ширины: только первая из них может быть вычислена при увеличении данных и размеров и способна улавливать разнообразие функций данных. Какими бы выпуклыми ни были SVM, они не дают хороших результатов для больших наборов данных: размеры увеличиваются слишком быстро и становятся неисчислимыми; плохие примеры вызывают значительные нарушения в предсказаниях; а решение, состоящее в линеаризации нелинейного метода, лишает систему способности изучать сложные представления («Bengio and LeCun, 2007»). Таким образом, сторонникам коннекционизма удалось убедить людей, что лучше пожертвовать разборчивостью калькулятора и строго контролируемой оптимизацией для лучшего восприятия сложности измерений, представленных в этой новой форме данных. Когда объем обучающих данных значительно увеличивается, существует много локальных минимумов, но существует достаточно избыточностей и симметрии для представлений, полученных сетью, чтобы быть устойчивыми и устойчивыми к ошибкам в обучающих данных. В центре дискуссии с сообществом машинного обучения одно было само собой разумеющимся: только лаборатории использовали линейные модели; мир, «реальный мир», в котором данные производятся путем оцифровки изображений, звуков, речи и текста, является нелинейным. Это шумно; содержащаяся в нем информация является избыточной; потоки данных не классифицируются в соответствии с атрибутами однородных, ясных и понятных переменных; примеры иногда бывают ложными. Как писали Йошуа Бенжио и др., «ИИ должен фундаментально понимать мир вокруг нас, и мы утверждаем, что этого можно достичь только в том случае, если он сможет научиться определять и разбирать основные объясняющие факторы, скрытые в наблюдаемая среда низкоуровневых сенсорных данных »(« 2014 », с. 1). Вот почему «глубокая» архитектура обладает большей вычислительной мощностью и более «выразительна», чем «мелкая» архитектура («LeCun and Bengio, 2007»). Снижение разборчивости калькулятора для увеличения его способности улавливать сложность мира, этот спор вокруг выпуклости ясно демонстрирует, что, в отличие от примера наивного эмпиризма, производство индуктивных машин было результатом напряженной работы по убеждению людей. о необходимости коренным образом переформулировать отношения между калькулятором и миром.
34. Поэтому для того, чтобы данные повлияли на научные дебаты, необходимо было радикально увеличить объем исследовательских наборов данных. В статье 1988 года о распознавании символов «Ян ЛеКун» использовал базу данных из 9 298 рукописных почтовых индексов. База данных, используемая для распознавания символов с 2012 года («MNIST»), содержала 60 000 помеченных фрагментов данных на черно-белых изображениях шириной 28 пикселей. Он служил для демонстрации эффективности нейронных сетей, но не преодолел поддержку других методов, таких как SVM. Кроме того, научные сообщества воспользовались преимуществами Интернета для создания гораздо более объемных наборов данных и непосредственно для их создания для задач машинного обучения путем создания пар ввода / вывода. Этот систематический сбор максимально широких и элементарных цифровых данных позволил придать больший смысл утверждению «Хьюберта Дрейфуса» о том, что «лучшая модель мира - это сам мир» («Дрейфус, 2007»: 1140). Как уже давно утверждали неортодоксальные подходы, критикующие репрезентативный ИИ, репрезентации находятся в данных из мира, а не являются внутренними для калькулятора («Брукс, 1988»). Создание «ImageNet», набора данных, использованного во время испытания, представленного в начале этой статьи, инициированного «Ли Фей-Фей» («Deng et al., 2009»), является образец этого. Сегодня эта база данных содержит 14 миллионов изображений, элементы которых были вручную аннотированы в 21 841 категорию с использованием иерархической структуры другой классической базы данных для обработки естественного языка, Wordnet («Miller, 1995»). Чтобы добиться успеха в этой огромной задаче классификации элементов, обозначенных нарисованными вручную квадратами на изображениях, необходимо было передать задачи тысячам аннотаторов через Mechanical Turk («Su et al., 2012»; «Жатон, 2017»). С 9 298 единиц данных до 14 миллионов такое резкое изменение объема наборов данных - и, следовательно, размеров данных - стало значимым только тогда, когда оно сопровождалось экспоненциальным ростом мощности калькуляторов, предлагаемых параллельными вычислениями и развитием. графических процессоров (Рисунок 6). В 2009 году «backprop» был реализован на видеокартах, что позволило нейронной сети обучаться до 70 раз быстрее («Raina et al., 2009»). Сегодня считается хорошей практикой изучать категорию в задаче классификации с 5000 примеров для каждой категории, что быстро приводит к тому, что наборы данных содержат несколько миллионов примеров. Экспоненциальный рост наборов данных сопровождался параллельным изменением архитектур калькуляторов: количество нейронов в сети удваивается каждые 2. 4 года («Goodfellow et al., 2016»: 27).
35. Однако специалисты по соединению также инициировали другое преобразование данных, на этот раз для гранулирования данных и преобразования их в вычисляемый формат посредством операций «встраивания». Нейронная сеть требует, чтобы входные данные калькулятора принимали форму вектора. Следовательно, мир необходимо заранее закодировать в виде чисто цифрового векторного представления. В то время как некоторые объекты, такие как изображения, естественным образом разбиваются на векторы, другие объекты необходимо «встроить» в векторное пространство, прежде чем их можно будет вычислить или классифицировать с помощью нейронных сетей. Это случай текста, который является прототипом. Чтобы ввести слово в нейронную сеть, метод «Word2vec» «встраивает» его в векторное пространство, которое измеряет его расстояние от других слов в корпусе («Миколов и др. , 2013 »). Таким образом, слова наследуют позицию в пространстве с несколькими сотнями измерений. Преимущество такого представления заключается в многочисленных операциях, предлагаемых таким преобразованием. Два термина, предполагаемые позиции которых находятся рядом друг с другом в этом пространстве, одинаково семантически схожи; эти представления называются распределенными: вектор концепта «квартира» [-0.2, 0.3, -4.2, 5.1…] будет аналогичен вектору «дома» [-0.2, 0.3, -4.0, 5.1…]. Семантическая близость не выводится из символической категоризации, а скорее индуцируется статистической близостью между всеми терминами в корпусе. Таким образом, векторы могут успешно заменять слова, которые они представляют, для решения сложных задач, таких как автоматическая классификация документов, перевод или автоматическое обобщение. Таким образом, разработчики коннекционистских машин выполняли весьма искусственные операции по преобразованию данных в другую систему представления и их «переработке» («Denis and Goëta, 2017»). В то время как обработка естественного языка была пионером для «встраивания» слов в векторное пространство, сегодня мы наблюдаем обобщение процесса встраивания, которое постепенно распространяется на все области приложений: сети становятся простыми точками в векторном пространстве с «graph2vec », тексты с « paragraph2vec », фильмы с « movie2vec », значения слов с« sense2vec », молекулярные структуры с «mol2vec» и т. д. По словам Яна ЛеКуна, цель разработчиков коннекционистских машин - поместить мир в вектор (world2vec). Вместо преобразования входных данных в символы, взаимосвязанные через ткань взаимозависимых концепций, эта векторизация создает близость между внутренними свойствами элементов в обучающем корпусе3.

«Символический» корпус содержит 65 522 публикации, полученные из Web of Science в феврале 2018 г. с использованием запроса TS = («представление знаний *» ИЛИ «экспертная система *» ИЛИ «система на основе знаний *» ИЛИ «механизм вывода *» ИЛИ «дерево поиска * »ИЛИ« минимакс »ИЛИ« поиск по дереву »ИЛИ« логическое программирование »ИЛИ« средство доказательства теорем * »ИЛИ (« планирование »И« логика ») ИЛИ« логическое программирование »ИЛИ« лисп »ИЛИ« пролог »ИЛИ« дедуктивная база данных * ИЛИ «немонотонное рассуждение *»).

ЭШБИ Р. (1956), Введение в кибернетику, Лондон, Chapman & Hall.

БЕНДЖИО Ю., КУРВИЛЬ А., ВИНСЕНТ П. (2013), «Репрезентативное обучение: обзор и новые перспективы», Транзакции IEEE по анализу шаблонов и машинному анализу, том. 35, № 8.

БЕНДЖИО Ю., ЛЕКУН Ю. (2007), «Масштабирование алгоритмов обучения в сторону ИИ», в Л. БОТТОУ, О. ЧАПЕЛЬ, Д. ДЕКОСТ, Дж. УЕСТОН, Крупномасштабные ядерные машины, Кембридж. , MIT Press.

БОЗЕР Б. Э., ГЙОН И. М., ВАПНИК В. Н. (1992), «Алгоритм обучения для классификаторов с оптимальной маржой», Пятый ежегодный семинар по теории вычислительного обучения, Питтсбург, стр. 144–152.

БРЕЙМАН Л. (2001), «Статистическое моделирование: две культуры», Статистическая наука, т. 16, № 3, стр. 199–215.

БРУКС Р. А. (1988), «Интеллект без репрезентации», Mind Design, в J. HAUGELAND (ed.), Mind Design, Cambridge MA, MIT Press.

БЕРРЕЛЛ Дж. (2016), «Как машина« думает »: понимание непрозрачности алгоритмов машинного обучения», Большие данные и общество, январь-июнь, стр. 1–12.

КАРБОНЕЛЛ Дж. Г., Михальски Р. С., Митчелл Т. (1983), «Машинное обучение: исторический и методологический анализ», AI Magazine, vol. 4, № 3, стр. 69–79.

КАРДОН Д. (2015), Действие алгоритмов. Promesses et limites, Paris, Seuil, coll. «République des idées».

CARDON D. (2017), «Infrastructures numériques et production d'environnements personnalisés», в К. ЧАТЦИЗИ, Г. ЖАННО, В. НОЯБРЬ, П. УГЕТТО (реж.), Les métamorphoses des infrastructures, entre béton et al. numérique, Bruxelles, Peter Lang, стр. 351–368.

КОЛЛИНС Х. М. (1992), Эксперты по искусству. Машины интеллигентных и социальных, Париж, Сеуил.

CORNUÉJOLS A., MICLET L., BARRA V. (2018), Apprentissage artificiel. Концепция и алгоритмы, Paris, Eyrolles (3e изд.).

КРЕВЬЕР Д. (1997), À la recherche de l’intelligence artificielle, Париж, Champs / Flammarion [1re éd. américaine 1993].

ДАГИРАЛЬ Э., ПАРАЗИ С. (2017), «La« Science des données »à la conquête des mondes sociaux. Ce que le «Big Data» doit aux épistémologies locales », в P.-M. МЕНГЕР, С. ПЕЙ (реж.), Big data et traçabilité numérique. Les Sciences sociales сталкиваются с a la quantification Massive des Individuals, Париж, Коллеж де Франс.

ДЭНГ Дж., ДОНГ У., СОЧЕР Р., Л. И. Дж., Л. И. К., ФЕЙ-ФЕЙ Л. (2009). «Imagenet: крупномасштабная база данных иерархических изображений. В компьютерном зрении и распознавании образов », CVPR 2009, стр. 248–255.

ДЕНИС Дж., Гогта С. (2017), «Les facettes de l’Open Data: émergence, fondements et travail en coulisses», в P.-M. МЕНГЕР, С. ПЕЙ (реж.), Big data et traçabilité numérique. Les Sciences sociales сталкиваются с a la quantification Massive des Individuals, Париж, Коллеж де Франс.

ДОМИНГОС П. (2012), «Несколько полезных вещей, которые нужно знать о машинном обучении», Коммуникация ACM, т. 55, № 10, стр. 78–87.

ДОМИНГОС П. (2015), Мастер-алгоритм. Как вопрос об окончательной машине изменит наш мир, Лондон, Penguin Random House UK.

ДРЕЙФУС Х. (1972), Что компьютеры не могут сделать: пределы искусственного интеллекта, Нью-Йорк, Харпер и Роу.

ДРЕЙФУС Х. (2007), «Почему Хайдеггеровский ИИ потерпел неудачу и как для его исправления необходимо сделать его более хайдеггеровским», Искусственный интеллект, n ° 171, стр. 1137–1160.

ДЮПУИ Ж.-П. (2005), Aux origines des Sciences, когнитивные науки, Париж, La Découverte.

ЭДВАРДС П. Н. (1996), Закрытый мир. Компьютеры и политика дискурсов в Америке холодной войны, Кембридж, Массачусетс, Массачусетский технологический институт.

ФЕЙГЕНБАУМ Э. А., МакКордак П. (1983), Пятое поколение: искусственный интеллект и компьютерные вызовы Японии миру, Reading, Addison Wesley.

ФЛЕК Дж. (1982), «Развитие и становление в области искусственного интеллекта», в N.ELIAS, H.MARTINS, R.WHITLEY (ред.), Научные учреждения и иерархии, Ежегодник социологии наук , т. 6, Dordrecht, Reidel, стр. 169–217.

ФЛЕК Дж. (1987), «Постскриптум: коммерциализация искусственного интеллекта», в Б. БЛОМФИЛД (редактор), Вопрос об ИИ, Лондон, Крум-Хелм, стр. 149–64.

ФОДОР Дж. А. (1983). Модульность мышления: эссе по факультетской психологии, Кембридж, Массачусетс, MIT Press.

ГАЛИСОН П. (1994), «Онтология врага: Норберт Винер и кибернетическое видение», Critical Inquiry, vol. 21, № 1, стр. 228–266.

ГАРДНЕР Х. (1985), Новая наука разума. История когнитивной революции, Нью-Йорк, Basic Books.

ГИТЕЛЬМАН Л. (редактор) (2013 г.), Необработанные данные - это оксюморон, Кембридж, Массачусетс, MIT Press.

ГОЛЬДШТЕЙН И., ПАПЕРТ С. (1977), «Искусственный интеллект. Язык и изучение знаний », Когнитивная наука, т. 1, № 1.

ГОЛДСТИН Х. (1972), Компьютер от Паскаля до фон Неймана, Princeton, Princeton University Press.

ДОБРО ПОЖАЛОВАТЬ И., БЕНДЖИО Ю., КУРВИЛЬ А. (2016), Глубокое обучение, Кембридж, Массачусетс, MIT Press.

ГРУДИН Дж. (2009), «AI и HCI: две области, разделенные общим фокусом», AI Magazine, vol. 30, № 4, стр. 48–57.

ХАУГЕЛАНД Дж. (1985), Искусственный интеллект: сама идея, Cambridge MA, MIT Press.

ХЕББ Д. О. (1949), Организация поведения, Нью-Йорк, Вили.

ХОПФИЛД Дж. Дж. (1982), «Нейронные сети и физические системы с новыми коллективными вычислительными возможностями», Proc. Natl. Акад. Sc. США, т. 79.

ДЖЕЙТОН Ф. (2017), «Мы получаем алгоритмы наших основных истин: проектирование ссылочных баз данных в цифровой обработке изображений», Социальные исследования науки, том. 47, № 6, стр. 811–840.

ДЖОРДАН М. (2018), «Искусственный интеллект: революции еще не произошло», Medium, 19 апреля.

ДЖОРДАН М.И., МИТЧЕЛЛ Т.М. (2015), «Машинное обучение: тенденции, перспективы и перспективы», Наука, т. 349, № 6245, стр. 255–260.

КРИЖЕВСКИЙ А., СУЦКЕВЕР И., ХИНТОН Г. (2012), «Классификация ImageNet с глубокими сверточными нейронными сетями», NIPS 2012, озеро Тахо, 3–6 декабря.

КУРЕНКОВ А. (2015), «Краткая история нейронных сетей и глубокого обучения», andreykurenkov.com, 24 декабря.

ЛАТУР Б. (1987), Наука в действии: как следовать ученым и инженерам через общество, Кембридж, Массачусетс, издательство Гарвардского университета.

ЛЕКУН Ю. (2007), «Кто боится невыпуклых функций потерь? », Семинар NIPS 2007 по эффективному обучению, Ванкувер, 7 декабря.

ЛЕКУН Ю., БЕНДЖИО Ю., ХИНТОН Г. (2015), «Глубокое обучение», Природа, т. 521, № 7553.

ЛЕКУН Я., БОЗЕР Б., ДЕНКЕР Дж., ХЕНДЕРСОН Д., ХОВАРД Р., ХАББАРД У. ДЖЕКЕЛ Л. (1989), «Обратное распространение, применяемое для распознавания рукописного почтового индекса», Нейронные вычисления, т. 1, № 4, стр. 541–551.

ЛЕКУН Ю., МАРКУС Г. (2017), «Дебаты:« Нужно ли ИИ больше врожденных машин? » », YouTube, 20 октября.

МАРКОФФ Дж. (2015), Машины любящей благодати. Между человеком и роботами, HarperCollins Publishers, 2015.

МАККЕНЗИ А. (2017), Машинное обучение. Археология практики данных, Кембридж, Массачусетс, Массачусетский технологический институт.

МАРКУС Г. (2018), «Глубокое обучение: критическая оценка», arXiv: 1801.00631, 2 января.

MAZIRES, A. (2016). Картография прикладного искусства и алгоритмы. Manuscrit de thèse, Парижский университет Дидро.

Маккарти Дж. (1988), «[Обзор] Bloomfield Brian ed. Вопрос об искусственном интеллекте… », Анналы истории вычислительной техники, вып. 10, № 3, стр. 221–233.

МакКордак П. (1979), Машины, которые думают. Личное исследование истории и перспектив искусственного интеллекта, Натик, А.К. Петерс.

МИКОЛОВ Т., СУЦКЕВЕР И., ЧЕН К., CORRADO GS, DEAN J. (2013), «Распределенные представления слов и фраз и их композиционность», Труды 26-й Международной конференции по системам нейронной обработки информации , стр. 3111–3119.

МИЛЛЕР Г. А. (1995), «WordNet: лексическая база данных для английского языка», Сообщения ACM, т. 38, № 11, стр. 39–41.

МИНСКИЙ М. (1975), «Структура для представления знаний», в П. УИНСТОН (редактор), Психология компьютерного зрения, Нью-Йорк, МакГроу-Хилл.

МИНСКИЙ М. (1986), Общество разума, Нью-Йорк, Simon & Schuster.

МИНСКИ М., ПАПЕРТ С. (1969), Персептроны: введение в вычислительную геометрию, Кембридж, Массачусетс, MIT Press.

МИНСКИЙ М., ПАПЕРТ С. (1970), «Проект предложения к ARPA для исследований в области искусственного интеллекта в Массачусетском технологическом институте, 1970–1971», Публикация лаборатории искусственного интеллекта, MIT.

МИТЧЕЛЛ Т. (1977), «Пространства версий: подход исключения кандидатов к обучению правилам», Труды 5-й Международной совместной конференции по искусственному интеллекту, Кембридж, август, стр. 305–310.

НЬЮЭЛЛ А., Саймон Х., Шоу Дж. К. (1956), «Машина логической теории», Транзакции IRE по теории информации, т. ИТ-2, №3.

НЬЮЭЛЛ А., САЙМОН Х.А. (1963), «GPS: программа, имитирующая человеческую мысль», в EA FEIGENBAUM, J. FELDMAN (ред.), Computers and Thought, New York, McGraw-Hill С. 279–283.

НИЛЬССОН Н. Дж. (2010), В поисках искусственного интеллекта. История идей и достижений, Кембридж, Издательство Кембриджского университета.

ОЛАЗАРАН М. (1996), «Социологическое исследование официальной истории спора о персептронах», Социальные исследования науки, том. 26, № 3, стр. 611–659.

ПИКЕРИНГ А. (2010), Кибернетический мозг. Очерки другого будущего, Чикаго, Иллинойс, Издательство Чикагского университета.

РАЙНА Р., МАДХАВАН А., Н. Г. А. Я. (2009). Масштабное глубокое обучение без учителя с использованием графических процессоров. В Материалы 26-й ежегодной международной конференции по машинному обучению, ACM, стр. 873–880.

РИД Т. (2016), Восстания машин. Утраченная история кибернетики, Лондон, Scribe Publications.

РОЛАНД А., ШИМАН П. (2002), Стратегические вычисления. DARPA и поиски машинного интеллекта, 1893–1993, Лондон, MIT Press.

РОЗЕНБЛУЭТ А., ВИНЕР Н., БИГЕЛОУ Дж. (1943), «Поведение, цель и телеология», Философия науки, том. 10, № 1, стр. 18–24.

РУМЕЛХАРТ Д. Э., ХИНТОН Г., УИЛЬЯМС Р. Дж. (1986a), «Изучение представлений с помощью ошибок обратного распространения», Nature, n ° 323, стр. 533–536.

Рамельхарт Д. Э., МакКлелланд Дж. Л. (1986b), «Модели PDP и общие вопросы когнитивной науки», в ИССЛЕДОВАТЕЛЬСКОЙ ГРУППЕ PDP (1986), Параллельная распределенная обработка. Исследования микроструктуры познания, Cambridge MA, MIT Press.

ШЕННОН К. (1948), «Математическая теория коммуникации», Bell System Technical Journal, n ° 27, стр. 379–423.

СКИННЕР Б.Ф. (1971), За пределами свободы и достоинства, Нью-Йорк, Бантам.

СМОЛЕНСКИЙ П. (1988), «Правильная трактовка коннекционизма», Поведенческие науки и науки о мозге, т. 11. С. 1–74.

Су Х., Дэн Дж., FEI-FEI L. (2012), «Краудсорсинговая аннотация для визуального обнаружения объектов», Семинары AAAI, Торонто.

ТРИКЛОТ М. (2008), Кибернетический момент. La конституция понятия информации, Париж, Champ Vallon.

ТЮКИ Дж. У. (1962), «Будущее анализа данных», Анналы математической статистики, том. 33, № 1, стр. 1–67.

Тьюринг А. (2004), «Предложение по развитию математики автоматического вычислительного механизма (ACE)», в J. COPELAND (ed.), The Essential Turing: Seminal Writings in Computing, Logic, Philosophy, Artificial Интеллект и искусственная жизнь плюс секрет загадки, Нью-Йорк, Oxford University Press.

ФОН НОЙМАНН Дж. (1945), «Первый проект отчета по EDVAC», Контракт № W-670-ORD-4926 между Департаментом артиллерийского вооружения США и Пенсильванским университетом, школа Мура электротехники.

УОЛДРОП М. (1987), Искусственные умы: обещание искусственного интеллекта, Нью-Йорк, Уолкер.

ВЕЙЗЕНБАУМ Дж. (1976), Компьютер и человеческий разум, Сан-Франциско, Фриман.

ВИНЕР Н. (1948), Кибернетика, или управление и связь между животными и машиной, Кембридж, издательство Кембриджского университета.

ВИНОГРАД Т. (1972), Понимание естественного языка, Эдинбург, Издательство Эдинбургского университета.

ВИНОГРАД Т., ФЛОРЕС Ф. (1986), Понимание компьютеров и познания: новый фундамент дизайна, Норвуд, Ablex Publishing Corporation.

Нейроны возвращаются

Изобретение индукционных машин и споры об искусственном интеллекте

Нейроны возвращаются

Изобретение индукционных машин и споры об искусственном интеллекте

Примечания