Эта статья была написана технологом PI доктором Ричардом Тайнаном.

Технологические фирмы и правительства стремятся использовать алгоритмы и ИИ повсюду. Нам срочно нужно понять, что такое алгоритмы, интеллект и машинное обучение, чтобы отделить оптимизм от ажиотажа. Это также гарантирует, что мы дадим значимые ответы и, в конечном итоге, защитные и защитные меры.

Многие технологи заканчивают университет, колледж или аспирантуру с впечатлением, что технология нейтральна, и верят, что все системы, в разработке которых они применяют свой опыт, также будут полностью нейтральными. Со стороны общество по своей природе не имеет столь же оптимистичного впечатления о технологиях.

Точно так же, как Дороти начинает свой путь по дороге, вымощенной золотом, она боится львов, тигров и медведей, поначалу многие воспринимают технологии как нечто, чего следует бояться - и это была первая реакция многих, когда речь зашла об алгоритмах, когда они вошли в популярный рынок. сцена несколько лет назад. Однако, когда она встречает льва, она понимает, что он не так уж и страшен, но его неправильно понимают. Искусственный интеллект и машинное обучение сейчас идут по тому же пути - мы начинаем со страха, а затем переходим к принятию и оптимизму. Нам нужно исключить это из общественного мнения, но также и из понимания технологов, которые быстро становятся лидерами поддержки.

Апокалипсис сейчас (или в будущем)

От апокалиптических фильмов 1980-х годов до писателей-фантастов задолго до них - известность технологий будущего была неизбежной. Однако в какой-то момент мифология уступила место и возникло более трезвое и точное восприятие технологии, чему способствовали как ее неудачи, так и успехи. Удачное название «Синий экран смерти» символизировало ненадежность, которая заменила зарождающийся технооптимизм. Тот факт, что мы не видим BSOD так часто, как раньше, не означает, что что-то не дает сбоев. И то, что наша технология не похожа на HAL или Терминатора, не означает, что она не может нам навредить.

Однако никто не собирался отказываться от компьютеров, потому что у большинства практиков и индустрии было совсем другое видение будущего, в котором устройства дополняют реальность и дополняют ее. Идея устройства на каждом столе превратилась в устройство в каждом портфеле или устройство в каждом кармане. И теперь у нас есть видение устройства во всем. Постоянное обнаружение, обработка, передача и приведение в действие в реальном времени настроят нашу среду именно так, как мы хотим, именно так, как мы этого хотим. Но что, если наш хрустальный шар говорит, что для меня все должно быть настроено иначе, чем для вас? Кто или что решает, какая конфигурация победит? Что делать, если ресурсы не могут удовлетворить желания всех, кто остается в стороне и почему? Это важнейшие вопросы сегодня и завтра.

Помимо того, что вычисления становятся все более повсеместными, отрасль стремится использовать их для генерации большего количества данных обо всех нас. Каждый год компании тратят миллионы на создание большего количества данных в надежде, что это поможет им разобраться в данных, которые у них уже есть. И когда это не удается, ответ ... как вы уже догадались - больше данных. Это напоминает цитату Симпсонов: «Копай дурака». Этот подход далеко не безобиден, потому что некоторые из этих данных очень разоблачают людей, о которых они собраны. И не обязательно использовать по прямому назначению. И для того, чтобы «разобраться» в данных, на проблему была брошена дешевая и доступная вычислительная мощность. Но это также было связано с другими проблемами, для решения которых мы не всегда знали, что наши данные использовались.

Алгоритмы

Чтобы дополнить поток данных, алгоритмы стали новым центром внимания, потому что объем генерируемых сейчас данных был огромен. Люди больше не могли справляться с перегрузкой данных и обратились к автоматизированной обработке. Однако термин алгоритм (а также искусственный интеллект и машинное обучение) использовался во многих контекстах для обозначения разных вещей, и нам срочно нужна некоторая ясность. Вот несколько определений алгоритмов из ведущих учебников по информатике:

«Обычные программы обрабатывают данные с помощью алгоритмов или, другими словами, серии четко определенных пошаговых операций. Алгоритм всегда выполняет одни и те же операции в одном порядке и всегда дает точное решение. Обычные программы не делают ошибок, а вот программисты иногда делают ». - Искусственный интеллект: Руководство по интеллектуальным системам, 2-е издание, М. Негневицкий, 2005 г.

«[обычные программы] Обрабатывайте данные и используйте алгоритмы, серию четко определенных операций, для решения общих числовых задач». - Искусственный интеллект: Руководство по интеллектуальным системам, 2-е издание, М. Негневицкий, 2005.

Нет никаких сомнений в том, что мы все подчиняемся алгоритмам в нашей повседневной жизни. Будь то утренняя настройка тостера, срабатывающая через определенное время, или некоторые из алгоритмов, которые лежат в основе Интернета, чтобы вы могли прочитать эту статью прямо сейчас. По мере роста объемов данных алгоритмы получают все больше и больше данных о нашей личной жизни, и им все чаще доверяют больший контроль над обществом. Принимая эту новую реальность и будущее, есть замечательное стремление улучшить справедливость, прозрачность и подотчетность в современном использовании алгоритмов применительно к огромным объемам данных.

Но так же, как, помимо теории, наши системы управления борются с концепциями справедливости, прозрачности и подотчетности, можем ли мы ожидать, что технологии решат проблему заново. В идеале мы могли бы отобразить механизмы защиты справедливости, справедливости и равноправия в правовых системах. Но проблема в том, что мы просто предполагаем, что это возможно, хотя в действительности все обстоит иначе.

Как показало исследование Propublica, посвященное технологии вынесения приговоров, проблемы дискриминации в судебной системе не удалось устранить с помощью алгоритмов. Тем не менее, мы волшебным образом верим, что справедливость может быть создана в наших системах, а дискриминация искоренена. Это рецепт катастрофы. Так же, как мы научились ставить под сомнение дискриминацию в правовой системе, мы должны научиться видеть, как нечто подобное проявляется в наших технологиях. Оба неуловимы. Мы должны по-разному подходить к обоим, и оба должны действовать в тандеме.

Это как если бы люди воспринимали финальную сцену в «Волшебнике страны Оз» буквально, этот интеллект можно наполнить, просто дав диплом, как в случае с чучелом. Мы не можем дать машине сострадание или сердце, установив в нее тикающие часы в форме сердца, как в случае с оловянным человечком. Как мы узнали, то, что мы хотим верить, что правовая система справедлива, а справедливость слепа, не означает, что это так. Мы можем быть уверены в системе благодаря открытости на всех уровнях и внутренним проверкам.

Политики полагаются на эти гарантии, потому что теоретически они могут допрашивать и участвовать в судебных разбирательствах. Но, как будет показано ниже, эта парадигма неприменима в современном мире обучения и интеллекта, основанного на данных. Мы передаем машинам все больше и больше избыточных данных в надежде, что случится волшебство и компьютер будет принимать более справедливые решения. Неудобная правда о будущем, которую должны понять политики и технологи, заключается в том, что магии не существует.

Если мы хотим максимально полно и безопасно принять технический прогресс, решение будет гораздо глубже. Это требует системных изменений в области генерации, сбора, анализа и обмена данными. Мы не можем ожидать, что сможем использовать современные технологии в соответствии с законами много лет назад, чтобы адекватно защитить нас. Законы постоянно выходят за рамки их первоначальной цели. Но то же самое и с технологиями. Решение требует открытости и честности во всех аспектах систем, которым мы подвергаемся. Необходимо принять новый подход, потому что вчерашние законы и технологии предполагали, что люди пришли к технологиям по своему собственному выбору. Теперь технологии проникают в общества, хотят они того или нет, а законы, регулирующие функционирование этих технологий, находятся вне досягаемости людей. Мы должны переосмыслить вещи на этой основе, где борьба за отключение становится все труднее и труднее.

И все это предполагает, что все идет по плану и плохих актеров нет. Наши системы всегда должны быть в состоянии противостоять самым ярким, ярким и изобретательным атакам. Мы должны атаковать системы и исправить их, прежде чем это сделает кто-то другой. И снова, что удивительно, мы еще не думаем о будущем таким образом.

Как это на самом деле работает - поступай честно

Попробуйте построить свой собственный алгоритм для фермера, чтобы безопасно перевезти лису, курицу и зерно через реку с некоторыми ограничениями. Вы - фермер в этой древней проблеме, и вам нужно выяснить, как вы справитесь с этой задачей. На видео ниже показан один из возможных алгоритмов решения проблемы. Вы построили честный алгоритм? Если бы машина делала то же самое, что и вы, действовала бы она справедливо? Мы вернемся к этому вопросу позже.

Это, конечно, метафора: в этой системе и в этом алгоритме люди являются объектами на левом берегу во власти всего, что фермер решит сделать, чтобы доставить их туда и обратно в безопасное место на правом берегу. Будь то пограничный пункт, система кредитного рейтинга или система вынесения приговоров, алгоритм будет отдавать приоритет некоторым людям.

Искусственный интеллект

Теперь мы ищем ИИ для решения наших проблем. Опять же, предполагается, что мир несправедлив, люди предвзяты и что ИИ может быть разработан, чтобы быть лучше. Но любая система, которая учится на основе того, что мы делаем, неизбежно научится быть такой же несправедливой и предвзятой, как люди. Если кто-то не хочет написать уравнение честности или справедливости, как мы можем узнать справедливость, когда мы ее видим?

Как мы оцениваем производительность любой системы в этой области и как любая система может претендовать на точность? Если точность - это то, насколько хорошо она имитирует наше поведение, то это имитация предвзятости. Если это не соответствует нашему поведению, а соответствует какому-то другому стандарту, тогда что это такое, и могу ли я увидеть это, пожалуйста? Мы снова вернулись к проблеме неспособности обеспечить справедливость в человеческих системах, и поэтому мы не можем ожидать, что машина это выполнит.

Когда искусные отделы по связям с общественностью правительства и компаний говорят о точности своих систем, они упиваются неполнотой этого предложения - точным по сравнению с чем? Человек? Но нас это не волнует, пока мы слышим, что точность находится где-то в диапазоне 90–95%, мы можем предположить, что все в порядке. Пока система прогнозирования утверждает, что она « вдвое точнее, чем системы, созданные ветеринарами , мы предполагаем, что все в порядке.

Это самоуспокоение связано как с рекламой полуправды, так и с непонятным жаргоном. Нам снова нужно распутать жаргон. Вернемся снова к учебникам. Они относятся к интеллектуальным системам как:

Человеческий мыслительный процесс является внутренним и слишком сложным, чтобы его можно было представить в виде алгоритма. Однако большинство экспертов способны выразить свои знания в форме правил решения проблем. - Искусственный интеллект: Руководство по интеллектуальным системам, 2-е издание, М. Негневицкий, 2005.

В отличие от обычных программ, экспертные системы не следуют предписанной последовательности шагов. Они допускают неточные рассуждения и могут иметь дело с неполными, неопределенными и нечеткими данными. - Искусственный интеллект: Руководство по интеллектуальным системам, 2-е издание, М. Негневицкий, 2005.

Интеллектуальные системы используются там, где мы не можем понять проблему достаточно хорошо, чтобы определить ее как алгоритм. Это нужно повторить: они используются там, где мы не можем написать алгоритм, поэтому мы не знаем, что делать правильно. Однако мы можем знать определенные действия, которые мы хотели бы предпринять, но не порядок. По сути, интеллектуальная система строит алгоритм за нас. Нет никакой гарантии, что такой же алгоритм когда-либо будет создан снова. Итак, это проблема, если мы выступаем за подотчетность, прозрачность и справедливость «алгоритма» - не обязательно один алгоритм, и они возникают. Как мы увидим в приведенном ниже примере, многие факторы, в том числе порядок или возможные действия, влияют на результат, и поэтому справедливость зависит не только от результата, но и от этих факторов.

Если мы снова возьмем наш пример фермера, фермер может пробовать каждое движение в своей голове, а затем каждое движение после этого, и так далее, пока он не достигнет целевого состояния.

В первом поле показаны недопустимые состояния. Во втором поле показаны все возможности, которые рассматривает фермер, а в последнем - алгоритм. Это приведет к тому же решению, что и приведенный выше алгоритм. Но даже в этом упрощенном примере важен порядок операций. Фермер на каждом шагу обдумывает, что он может сделать с лисой, затем с курицей и, наконец, с зерном. Соответственно, в любом решении лиса, скорее всего, доберется до другого берега раньше зерна. Однако, если мы изменим порядок, зерно, скорее всего, первым попадет на другой берег. Небольшие отклонения могут иметь большое значение, если вы находитесь в конце очереди, и вас просто рассматривают для перехода через реку в безопасное место. Существует ли справедливый порядок рассмотрения?

В нашем примере мы рассказываем фермеру, какие варианты доступны ему, а что он не может делать. Если можно контролировать недействительные состояния фермера, можно быть уверенным, что вы сначала пересечете реку. Или, в более современном примере, белые люди могут платить меньше, чем все остальные, за доступ к какой-либо услуге. Просто заявив, что белые люди платят больше, чем кто-либо другой, является недействительным государством, фермер слепо продолжает действовать в соответствии с правилами системы. И вещи могут быть гораздо более тонкими, чем это. Но переход от алгоритмов к интеллекту, который ввел этот элемент косвенного контроля, все еще может быть осуществлен, если мы позволим системе самостоятельно определять отрицательные состояния.

Машинное обучение

Что, если мы знаем о проблеме еще меньше? Что делать, если мы не знаем, что такое недопустимые состояния или каковы наши операторы? Следующая тенденция - использование машинного обучения. Машинное обучение использует некоторый механизм обратной связи, чтобы помочь логике (системе, действующей разумно) узнать что-то положительное или отрицательное о своих действиях. А точнее, узнать последствия своих действий. Ключевой вопрос здесь - кто контролирует механизм взаимодействия и обратной связи? Это увеличивает способность рассуждать к обучению. Опять же, давайте посмотрим, как с этим справляются учебники:

В целом машинное обучение включает в себя адаптивные механизмы, которые позволяют компьютерам учиться на собственном опыте, учиться на примере и учиться по аналогии. Возможности обучения могут со временем улучшить производительность интеллектуальной системы. Механизмы машинного обучения составляют основу адаптивных систем. - Искусственный интеллект: Руководство по интеллектуальным системам, 2-е издание, М. Негневицкий, 2005.

Но здесь происходит неявный метод проб и ошибок. Учащийся может попытаться придумать план действий и начать выполнение этого алгоритма. Когда происходит что-то негативное или позитивное, учащийся чему-то учится у состояния, рассуждающий снова думает о проблеме с этим новым знанием, чтобы придумать новый план действий. И это продолжается до тех пор, пока проблема не будет решена или машина не сделает слишком много ошибок.

В нашем примере принести лису первым - значит принести в жертву зерно. И что фермер должен извлечь из этого урок? С одной стороны, он мог узнать, что только эта конфигурация плохая. Это может быть наивным выводом - как если бы ребенок узнал, как ребенок обжигается на плите, было бы глупо думать, что только эта плита сожжет вас. С другой стороны, фермер может увидеть, что лиса никогда не может оказаться на правом берегу. Это не только слишком общий вывод, но и помешает фермеру выполнить свою задачу, потому что цель состоит в том, чтобы направить лису на правую сторону. Извлеченные недопустимые состояния находятся в поле справа над анимацией.

Для полноты картины вы также можете увидеть, как обучающийся действует, рассматривая зерно перед лисицей.

Дилемма здесь настолько же философская, насколько и техническая, но машина не может сидеть сложа руки и писать докторскую диссертацию - ее работа состоит в том, чтобы пробовать разные вещи, чтобы прийти к решению, любому решению. Помните, что люди - это предметы слева, которые нужно безопасно перевезти в правую сторону. Мы приносим жертву, осознаем мы это или нет, ради обучения системе. Но подписались ли вы на эксперимент?

Вы подписались на то, чтобы компания узнала о вас, чтобы затем использовать эти знания и монетизировать их? Может быть, вы это сделали, или, может быть, вы просто хотели посетить больницу для оказания неотложной помощи или зарегистрировать учетную запись в социальной сети, а теперь вы и ваши данные эксплуатируются.

Колдовство

И волшебные зелья и колдовство на этом не заканчиваются. Недавно Facebook и британская компания по страхованию автомобилей Admiral объединились, чтобы предложить своим клиентам более дешевое страхование автомобилей на основе их профиля в социальных сетях. Какое отношение имеет профиль в социальных сетях к вашим страховым рискам? Очевидно, если вы используете расплывчатые слова вроде сегодняшнего вечера вместо обозначения определенного времени, то вы нерешительны. Однако чрезмерная самоуверенность, связанная с использованием восклицательных знаков, будет вам противодействовать.

Как и в случае с алгоритмом, четко определенная последовательность шагов, которую вы выполняете, скорее всего, никогда больше не будет существовать, как и части процесса, связанные с интеллектом и обучением. Любой, кто применил на практике знания из учебника, знает, что для большинства (если не всех) сложных и распределенных систем одной из основных трудностей является время. Вещи не происходят мгновенно. Требуется время, чтобы информация была изучена, а логикам нужно время, чтобы спланировать и начать выполнение алгоритма перед его повторной оценкой. Также требуется время, чтобы информация распространялась в систему и через нее, а также в центры обработки данных на разных континентах. Как кто-то может исследовать психическое состояние рассуждающего или учащегося? Как мы узнаем, когда и где проводить зондирование, чтобы проверить справедливость?

Давайте посмотрим на это в перспективе. В распределенной интеллектуальной системе, которая обучается, есть много факторов, которые влияют на результат решения. Даже если на бумаге что-то выглядит совершенно справедливым, реализация может привести к несправедливости из-за неизбежных задержек или задержек, необходимых для создания, сбора, анализа и передачи данных.

Мы не прошли точку невозврата, но мы должны убедиться, что критерий, с помощью которого мы измеряем системы, которым мы подвергаемся, является открытым и понятным. Однако нам срочно нужны технологи, политики и другие лица, чтобы понять, что исключительный упор на справедливость и прозрачность не приблизит нас к созданию более совершенных систем. Справедливость слишком расплывчата и открыта для интерпретации. Прозрачность требует прозрачности всей системы, не только на бумаге, но и во время ее работы. Кажется, что все это недоступно, и мы должны искать альтернативные способы определения того, как наши системы должны себя вести. Несправедливо полагаться на справедливость.