Наш ежемесячный анализ тенденций машинного обучения.

Со всеми последними техническими достижениями в области машинного обучения легко упустить из виду, насколько наша более широкая культура проникает в продукты, которые мы создаем. Даже если представить, что программы пишут сами себя в каком-то туманном мире облачных серверов и графических процессоров (GPU), реальность такова, что у руля по-прежнему остаются люди. Наша команда неустанно думает об этом: мы работаем с данными о поведении и транзакциях от розничных банков, розничных продавцов и телекоммуникационных компаний и всегда помним, что эти всплески транзакций во времени — это люди — следы людей, которые делают все возможное, чтобы жить значимой жизнью.

И отражение нашей культуры существует не только в данных. Они также просачиваются в выбор дизайна, который мы делаем, когда наделяем системы человеческими чертами. Поэтому в этом бюллетене мы подумали, что спросим, ​​почему так много чат-ботов женского пола? И это чистый плюс или минус для общества?

На самом деле это вопрос, который вызвал некоторый научный интерес, и это правильно. Это один из тех вопросов, которые кажутся простыми, пока вы не осознаете все вещи, как неявные, так и явные, которые кодируются нашими представлениями о гендере и технологиях. И, конечно же, было бы достаточно легко выдать все это за результат долгой истории злых роботов-мужчин — от Хэла 9000 в 2001: Космическая одиссея до всех этих ранних Терминаторов — не интересующихся сохранение человека. Но мы постараемся избежать здесь каких-либо простых объяснений (к тому же, было немало и довольно разрушительных женщин-роботов).

Чат-бот под другим именем

Хотя, безусловно, есть чат-боты и виртуальные помощники с мужскими характеристиками, а также несколько гендерно-нейтральных, по большей части они остаются исключением. У Apple есть Siri. У Amazon есть Alexa. У Microsoft есть Кортана. Является ли этот перекос просто увековечением устаревших гендерных ролей, особенно стереотипа женщины-секретаря/помощницы? Возможно.

Стоит отметить, что в Великобритании первым виртуальным помощником Apple на самом деле был мужчина, что, возможно, отражало архетип английского дворецкого/камердинера, особенно заметный в британской фантастике. Опять же, может быть, это все просто результат исследований, которые говорят о том, что в целом у людей более позитивные и приятные ассоциации с женскими голосами. Или, точнее, женщины лучше реагируют на женские голоса, в то время как у мужчин нет сильного предпочтения в любом случае.

Есть много возможных объяснений перекоса в сторону женских имен и голосов для наших чат-ботов, и, вероятно, это сочетание причин, а не какое-то аккуратное повествование о простой причине и следствии. В конце концов, эти решения учитываются пользовательским тестированием и отзывами. Кроме того, феминизированный виртуальный помощник стал узнаваемой и ожидаемой сущностью, которую нужно копировать и воспроизводить. Плюс есть исторический прецедент, когда первый по-настоящему работающий чат-бот, созданный для имитации стиля психотерапевта-роджерианца, получил имя ELIZA.

Конечно, наличие женского голоса у руля этих сервисов не обязательно должно быть чисто отрицательным. Конечно, существует постоянная угроза сексуальных домогательств со стороны ботов, и есть веские причины чувствовать себя некомфортно из-за доминирования женских характеристик в этих продуктах, в то время как сами женщины по-прежнему глубоко недопредставлены как инженеры. Но вы также можете так же легко указать на некоторые потенциальные положительные стороны.

Виртуальные помощники — это в некотором смысле помощники, но они также являются источниками знаний, современными оракулами, через которые мы узнаем не только обыденные факты о спорте и знаменитостях, но и важную информацию о состоянии нашего мира. И да, они несовершенны, а иногда оскорбляют или неправильно понимают вещи, казалось бы, абсурдными способами, но в эти голоса и личности вложена сила, которая отнюдь не тривиальна. На самом деле, чтобы усилить уважительное отношение, компании теперь вознаграждают лучший социальный этикет, заставляя своих голосовых помощников давать такие же вежливые ответы. Также были предприняты некоторые усилия, чтобы реагировать на словесные домогательства (часто сексуального характера) более вдумчиво, хотя результаты не везде одинаковы.

Все это вызывает более широкие вопросы. Например, как мы сейчас представляем себе ИИ как интерфейс и как психологическое продолжение нас самих? Должны ли мы принять точку зрения Энди Кларка и думать о технологиях как о расширении нашего разума? Какую роль мы хотим, чтобы более широкая культура играла в этих решениях?

Мы знаем, что встраивание слов — первый шаг практически во всех моделях обработки естественного языка в наши дни — отражает глубоко укоренившиеся культурные гендерные предубеждения, и что для восстановления надлежащего нейтралитета требуется тщательная и творческая инженерия. Мы также знаем, что в контексте старой технологии книги голоса женских персонажей в литературе становились все более редкими на протяжении большей части двадцатого века. Другими словами, важно обеспечить, чтобы женские голоса не просто исчезли из технологий, чтобы они оставались вербальными воплощениями различных форм знаний, направляемых и фильтруемых через наши устройства. Но также необходимо помнить о том, что наша культура продолжает увековечивать предвзятость и неравенство не только в том, как мы действуем, но и в том, как мы говорим.

И Apple, и Google теперь позволяют вам выбирать пол голоса своего виртуального помощника, чтобы эти решения казались более интерактивными, более контролируемыми пользователями. Но прецедент введения в заблуждение, созданный первоначальным открытием Google Duplex, все еще висит над все более расплывчатой ​​линией, разделяющей человеческое и машинное общение. Между тем, по мере того, как алгоритмы все лучше определяют, что мы говорим и как мы чувствуем, когда мы это говорим, стоит задуматься о новом наборе стереотипов, которые рискуют проникнуть в продукты, занятые не только попытками общаться с нами, но и также понять, кто мы есть.

Лучшее проектирование не обязательно означает лучшие результаты

Для компаний прозрачность и ответственность всегда будут играть большую и необходимую роль в этих контекстах. Но все это также поднимает сложные вопросы, на которые нет простых и однозначных ответов. Пытаясь лучше обслуживать клиентов, создавая более удобные и «человеческие» интерфейсы, компании также рискуют подорвать доверие. В конце концов, трудно обслуживать клиентов, не определяя при этом их ожиданий, так же как трудно подражать человеческому взаимодействию таким образом, чтобы это не выглядело неестественным или манипулятивным.

Как показали последние продукты машинного обучения, на этом фронте еще предстоит проделать большую работу. Но более общие исследования честности и прозрачности также показали, что здесь есть огромный простор для вдумчивости и творчества.

Возможно, именно на пересечении инженерных и более гуманистических способов исследования мы найдем решения, которые кажутся достаточно гибкими, чтобы учесть многообразие человеческого опыта. Технология и культура — несовершенные среды. Именно переосмысливая эти несовершенства, а не просто воспроизводя их, мы, скорее всего, получим лучшие и более справедливые продукты.