Почему мы должны беспокоиться о гендерном неравенстве в методах обработки естественного языка

Культура и язык, язык и машины

Пол в лифте

Представьте, что вы входите в лифт больницы с двумя людьми: мужчиной и женщиной. Они носят такие же белые халаты, но их значки закрыты, поэтому вы не можете понять, какова их роль в больнице. В какой-то момент двери лифта открываются, и появляется девушка со словами: «Доброе утро, доктор Смит!». Как вы думаете, кто из них встретит ее в ответ?

Здравый смысл подсказывает, что оба с одинаковой вероятностью будут доктором Смитом, но несколько экспериментов показывают, что люди гораздо чаще связывают женщин с медсестрой, а мужчин с врачами. При этом вы, вероятно, в конечном итоге повернете голову к парню в белом, ожидая, что он что-то скажет.

Как язык отражает (плохую) культуру

Гендерные стереотипы по-прежнему глубоко укоренились в нашем обществе, и женщины растут и живут, когда к ним относятся совсем не так, как к мужчинам, из-за сознательных и бессознательных гендерных предубеждений.

Язык - одно из самых мощных средств распространения и воспроизводства сексизма и гендерной дискриминации. Лексический выбор и повседневное общение постоянно отражают эту давнюю предвзятость до такой степени, что сам язык призван отражать социальную асимметрию. Например, грамматические и синтаксические правила построены таким образом, что женские термины обычно являются производными от соответствующих им мужских форм (например, princ- ess, god- dess и т. Д. ) [Menegatti et al, 2017]. Точно так же существительные и местоимения мужского рода часто используются с общей функцией для обозначения как мужчин, так и женщин (например, мужской вид, состояния- мужчины и т. Д.), Часто являясь воспринимается как дискриминация в отношении женщин.
Эти проблемы характерны для большинства языков, что подчеркивает, как гендерная дискриминация распространяется по всему миру, затрагивая общество в целом.

Поскольку язык и культура так глубоко связаны друг с другом, легко понять, опасное значение, которое стереотипы могут иметь для автоматических задач, основанных на понимании и обработке человеческих языков, легко понять. От автозаполнения веб-браузеров до ботов с искусственным интеллектом (помните то время, когда чат-бот Microsoft с ИИ стал полным нацистом?) И ранжирование результатов запросов.

Давайте углубимся в это с некоторыми техническими деталями (без сложной математики!).

Гендерный уклон в НЛП: мусор на входе, мусор на выходе

Что такое обработка естественного языка?

Обработка естественного языка (НЛП) - это ветвь Искусственного интеллекта (ИИ), которая помогает компьютерам понимать, интерпретировать и манипулировать естественным (то есть человеческим) языком.
Представьте машины, работающие на НЛП, как черные ящики, которые способны понимать и оценивать контекст входных документов (то есть набор слов), выводя значимые результаты, которые зависят от задачи, для которой предназначена машина.

Как и любой другой алгоритм машинного обучения, необъективные данные приводят к необъективным результатам. И, как и любой другой алгоритм, сглаживание результатов болезненно раздражает до такой степени, что может быть проще беспристрастно само общество.

Дорогое человечество, пожалуйста, перестаньте быть сексистами.
С уважением, ваш дружелюбный ученый-аналитик.

Теперь давайте посмотрим, как гендерные предубеждения распространяются через модели НЛП.

Главное: встраивание слов

Слова должны быть представлены в виде числовых векторов, чтобы их можно было использовать в алгоритмах машинного обучения. Один из самых эффективных (и популярных) способов сделать это - встраивание слов. В моделях встраивания слов каждому слову на данном языке присваивается многомерный вектор, так что геометрия векторов фиксирует отношения между словами. Например, косинусное сходство между векторным представлением слова король будет ближе к слову королева, чем к картофелю. Помните, что косинусное подобие - это просто косинус угла между двумя векторами и может быть определено как:

Следовательно, чем выше косинусное подобие, тем ближе направления вектора. Давайте попробуем превратить это в простой сценарий R, используя предварительно обученное встраивание слов GloVe (вы можете найти его здесь).

> word_vec = read.csv('./glove.6B.300d.csv')
> cosine_sim = function(v1,v2){
+    return(dot(v1, v2) / (sqrt(sum(v1^2)) * sqrt(sum(v1^2)))
+}
> cosine_sim(word_vec["king",],word_vec["queen",])
[1] 0.67
> cosine_sim(word_vec["king",],word_vec["potato",])
[1] 0.23

Эти удивительные результаты могут быть достигнуты благодаря способу обучения встраиванию слов: следуя распределительной гипотезе, встраивание неконтролируемым образом оценивает каждое целевое слово вместе с его контекстом (т. Е. Набор слов, который идет перед и после целевого слова), построение и обработка матриц совпадений (GloVe) или подача искусно спроектированных нейронных сетей для решения задачи предсказания слов (Word2Vec и FastText).

Чтобы сохранить семантику естественного языка в целом, встраивание слов обычно обучается на массивных текстовых базах данных, таких как дампы Википедии (6 миллионов английских страниц) или Google News (около 100 миллиардов слов). , унаследовав от них все предубеждения, о которых мы говорили ранее. Конечно, контекстно-зависимые вложения всегда можно изучить, используя меньшие наборы данных.

Короли и королевы: где вложения слов на самом деле творит чудеса

Давайте придерживаться слов король и королева. Как люди, мы знаем, что короли - это королевские фигуры мужского пола, которые правят странами, в то время как мы используем слово королева, чтобы описать женщину, которая замужем за королем или сама управляет королевством (королевы правят королем -дома… ты это видишь?). Набор семантических отношений, вращающихся вокруг королей и королев, довольно прост для нас, но может быть очень трудно получить для машины, которая не может читать между строк. Встраивание слов позволяет машинам улавливать (частично) эти аналогии и отношения, включая пол.

Поскольку мы говорим о числовых векторах, мы можем оценить направление семантического отношения, просто взяв разницу между векторными представлениями king и человек. Что произойдет, если мы попытаемся спроецировать вектор женщину в том же направлении? Сюрприз: мы получили слово королева.
Информация о том, что королева - это женский род короля, никогда не передавалась напрямую в модель, но модель в любом случае может уловить это отношение.

На этом этапе вы, вероятно, догадаетесь, чем все это закончится: что, если мы попытаемся сделать то же самое в отношении - скажем, - профессий? Как и ожидалось, именно здесь гендерный стереотип проявляется.

> get_analogy = function(v1,v2,v3){
+   x = v2-v1+v3
+   return(names(get_closest(x,word_vec))[1])
+}
> get_analogy(word_vec["man",],
+              word_vec["doctor",],
+              word_vec["woman",])
[1] "nurse"

Проклятие! Судя по всему, наш алгоритм тоже испытал ситуацию с лифтом в больнице.

Подобные результаты можно получить для многих разных профессий. Например, если мы попытаемся найти недостающую часть аналогии мужчина: программист = женщина: X, мы невероятно закончим с X = домохозяйка. Конечно, слово программист (а также слово homemaker) нейтрально по отношению к полу по своему определению, но модель встраивания, обученная на корпусе новостей, имеет тенденцию видеть программист ближе с мужчиной, чем с женщиной из-за нашего социального восприятия этой работы, которое отражается в используемом нами языке. . [Болукбаси и др., 2016]

Гендерная предвзятость из-за облаков слов

Сексизм еще легче обнаружить, если посмотреть на K-ближайших соседей по встраиванию мужчин и женщин. Вы можете угадать целевой пол двух облаков, даже не глядя на описание.

В подгруппе человек мы можем найти такие слова, как головорез, бизнесмен, механик, лейтенант, мясник. и полицейский. Вместо этого среди наиболее связанных слов в подгруппе женщина мы наблюдаем такие термины, как акушерка, медсестра, регистратор, официантка, бортпроводник и… проститутка. Ужасно.

Можно получить еще более ужасные результаты, переключив область интересов с занятий на прилагательные. Согласно эмбеддингу, мужчины дерзкие, порядочные, лукавые, блестящие, умные и скромные. Вместо этого женщины - что неудивительно на данном этапе - описываются как дерзкие, сексуальные, со вкусом, привлекательные и великолепно.

Неужели это все, что у нас есть, чтобы описать женщину?

Вы можете попробовать это самостоятельно с помощью этого невероятного инструмента визуализации, созданного на хакатоне Hacking Discrimination, проведенном в Центре исследований и разработок Microsoft New England в 2017 году.

Последствия гендерно-предвзятого ИИ в реальной жизни

Учитывая тот факт, что гендерные предубеждения в обработке естественного языка действительно существуют, и их следует избегать даже по этическим причинам, каковы последствия искусственного интеллекта, основанного на стереотипах, для повседневной жизни людей? Другими словами, почему мы должны об этом заботиться?

Среди всех плюсов автоматических систем быть неподкупным, преданным и послушным трудоголиком, вероятно, является одним из самых важных. Системы машинного обучения могут определять право на получение ссуды вне зависимости от расы соискателя, они могут предоставлять доступ к информации и услугам без дискриминация по признаку пола, они могут нанять лучшего кандидата для компании, не подвергаясь влиянию его / ее сексуальной ориентации и т. д.
Однако, когда системы машинного обучения начинают становиться более похожими на человеческие в Согласно своим предсказаниям, они также могут начать увековечивать человеческое поведение, теряя одно из своих основных преимуществ перед людьми: не быть людьми.

Давайте рассмотрим пример найма на работу. Мы хотели бы разработать автоматическую систему на основе НЛП, которая будет генерировать оценку пригодности к работе на основе мотивационных писем кандидатов. Предполагая, что база данных отдела кадров компании недостаточно велика для обучения собственных встраиваний, мы решили использовать 300-мерное встраивание слов GloVe, предварительно обученное в Википедии.
Шансы найти положительные прилагательные, такие как хитрый, блестящий и умный в мотивационном письме высоки, но мы заметили, что эти термины ближе к мужчине, чем к женщине в предварительно обученном пространстве для вложения. Более того, предположим, что мы оцениваем кандидатов на должность младшего программиста, которые, как мы знаем, не будут считаться гендерно-нейтральными нашими встраиваниями.
В этом сценарии, если модели удастся получить пол кандидата, она будет испытывать сильное влияние этого при отборе кандидатов.

Заключение

Гендерное неравенство по-прежнему глубоко укоренилось в нашем обществе, и слепое применение алгоритмов машинного обучения создает риск распространения и усиления всех предубеждений, которые присутствуют в исходном контексте. Такое неприятное поведение человека не только глубоко неэтично, но также может иметь тревожные последствия во многих различных сценариях принятия решений.

В настоящее время специалисты по обработке данных усердно работают над решением этой проблемы, в результате чего были разработаны очень умные стратегии устранения смещения [Bolukbasi et al., 2016] [Chakraborty et al., 2016], которые уменьшают гендерная поляризация при сохранении полезных свойств вложения. Тем не менее, мы должны быть очень осторожны в применении техник НЛП в каждом контексте, где социальные предубеждения не имеют значения. Поступая таким образом, мы повысим эффективность наших моделей и, в конечном итоге, станем людьми.

Ссылки и дальнейшие лекции

Здесь вы можете найти мои основные источники, а также некоторые очень интересные материалы, на которые я предлагаю вам взглянуть, если вы заинтересованы в более глубоком изучении встраивания слов и устранения предвзятости.

Надеюсь, этот пост в блоге смог осветить гендерное неравенство, существующее в нашем обществе, и причину, по которой нам следует беспокоиться о гендерных стереотипах в НЛП. Пожалуйста, оставьте свои мысли в разделе комментариев и поделитесь, если вы найдете это полезным!



Томмазо Буонокоре - Скриттор - На пути к науке о данных | LinkedIn
Просмотрите профиль Томмазо Буонокоре в LinkedIn, крупнейшем в мире профессиональном сообществе. У Томмазо есть 3 вакансии, перечисленные на… www.linkedin.com