Пятая итерация FAccT (Конференция ACM по справедливости, подотчетности и прозрачности) прошла в начале этого месяца (21–24 июня) в Сеуле, Южная Корея. Это была не просто гибридная конференция, это была полноценная конференция с личным присутствием в сочетании с полноценной онлайн-конференцией. Это происходило параллельно, с виртуальными сессиями, которые начинались до и продолжались каждый день после очного компонента.¹ Около 500 человек присутствовали лично, еще 500 участвовали удаленно. Я был там в составе команды, работавшей над статьей Ценности в машинном обучении, которая в итоге была удостоена одной из четырех наград Выдающаяся работа!

Конференция значительно расширилась с тех пор, как я впервые посетил ее в 2019 году, но по-прежнему включает в себя важные междисциплинарные исследования по таким темам, как справедливость, предвзятость, объяснимость, конфиденциальность, управление и многое другое. Учитывая рост, было неизбежно, что в этом году будут параллельные треки, а это означает, что я видел только небольшую часть работы, которая была представлена ​​лично, не говоря уже обо всех онлайн-сессиях, которые я пропустил. Таким образом, это будет весьма неполный отчет о некоторых частях конференции, которые я испытал.

Ядром большинства конференций являются бумажные презентации, и здесь они были сгруппированы в наборы из трех документов по разным темам, таким как сотрудничество человека и ИИ, ответственное управление данными или этический ИИ. В отличие от большинства конференций, учебные занятия и сеансы CRAFT² были распределены по всей конференции, а не проводились заранее, и затрагивали такие темы, как общение между сообществами, уроки, извлеченные в отрасли, картирование наблюдения и совместное проектирование с работниками.

Для меня одной из самых интересных тем в этом году была работа над аудитом и подотчетностью. ³ Похоже, что к настоящему времени в сообществе появилось широкое понимание и согласие в отношении того, что алгоритмический вред — это не то, что можно решить с помощью простого технологического решения. Таким образом, большая часть внимания сообщества была направлена ​​на расследование, документирование и привлечение людей к ответственности за то, как алгоритмические системы влияют на жизнь людей, особенно среди уже маргинализированных сообществ.

В том же духе несколько докладов и сессий касались темы аудита. Хотя аудит становится все более популярным подходом к попыткам привлечь к ответственности различные учреждения, существуют определенные ограничения полномочий аудита и даже его потенциала для усиления легитимности сомнительных систем.⁴

В качестве примера того, почему это сложно, рассмотрим сессию CRAFT, которую провела Эвани Радия-Диксит, представив разработанную ею структуру для аудита использования слежки за лицами полицией. В этой работе рассматривались три реальных развертывания таких систем, и удалось последовательно задокументировать способы, в которых они не соответствовали минимальным юридическим и этическим стандартам. Однако, как было поднято во время вопросов и ответов, разработка такой основы влечет за собой риск легитимации использования полицией слежения за лицом; если они могут соответствовать стандартам аудита, то они потенциально могут заявить, что система в некотором смысле аккредитована или даже этична, тогда как многие другие будут выступать против любого такого использования технологии в этом контексте.

Фантастический пример такого рода сомнительного перепрофилирования исследования был представлен Мэг Янг из ее статьи о корпоративном захвате на FAccT. Помимо рассмотрения корпоративного финансирования и участия⁵ в конференции, в этой работе был специально рассмотрен документ, опубликованный на FAccT 2021, в котором был проведен совместный аудит Pymetrics, компании, которая производит продукт для проверки кандидатов на работу. Это исследование финансировалось компанией, и среди авторов статьи были как ученые, так и сотрудники, в том числе генеральный директор Pymetrics в качестве последнего автора. В дополнение к указанию на потенциальный конфликт интересов и ограничения процесса рецензирования (в котором рецензенты не могли видеть информацию об авторстве и финансировании⁶), было показано, как эта работа позже использовалась компанией в качестве основы для отдел маркетинга утверждает, что он прошел независимую проверку. Более того, компания была решительным сторонником законодательства в Нью-Йорке, которое запрещало бы работодателям использовать такие инструменты, если они не прошли аудит, что потенциально может привести к созданию барьеров для конкуренции.

Сессия, на которой был представлен этот документ, была одной из самых интересных, на которых я присутствовал, включая три доклада, представляющих работу, критикующую сам FAccT. В дополнение к первой статье Бен Гански представил документ, критикующий максимализм метаданных — подход, направленный на то, чтобы заставить исследователей улучшить прозрачность и документацию (при потенциальном игнорировании вопроса о том, действительно ли это помогает субъектам классификации) — и Илэйн Руан представила исследование того, как статьи, опубликованные на FAccT, концептуализируют и реализуют вред и неравенство, показывая тенденцию внутри сообщества рассматривать эти проблемы абстрактно, а не сосредотачиваться на конкретном вреде для конкретных групп⁷.

Этот вопрос сам по себе может показаться несколько абстрактным, но он приобретает большую значимость в сочетании с презентациями на других сессиях. Не желая называть какую-либо конкретную статью, я просто скажу, что я присутствовал на нескольких презентациях, в которых авторы риторически твердо позиционировали себя в рамках норм FACCT, включая принятие построения социотехнических систем и системных изменений, но которые, тем не менее, мне казались несостоятельными. в знакомую ловушку подхода ко всем проблемам как к поддающимся пониманию с помощью вычислительных моделей.

Очевидно, что математическое моделирование может иметь большую ценность и силу в некоторых контекстах, но я скептически отношусь к большинству попыток применить идеи из таких областей, как динамическое управление или сложные системы, к социальным проблемам, какими бы благими намерениями они ни руководствовались. Несмотря на сложность этих моделей, реальный мир неизбежно будет более сложным. Рассмотрение социальных миров как систем, которые можно смоделировать с помощью нескольких уравнений, кажется, работает против более широкого мышления, которое предполагает название этих статей, и рискует попасть в те же ловушки, что и более упрощенная работа над предвзятостью и справедливостью в классификации.

Подобная напряженность присутствовала и в некоторых основных докладах. Тино Куэльяр (бывший судья Верховного суда Калифорнии) выступил на тему, которую я не ожидал, — риски, связанные с большими языковыми моделями. социальные», в том смысле, что они будут способны воспроизводить связный естественный язык в широком диапазоне контекстов. Опираясь на тонкую комбинацию идей, он утверждал, что, хотя мы признаем, что эти языковые системы могут быть плохими заменителями человеческого общения, спрос среди определенных групп (особенно пожилых людей, у которых может быть меньше других вариантов, и молодых людей, которые могут творчески исследовать это пространство возможностей) в сочетании с давлением компаний на продажу этих технологий, скорее всего, приведут к повсеместному внедрению систем, которые, хотя и не совсем компетентны, тем не менее могут быть убедительными, опасными и, тем не менее, потенциально полезными в некоторых контекстах. Я лично считаю, что эта оценка, вероятно, верна, хотя, поскольку участники справедливо настаивали на своем, мы должны быть осторожны, чтобы не усилить повествование о сверхкомпетентности в попытке поднять тревогу по поводу этих событий.

Вопрос шумихи также поднимался в интервью Уильяма Айзека с Карен Хао, которая освещала ИИ, технологии и общество для MIT Technology Review, а теперь и для Wall Street Journal. Для тех, кто знаком с фактическими исследованиями в области ИИ, легко увидеть, до какой степени эти исследования имеют тенденцию преувеличиваться и раздуваться в СМИ. Тем не менее, это обсуждение помогло пролить свет на некоторые связанные с этим противоречия. По собственному опыту Карен описала тонкую грань между желанием опровергнуть ложные заявления и нежеланием привлекать дополнительное внимание к исследованиям, которые лучше всего игнорировать.

К сожалению, по мере того, как ИИ используется все шире, все больше и больше журналистов получают задание освещать его, не имея достаточного понимания технологии, они как таковые, скорее всего, будут слушать того, кто говорит громче всех. Ее совет заключался в том, что исследователи, которые публично выступают в попытке противодействовать ажиотажу, чрезвычайно полезны, поскольку это предоставляет ресурсы, которые журналисты могут использовать для противодействия вводящему в заблуждение повествованию.

Интервью также подняло ряд проблем и вопросов, связанных с предубеждением в отношении Северной Америки и Европы, которое, как правило, существует в FAccT. Частично это связано с широко распространенной западной точкой зрения на описание различных аспектов алгоритмических систем, например, с использованием термина «фантомная работа» для описания труда, который слишком очевиден в странах, где он имеет место. Другой частью было обсуждение заметного отсутствия участия исследователей ИИ из Китая в FAccT. Это кажется особенно актуальным, учитывая различия в развитии этих технологий в Китае по сравнению с другими частями мира, а также роль, которую Китай, вероятно, будет играть в глобальном развертывании ИИ. Как отметила Карен, китайский ИИ исследователи на самом деле активно следят за разговорами об этике ИИ на Западе, но не всегда свободно говорят об этих проблемах; Западные исследователи, напротив, в основном понятия не имеют, что происходит в Китае.

Наконец, я также рекомендую основной доклад Андре Брока о том, что он назвал Либидинальный алгоритм или расизм слабой связи. Это был один из самых философски сложных докладов на конференции, и его нелегко подытожить. Опираясь на критическую расовую теорию и представление о расе как о технологии, Андре изображает чернокожих как опытных пользователей технологий, которые, тем не менее, сталкиваются с неавторизованным расизмом благодаря этому взаимодействию, особенно в социальных сетях, отчасти из-за того, как платформы имеют тенденцию усиливать потенциально травмирующий контент. Это была сложная и тонкая презентация, полная юмора и развивающая богатую сеть концепций, поэтому ее стоит посмотреть полностью.

Конференция завершилась общим собранием, которое обеспечило прекрасную прозрачность проблем, затрат и организационной структуры, связанных с проведением конференции, а также краткое изложение некоторых напряженных отношений внутри сообщества.¹⁰ Как оказалось, проблемы высказанные участниками, в значительной степени отражали результаты, изложенные в большом ретроспективном документе смешанного метода, который также был представлен на конференции в этом году.

В частности, люди в восторге от того, что FAccT существует как междисциплинарное пространство, но есть некоторые опасения, что под-направления в рамках конференции слишком фрагментированы, и недостаточно коммуницируют друг с другом, как на этапе рецензирования, так и на этапе презентаций. Кроме того, несколько человек выразили обеспокоенность тем, что FACCT остается или стал несколько обособленным, с ограниченным участием людей, которые еще не работают над темами FACCT (не говоря уже о тех, кто находится за пределами академических кругов), а также с ограниченным охватом этих идей за пределами этого сообщества, особенно более массовым исследователям машинного обучения. Также существуют определенные противоречия по поводу того, насколько CS должно быть в центре внимания конференции, как сделать эту работу действительно совместной с теми, кого это касается, и как финансировать конференцию, не ставя под угрозу ценности сообщества (особенно, когда большая часть спонсорства идет на будущее). от крупных технологических компаний).

В целом, я бы сказал, что конференция имела огромный успех, несмотря на несколько меньшее, чем ожидалось, участие более старших исследователей. Джош Лазар проделал исключительную работу по управлению делами и, казалось, был буквально везде, как лично, так и в Интернете. Однако, учитывая затраты и трудности, связанные с проведением полной личной и полной онлайн-конференции одновременно, предварительный план состоит в том, чтобы переключиться на модель ежегодного чередования онлайн-конференции и гибридной (т. е. личной встречи с потоковой передачей). ) конференция. Если у вас есть твердое мнение по этому поводу, похоже, организаторы хотели бы услышать от вас.¹¹

Примечания

  1. Предварительно записанные видео теперь доступны для всех газет, как и живые записи основных докладов. К сожалению, похоже, что какие-либо сессии, кроме основных, не были записаны, а это означает, что многое не было заархивировано, включая все бумажные вопросы и ответы, а также большинство обучающих и CRAFT-сессий. Все доклады доступны на сайте конференции.
  2. CRAFT = Критика и переосмысление подотчетности, справедливости и прозрачности
  3. Некоторые из многих статей по этой теме включают Кто проводит аудит аудиторов? Рекомендации по результатам полевого сканирования экосистемы алгоритмического аудита, Подотчетность в алгоритмическом обществе: реляционность, ответственность и надежность в машинном обучении и Создание необъяснимого Интернета: изменение значения бухгалтерского учета в ранней ARPANET.
  4. Хотя он был представлен в другом месте, здесь отличной ссылкой является документ Деба Раджи об ограничениях аудитов, в том числе о том, когда они могут работать хорошо, и о том, чему мы можем научиться из других усилий в других секторах.
  5. Среди корпоративных организаций, перечисленных участниками (лично и онлайн) в своих профилях на платформе конференции этого года, были: AdeptID, Adobe, Apple, DeepMind, ETS, Elsevier, Google, HireVue, HuggingFace, IBM, Действительно, JP Morgan, Kigumi Group, Korea Electric Power Corporation, LG, Medtronic, Meta, Microsoft, Naver, Oxford Wave Research, Parity, Pinterest, PwC, RELX, Salesforce, Sony, Spotify, Tableau, Twitter, Uber ии Заландо.
  6. Фактически, именно этот вопрос возник для меня при рецензировании для FAccT, в котором статья, которая мне в остальном понравилась, вызвала опасения по поводу возможного конфликта интересов из-за отсутствия информации о финансировании, авторстве и позиционировании.
  7. Кроме того, эта работа показала, что среди тех статей, в которых явно говорится о группах, на которые может быть оказано влияние, авторы в подавляющем большинстве сосредотачиваются на расе и поле.
  8. См. также мою тему ​​в Твиттере, в которой резюмируется этот основной доклад.
  9. У меня также есть ветка в Твиттере, в которой обобщаются основные моменты, представленные в ратуше, а также вопросы и комментарии аудитории.
  10. Во время встречи организаторы объяснили, что одной из причин проведения конференции в Корее была надежда на то, что она побудит и позволит большему количеству исследователей из Китая принять участие. К сожалению, этого не произошло, во многом из-за пандемии.
  11. Для тех, кто посетил в этом году, также есть опрос после конференции, где вы можете оставить отзыв: https://t.co/jNTEUEinhO