Моделирование обычно начинается с определения метрики для оптимизации, и часто это определение хорошо что-то упускает. Повышение точности может создать пространство для дискриминации, оптимизация прибыли может усилить неравенство и плохое поведение может скрываться за хорошими показателями производительности [1][2][3]. Наука о данных предлагает множество инструментов для оптимизации, но рассмотрите возможность определения самой проблемы: что делает решение желательным и какое поведение означает, что оно работает так, как задумано? Нет однозначного ответа, что в этой области ведется много работы (включая необходимость улучшения разнообразия в самой дисциплине) [4][5]. Тем не менее, рассмотрим два иногда необычных инструмента, которые могут помочь: информация и игровой дизайн.

Визуализация: одной цифры недостаточно

Желаемая модель на первый взгляд кажется очевидной: модель с высокой точностью при прогнозировании данных, которых она раньше не видела. Однако рассмотрим гипотетический продукт компьютерного зрения, который идентифицирует поврежденные дома с точностью 92%. В тестовом наборе с шестью городскими примерами на каждый из сельской местности это может означать 50% точность для сельской местности и 99% точность для города [6]. А как насчет разных городов или районов? Какие варианты моделирования усугубляют это несоответствие? Суммирование до числа скрывает эту сложность.

Команды часто тратят ресурсы на инфраструктуру для создания и обслуживания моделей, но я видел меньше с информационным дизайнером [8][9]. Переход от точности к точности и полноте абсолютно помогает, но как насчет отображения этих показателей по регионам или на карте [10]? Это кажется простым, но создание визуализаций, выходящих за рамки сводных метрик, для изучения производительности по многим параметрам, позволяет не только специалисту по данным, но и более широкой группе сотрудников глубже понять производительность, в том числе то, где она проявляется лучше всего и где возникают различия (или неравенства).

Геймдизайн: мы не знаем всего

Визуализация помогает понять эффективность целей, но как быть с неправильными целями? Рассмотрим модель, которая выясняет, где стимулировать создание новых супермаркетов для здорового питания в городе. Я построил модель доступности продуктов питания в Сан-Франциско [11]. Можно легко попросить компьютер разместить супермаркеты, чтобы оптимизировать доступ к здоровым и свежим продуктам, но эта модель не понимает существующие социальные центры, доступ к общественному транспорту, неравенство доходов, историю этих мест и т. д. Насколько важны эти разные факторы? Оптимизация может привести к численно идеальным решениям, которые граждане находят нежелательными.

Однако, создавая интерактивный инструмент для интерактивного «тестирования различных решений», модель меняется от предписания ответа к среде для рассуждения о различных ответах [11]. Инструменты, которые позволяют заинтересованным сторонам привнести свои знания в проблему, создают информированное обсуждение возможных решений, совместно определяя желаемое. Можно представить перспективу, недоступную для модели, задавая вопросы, которые исследователь данных мог не рассмотреть. Как команды данных могут разработать эти инструменты? Дисциплина MLUX отвечает на эти вопросы, и дизайн игры также предлагает перспективу создания компетенции в сложных системах, создания доступного опыта для достижения понимания и экспериментирования [12][13][14]. [15][16][17].

Совместный дизайн

Вместе информация и игровой дизайн задаются вопросом, как инструменты позволяют по-новому мыслить и как модели создают не только решения, но и диалог [18][19]. В идеале включение этих подходов снижает барьеры для совместной работы других, позволяя новым перспективам существенно информировать решения о самом решении или обосновывать будущие шаги в моделировании. Это перекликается с партиципаторным проектированием, подходами, которые сосредотачивают заинтересованные стороны на совместном проектировании с инженером/проектировщиком [20]. Вместо того, чтобы предлагать решение пользователю, эти пользователи участвуют в создании решения.

Такое обрамление, визуализация и игровой дизайн превращают машинное обучение из конкурента традиционных подходов (или человеческого опыта) в инструмент принятия решений. Это открывает новую дополнительную перспективу для сотрудников-людей и помогает достичь общего решения, более комплексного и информированного, чем человек или машина, которые могли бы достичь самостоятельно.

Подводя итог: инструменты для понимания

Визуализация помогает объяснить систему или модель, в то время как игровой дизайн помогает создавать инструменты для рассуждений о различных решениях или поведении. Вместе они обеспечивают что-то вроде совместного проектирования. Они делают поведение и параметры модели доступными для многих сотрудников. Конечно, такие инструменты визуализации и экспериментирования требуют как дизайнерских, так и технических усилий. Однако, в конечном счете, каждый выиграет от использования инструмента машинного обучения от чего-то, что действует как отдельная сущность, к тому, что действует как партнер, расширяя и масштабируя человеческое понимание проблемы, обеспечивая при этом воздействие модели [20].

Хотите больше экспериментов на стыке данных, дизайна и систем? Подпишитесь на меня, чтобы узнать больше!