В этом семестре мы создали новую исследовательскую группу в программе интерактивных телекоммуникаций Нью-Йоркского университета. Группа интеллектуального дизайна, возглавляемая Патриком Хевроном и Руне Мэдсен при поддержке Евы Вайнберг, занимается изучением того, как машинное обучение изменит сферу дизайна. Мы считаем, что машинное обучение изменит то, как люди взаимодействуют с инструментами дизайна, языками программирования и операционными системами. И наоборот, мы считаем, что проектная работа необходима для трансформации машинного обучения - чтобы вывести его из корней информатики и превратить его в более плодородную почву для творческих вычислений.
Цель этой группы - разработать фреймворки дизайна, программные инструменты с открытым исходным кодом, письменные и другие учебные материалы, чтобы начать обсуждение новых возможностей на стыке дизайна и машинного обучения. В течение последних трех недель мы работали как над определением основных направлений этого исследования, так и над методологией наших экспериментов. Этот пост представляет собой краткое изложение некоторых первых результатов и инструкций по дальнейшим действиям.
Темы исследований
При обсуждении общей темы и последствий для текущих инструментов дизайна материализовались две широкие категории.
Тема 1. Дизайн по описанию
Современные инструменты дизайна возлагают на пользователя большую нагрузку. Пользователи должны не только изучить специфику своего ремесла (графические дизайнеры должны владеть формой, цветом, типографикой и т. Д.), Но также знать, как эти идеи воплощаются в инструменте цифрового дизайна, который они пытаются использовать. Это затрудняет создание чего-либо с пустого холста, особенно если вы новичок. Как бы он выглядел, если бы процесс проектирования представлял собой интерактивный диалог между дизайнером и машиной? Что, если бы дизайнеры могли создавать дизайны с помощью словесных описаний или текстовых деклараций и повторять свой путь к окончательному дизайну, отвечая на продукты, созданные с помощью программного обеспечения? Как мы можем думать о дизайнере как о арт-директоре, который устанавливает основные параметры и цель дизайна и позволяет компьютеру предлагать дизайн на основе этих пожеланий? Как машинное обучение может помочь решить как объективные инженерные задачи, так и очень субъективные проектные задачи?
Тема 2: Адаптивные пользовательские интерфейсы
В современных инструментах дизайна есть кнопки и меню, которые остаются на одном месте, несмотря на то, как часто они используются. Они статичны. Что, если бы наши инструменты могли адаптировать свои пользовательские интерфейсы в зависимости от того, как они используются? Что, если бы программное обеспечение могло автоматически создавать новые интеллектуальные функции при обнаружении повторяющегося использования определенных шаблонов? Как дизайнеры могут инструментировать и персонализировать инструменты, записывая физические или цифровые жесты, и сопоставлять их с пользовательскими функциями? Как мы можем создать эти инструменты дизайна, не отталкивая пользователей и не изобретая более умный и раздражающий Microsoft Clippy?
Методология
Опытные образцы исследовательских проектов будут представлены в пять этапов.
1. Идея проекта
Сначала студенты будут работать над определением проектов на основе вышеуказанных тем исследования. Это будет происходить в виде групповых обсуждений, когда вокруг конкретных идей будут созданы небольшие исследовательские группы. Хотя темы исследования довольно расплывчаты, эти проектные идеи должны быть ориентированы на конкретную предметную область.
2. Дизайн взаимодействия
Затем студенты разработают бумажные прототипы, чтобы визуализировать, как пользователи взаимодействуют с программным обеспечением. Эти бумажные прототипы будут обсуждаться и проверяться на собраниях исследовательских групп.
3. Механическое испытание турок
Затем студенты протестируют эти идеи на реальных пользователях, без реализации алгоритмов машинного обучения. Либо путем взаимодействия пользователей с бумажными прототипами, либо путем создания программного обеспечения для экранного тестирования, управляемого членами группы, будут проверены основные предположения метода взаимодействия. Это выявит распространенные ошибки и потребности пользователей.
4. Создание прототипов программного обеспечения.
Затем студенты будут работать над созданием прототипов программного обеспечения с открытым исходным кодом, которые будут размещены на GitHub.
5. Документация
На этапе разработки проекта студенты будут писать о своем прогрессе и выводах в этом блоге. Инструкции по использованию окончательных прототипов программного обеспечения будут размещены на GitHub.
