Три принципа: ожидания, ошибки и доверие!
Ранее я говорил о проблемах управления продуктами машинного обучения (ML), поскольку это связано с большим количеством экспериментов, итераций и, следовательно, с большей неопределенностью. Как PM, вы должны предоставить инженерам и специалистам по обработке данных достаточно пространства и гибкости для изучения, прежде чем выбирать дальнейший путь. Но вам также необходимо четко определить целевые функции и побудить команду к раннему и частому тестированию, чтобы не сбиться с пути.
Те же проблемы возникают, когда вы разрабатываете пользовательский интерфейс (UX) для своих продуктов машинного обучения. Последние несколько месяцев я работал с нашей командой UX, чтобы собирать отзывы клиентов и улучшать UX наших продуктов. Вот три самых важных урока, которые мы извлекли.
Установите правильные ожидания
Производительность моделей машинного обучения улучшается, поскольку они обучаются с большим количеством данных. Замечательно, что модели постоянно совершенствуются. Но это также означает, что их работа не будет идеальной с первого дня.
Очень важно помочь пользователям понять природу продуктов машинного обучения. Что еще более важно, нам нужно работать с пользователями, чтобы заранее согласовать набор критериев приемлемости. И мы будем внедрять модели машинного обучения только в том случае, если они соответствуют критериям приемлемости.
При установке критериев приемлемости вы можете посмотреть на базовую производительность системы или производительность альтернативных / существующих решений, например. производительность людей или текущих программ.
Иногда у вас может быть несколько групп пользователей, и у них есть конфликт интересов. Или ваши варианты использования требуют нулевых ошибок для определенных областей. Вам также может потребоваться выбрать компромисс между точностью и отзывом, исходя из ваших бизнес-кейсов.
В случаях, когда пользователям требуется, чтобы модель работала хорошо с первого дня запуска. Предварительно обученные модели могут быть полезны. Но даже с предварительно обученными моделями все еще могут возникать крайние случаи. Вам необходимо работать с пользователями, чтобы разработать планы по снижению рисков: каков резервный план, если модель не работает? Сколько времени нужно на повторное обучение модели, если пользователь хочет внедрить новые элементы или добавить новые варианты использования? Может ли пользователь установить период отключения электроэнергии, когда обновление модели не разрешено?
Правильно обосновав ожидания пользователей, вы можете не только избежать разочарования клиентов, но и порадовать их. Умный динамик Amazon Alexa - хороший тому пример. Мы возлагаем большие надежды на гуманоидов: мы ожидаем, что они будут говорить и действовать как люди. Поэтому, когда Пеппер не удалось поговорить с нами разумно, мы расстроились. В отличие от этого, Alexa позиционируется как умный динамик, который снижает ожидания клиентов. И нас радует, когда мы узнаем, что он может делать больше, чем просто играть музыку.
Прозрачность - еще один важный компонент для улучшения коммуникации и доверия. ML более вероятен, чем программная инженерия. Таким образом, отображение уровня достоверности каждого прогноза - это способ установить правильные ожидания. Это также помогает пользователям понять, как работают алгоритмы, и, следовательно, завоевать доверие пользователей.
Укрепление доверия
Алгоритмам машинного обучения часто не хватает прозрачности, они действуют как черный ящик, который принимает входные данные (например, изображения) и выводит прогнозы (например, что / кто объекты / люди на изображениях). Вот почему так важно объяснить пользователям, как работают модели машинного обучения, чтобы завоевать доверие и получить поддержку.
Невыполнение этого требования оттолкнет пользователей. Например, водители Uber сообщали, что чувствуют себя бесчеловечными и сомневаются в справедливости алгоритма, особенно когда их наказывают без четких объяснений. Эти драйверы считают, что приложение много о них знает, но мало понимают, как работает алгоритм и как он принимает решения.
С другой стороны, на веб-странице Amazon рассказывается, почему они рекомендуют эти книги. Это простое однострочное объяснение. Но это помогает пользователям понять, как работают алгоритмы, чтобы пользователи могли больше доверять системам.
То же исследование водителей Uber также показало, что водители чувствуют, что за ними постоянно наблюдают, но они не знают, для чего будут использоваться данные. Помимо соблюдения требований GDPR или других правил защиты данных, постарайтесь упростить пользователям понимание того, как управляются их данные.
Осторожно обрабатывайте ошибки
«… Но есть также неизвестные неизвестные - те, о которых мы не знаем, мы не знаем… именно последняя категория, как правило, является наиболее сложной», - Дональд Рамсфельд
Часто бывает трудно предсказать, как система выйдет из строя, когда вы ее проектируете. Вот почему пользовательское тестирование и обеспечение качества чрезвычайно важны для выявления состояний сбоя и крайних случаев. Обширное тестирование в лаборатории и в полевых условиях может помочь свести к минимуму эти ошибки.
Также важно классифицировать ошибки и обрабатывать их в зависимости от уровня серьезности и частоты. Есть фатальные ошибки, о которых необходимо уведомлять пользователей и требовать немедленных действий. Но есть и небольшие ошибки, которые не влияют на работу системы в целом. Если вы будете уведомлять пользователей о каждой незначительной ошибке, это будет действительно неприятно. И это может быть катастрофой, если вы не устраните фатальные ошибки немедленно.
Вы также можете думать об ошибках как о неожиданном взаимодействии между ожиданиями пользователя и предположениями системы:
Ошибки пользователя обычно определяются разработчиками системы, когда пользователи «неправильно используют» системы, что приводит к ошибкам.
Системные ошибки возникают, когда система не может предоставить правильные ответы, которых ожидают пользователи. И они часто являются результатом внутренних ограничений системы.
Ошибки контекста возникают, когда система работает должным образом, но пользователи воспринимают ошибку. И это часто происходит потому, что предположения, которые мы используем при разработке системы, неверны.
Например, если пользователь продолжает отклонять предложения от приложения, группа разработчиков продукта может захотеть взглянуть и понять, почему. Например, приложение может ошибочно предполагать, что пользователь живет в Азии, основываясь на данных его кредитной карты. В этом случае, возможно, данные о фактическом местонахождении пользователей будут лучшей точкой для таких предположений.
Самый сложный тип ошибок - это неизвестные неизвестные: ошибки, которые система не может обнаружить. Один из способов решить эту проблему - вернуться к данным и проанализировать необычные закономерности, такие как постоянные отказы, о которых мы только что говорили.
Другой способ - разрешить пользователям оставлять обратную связь: упростите для пользователей возможность оставлять отзывы в любое время и в любом месте. Позвольте пользователям помочь вам обнаружить неизвестные неизвестные. Вы также можете использовать отзывы пользователей, чтобы улучшить свою систему. Например. Youtube позволяет пользователям сообщить системе, что они не хотят видеть определенные рекомендации. Он также использует это, чтобы собрать больше данных и сделать свои рекомендации более персонализированными и точными.
Сформулируйте прогнозы модели машинного обучения как предложения - это также способ управлять ожиданиями пользователей. Вместо того, чтобы диктовать, что пользователи должны делать, вы можете предоставить пользователям возможность выбора. Но учтите, что это неприменимо, если у ваших пользователей недостаточно информации для принятия правильных решений.
Многие из общих принципов, о которых мы говорили ранее все еще применимы здесь. Вы можете найти более подробную информацию в моей предыдущей статье.
- Тщательно определите проблему и проводите тестирование как можно раньше и чаще. Будьте осторожны, если вы слышите, как кто-то говорит: «Давайте просто построим модель и посмотрим, что она делает».
- Знайте, когда вам следует или не следует использовать ML.
- Подумайте о своей стратегии обработки данных с первого дня.
- Создание продуктов машинного обучения носит междисциплинарный характер. Думайте не только о машинном обучении.
Бастиан Хуанг (Bastiane Huang) - менеджер по продукту OSARO, стартапа из Сан-Франциско, создающего программно-определяемую робототехнику. Она работала в Amazon в группе Alexa и в Harvard Business Review, а также в университетской программе Future of Work Initiative. Она пишет о машинном обучении, робототехнике и управлении продуктами. Следуйте за ней здесь .
Этот пост был опубликован в сообществах www.productschool.com.
