Придумать отличный набор показателей — это само по себе искусство: они могут привести к лучшему решению о продукте, упростить согласование всех заинтересованных сторон и обнаружение того, как используется ваш продукт.
Каждый продукт будет иметь 3–5 ключевых показателей, которые могут обеспечить целостное представление о ценности продукта для конечного пользователя. (Подробнее здесь). Ключевые показатели должны выступать в качестве прокси ценности для бизнеса, создаваемой продуктом, а также реагировать на изменения продукта. Хорошая продуктовая компания отдает приоритет функциям, которые оптимизируют ее ключевые показатели. Хорошая продуктовая компания сочетает данные метрик и интуицию (разработанную годами после пребывания на рынке), чтобы разработать свою стратегию.
Благодаря лучшему пониманию того, как руководить проектами по науке о данных, большинство команд по науке о данных теперь перешли из исследовательских подразделений в организации по доставке, то есть ожидается, что они будут быстро добавлять ценность компании и не застрять в режиме исследований навсегда. В настоящее время специалисты по обработке и анализу данных составляют ценную часть большинства продуктовых команд и должны иметь возможность выражать свое влияние с помощью четко определенных показателей их воздействия.
Всегда ли можно измерить и проанализировать ценность продукта?
да. Независимо от того, насколько «нечеткой» или неосязаемой может показаться ценность, вы можете применять количественные измерения к любому продукту, иначе говоря, использовать прокси. Например, невозможно узнать, какую ценность Medium добавляет своим читателям, но хорошим прокси является то, сколько времени пользователь еженедельно тратит на чтение веб-сайта.
Ментальная модель для размышлений о метриках эксперимента
Предположим, вы работаете с командой персонализации на YouTube, и вам нужно придумать базовую модель для рекомендации следующего раздела:
Теперь вам нужно разработать эксперимент A/B. Какие показатели вы собираетесь отслеживать, чтобы понять влияние модели и поведение различных групп пользователей?
Мы сможем определить это, если поймем путь пользователя в текущем продукте и откуда он извлекает ценности из машинного обучения.
Точка взаимодействия
Где пользователь взаимодействует с вашей моделью в пользовательском интерфейсе? Это новый раздел? Или раздел уже существует и теперь будет питаться с помощью ML? Предположим, что раздел уже существует, и в первом A/B-эксперименте 5% пользователей получают рекомендации по модели машинного обучения.
Как определить, считают ли пользователи в тестовой группе контент более актуальным на данном этапе? Простым показателем здесь может быть рейтинг кликов, т. е. из трех рекомендуемых пользователей в тестовой группе нажимают больше, чем в контрольной группе.
Ценный момент
Момент ценности вашего продукта — это событие, действие или серия событий и действий, представляющих момент, когда пользователь нашел ценность в вашем продукте. Находят ли пользователи реальную ценность в контенте, на который они нажимали — это можно определить с точки зрения минут, потраченных на просмотр, репост, отметку «Нравится», скачивание и т. д. Подходящей метрикой здесь может быть среднее время, потраченное пользователями на просмотр рекомендуемых видео.
Перемещение иглы
Все хорошо в отслеживании онлайн-показателей для модели, но переводятся ли они в ключевые показатели продукта, которые важны для заинтересованных сторон? Являются ли пользователи тестовой группы в среднем более вовлеченными — проводят ли они больше времени на платформе? Как это повлияет на доход от рекламы?
Сегментация пользователей
В зависимости от населения, выбранного для эксперимента, необходимо создать когорты на основе процентилей активности (для выявления опытных пользователей), региональных когорт/разбивки по странам (есть много культурных различий в том, как люди используют приложение, а также их использование данных). Постарайтесь разбить его как можно больше и попытаться понять влияние модели машинного обучения на эти разные когорты. Даже в эксперименте с плоскими результатами когорта с активными пользователями могла дать положительную реакцию. Если мы сможем правильно идентифицировать этих пользователей, мы сможем повысить ценность для бизнеса, выборочно развернув новый вариант среди подгрупп, которые дали положительную реакцию. Это может существенно повысить ценность плоских экспериментальных результатов.
Я определенно сделал много предположений для этого поста, но здесь я просто хотел представить, как мы можем думать о метриках с точки зрения продукта.
Подпишитесь на мою еженедельную рассылку здесь — aashaysachdeva.substack.com
