Как мы используем данные и машинное обучение для оптимизации и развития нашего рынка
Это ЧАСТЬ 2 из четырех частей. В нем представлен обзор проблем, с которыми мы столкнулись, и решений, которые мы создали для поддержки роста на уровне глобального рынка. Остальные платежи:
Думайте о конверсии основных пользователей как о части нашего движка, который производит основных пользователей. Думайте о основных пользователях как о быстрых машинах. Если бы не было правил и положений, были бы машины, которых толкали, и машины, которые остались бы позади. Что, если бы некоторые из этих автомобилей были нашими постоянными основными пользователями, которые не могут идти в ногу с новым темпом? Что, если бы все дороги были уже настолько переполнены, что новые быстрые автомобили не смогли полностью реализовать свой потенциал?
Мы представляем FLOW, нашу централизованную координирующую часть механизма рынка, целью которой является получение и консолидация аналитических данных о рынке и использование этой информации для ускорения, отвлечения или замедления основных пользователей, чтобы сбалансировать их рост. В конечном итоге он направлен на обеспечение оптимального потока рабочих мест и доходов через систему.
Эта часть 2 нашей серии статей построена следующим образом:
1) Мотивация: влияние координации на центральном рынке на бизнес.
2) Основа FLOW, нашего координационного механизма, на основе данных и машинного обучения.
3) Как мы используем FLOW для разработки и реализации основных стратегий роста.
Влияние FLOW, нашего механизма координации на рынке, на бизнес
Используя аналогию с транспортной системой, мы представляем каждую единицу спроса и предложения работы как автомобиль, движущийся по шоссе. Затем цели оптимизации нашего бизнеса, такие как увеличение числа рабочих мест и доходов, могут быть достигнуты с помощью задач
- строить все больше и больше автомагистралей и,
- толкает по шоссе все больше и больше машин.
С помощью FLOW мы также можем сразу увидеть заторы на торговой площадке. В приведенном ниже примере показан рынок вакансий для мобильных разработчиков. Для иллюстрации он сегментирован по измерениям уровня знаний и опыта работы с платформой. Большая магистраль спроса слева по сравнению со стороной предложения справа указывает на дефицит предложения в мобильной разработке. При увеличении масштаба мы можем увидеть, что этот разрыв в основном связан с отсутствием предложения в сегменте высококвалифицированных специалистов. И наоборот, учитывая этот разрыв, это означает, что у нас также есть проблема со стороны спроса. Теперь, когда количество высококвалифицированных фрилансеров ограничено, нашим клиентам приходится конкурировать. Приход новых клиентов еще больше увеличивает конкуренцию, что затрудняет нашим основным клиентам поиск фрилансеров и заполнение их рабочих мест. С помощью FLOW мы можем обнаружить этот риск оттока основных клиентов.
С FLOW мы можем систематически раскрывать возможности роста и анализировать рыночные риски в виде скоплений. В качестве примеров мы видели два типа перегрузки: дефицит предложения и отток клиентов. Фактически, из наших данных мы можем сделать вывод, что восполнение этого дефицита предложения для мобильной разработки поможет нам получить ~ 43 миллиона доходов. С другой стороны, если мы не восполним этот пробел, есть риск, что мы потеряем ~ 4 миллиона из-за оттока основных клиентов. Мобильная разработка - лишь одна из многих категорий вакансий, которые вы можете найти на Upwork. Понимание потоков и устранение перегрузок даже на одной из сотен этих «магистралей» имеют огромное влияние на бизнес. Фактически, если мы сможем оптимизировать и расти на уровне глобального рынка, наши знания и оценки показывают, что возможности с точки зрения основных бизнес-показателей (количество посетителей, скорость заполнения, удержание расходов и общий рост основных пользователей) намного больше, чем конверсия на уровень пользователя.
Теперь мы обсудим, как создать основу для FLOW и использовать ее для систематической разработки и реализации стратегий роста, которые окажут долгосрочное влияние на здоровье и устойчивость нашего рынка.
Часть 2.1: Использование методов машинного обучения и оптимизации рынка для создания потока
Нам нужен концептуальный фундамент для нашего рынка, чтобы построить такую систему, как FLOW. Эта основа закладывается благодаря нашим постоянным усилиям по улучшению наших решений для четырех основных проблем, показанных ниже.
Сегментация торговой площадки
В основе всего лежит задача определения рынка. Существует целый ряд атрибутов, которые мы можем использовать и должны учитывать при сегментации, включая категории должностей (мобильная разработка или обслуживание клиентов), требования к навыкам (Java или Adobe Photoshop), уровень знаний, цена, географическое положение. В конечном итоге мы хотим, чтобы каждый определенный сегмент был однородным, чтобы его поведение было предсказуемым. Чтобы понять и эффективно координировать рост сегмента, необходимо, чтобы его составляющие были сопоставимыми или в некоторой степени заменяемыми продуктами. Только тогда мы будем знать, как эффективно контролировать спрос и предложение в этих сегментах, и сможем предсказать, какое влияние политика, такая как ограничение предложения, окажет на клиринговую ставку (цену), скорость заполнения (пропускную способность) и другие атрибуты. мы стремимся оптимизировать эти сегменты.
Мы применяем практический подход к решению этой проблемы: идея состоит в том, чтобы начать с навыков, уровня навыков и географии в качестве основных атрибутов сегментации для определения таких сегментов, как «Java-вакансии уровня 3 из США в США». . Поскольку отдельные рынки росли разными темпами, это правило единообразной сегментации приводит к появлению сегментов разного размера. Мы оцениваем их однородность на основе автономных показателей, и особенно для крупных сегментов, мы применяем дополнительные правила декомпозиции, когда они не соответствуют нашим прогнозам политики.
В рамках решения этой проблемы сегментации мы используем статистические методы обучения для определения заменяемости навыков (для формирования сегментов на основе заменяемых навыков). Еще одна проблема, которую мы решили, заключается в том, как вывести требования к уровню знаний на основе должности (т. Е. Определить уровень знаний со стороны спроса): требования уровня, явно указанные нашими клиентами, часто не соответствуют их должностным инструкциям. . Мы формулируем это как проблему классификации и используем метаданные о вакансиях, встраивание текста, а также данные о поведении, такие как клики и приложения, которые мы наблюдали для сообщения о вакансии, чтобы сделать вывод о требованиях к уровню должности. Прогнозирование уровня знаний наших фрилансеров, т. Е. уровня знаний со стороны предложения, представляет собой еще более интересную задачу. Также здесь, хотя уровень, «заявленный» нашими фрилансерами, полезен как явный сигнал, нам нужен более надежный индикатор с низким разрешением (1–10) для уровня. Мы используем статистическое моделирование, чтобы использовать наши данные и фиксировать процесс предложений о работе, собеседований, найма и обратной связи о результатах работы в качестве соревнования с клиентами в качестве судей: интуитивно понятно, что фрилансерам назначается более высокий уровень квалификации, если по сравнению с соревнованием, которое они выиграли больше собеседований, нас наняли на все более и более крупные должности и получили больше положительных отзывов о работе.
Прогнозирование спроса и предложения
Задача здесь состоит в том, чтобы количественно определить единицы спроса и предложения для каждого сегмента, например сколько часов спроса и предложения у нас для «Уровня 3 Java между США и США». Это нетривиально, потому что в Upwork у нас есть различия в (1) типах вакансий (фиксированная цена и почасовая работа), (2) намерениях клиента (исследование или готовность к найму) и (3) доступности фрилансеров (подработка или работа по найму). . полное обязательство).
Стоимость работы с фиксированной ценой определяется нашими клиентами, которая может отличаться от фактического платежа, выплаченного в конце контракта (например, бонуса, выплачиваемого для компенсации изменения объема). Срок действия контракта неизвестен, поэтому преобразование этих контрактов в единицы времени требует оценки объема и скорости изменения фрилансера. С другой стороны, почасовые контракты могут быть напрямую представлены как единицы времени. Однако их объем, продолжительность и стоимость - это гибкие величины, которые подлежат взаимному удовлетворению между клиентом и фрилансером в течение всего срока реализации проекта. Задача прогнозирования спроса выходит за рамки подсчета фактических рабочих часов, наблюдаемых до сих пор, для учета всего объема всех текущих контрактов, которые в некоторых случаях распространяются на срок более 24 месяцев в будущем (большой процент фрилансеров Upwork ищут долгосрочные контракты). срок помолвки). Поэтому в качестве единицы измерения мы также используем стоимость как альтернативу времени (1 доллар США против 1 часа). Мы формулируем прогноз стоимости контракта как задачу регрессии и построили модель для получения количественной оценки спроса на основе стоимости.
Фактически, мы думаем, что наш спрос - это сумма всех действующих контрактов и вакансий, которые все еще стремятся нанять. Но намерения найма различаются, так как же нам отличить клиентов, которые все еще ищут информацию, от клиентов, которые готовы нанять? К счастью, существуют различные типы сигналов взаимодействия, которые мы можем извлечь из журнала кликов, чтобы сделать вывод о различных уровнях намерения нанять (пригласит против собеседования или наймет фрилансера).
Что касается предложения, количество доступных рабочих часов во многом зависит от приверженности фрилансера. Несмотря на то, что мы просим наших фрилансеров объявлять о своей доступности с точки зрения количества рабочих часов в неделю, этот сигнал не совпадает с нашим фактическим наблюдением за вовлеченностью фрилансера и ответами на запросы клиента о найме. Мы не пытаемся напрямую прогнозировать доступность, но сформулировали модель для прогнозирования сигналов доступности, таких как вероятность того, что фрилансер примет приглашение на работу. По аналогии с количественной оценкой спроса мы также строим модели для прямого прогнозирования ценности, то есть прибыли, которую наши фрилансеры смогут генерировать на Upwork.
Концептуально чистое и систематическое решение для нашего прогнозирования спроса и предложения требует установления единой единицы измерения, например долларовую стоимость и построение моделей для прогнозирования стоимости рабочих мест и доходов фрилансеров. Хотя это действительно отражает наши постоянные усилия, точное прогнозирование стоимости является сложной задачей из-за разнообразия, которое у нас есть с точки зрения категорий должностей, намерений и требований клиентов, а также доступности и приверженности фрилансера. Более того, эффективное предложение и спрос - это не только вопрос покупателей и продавцов, но и то, насколько нам нравится, когда оператор торговой площадки облегчает поиск и обмен товаров. Чтобы учесть это, мы добавляем параметр воздействия, чтобы определить, видят ли вакансии / фрилансера фрилансеры / клиенты и в какой степени.
Исходя из предположения, что еще не существует идеального единого решения, мы применяем прагматический подход, используя несколько единиц измерения и прокси (время и стоимость, а также другие прокси для спроса и предложения, такие как количество вакансий, приглашения по инициативе клиентов, фрилансер инициированных приложений) и уточнения этих оценок на основе нашего понимания присутствия на рынке, намерений клиентов и доступности фрилансеров для выявления дисбаланса спроса и предложения на различных уровнях приближения.
Оптимальная цена
На сложном рынке, таком как Upwork, где сегментация и определение «продукта» являются серьезными проблемами, реализация ценовой политики, которую мы видели, далеки от систематической и хорошо изученной. Мы признаем ценообразование основным рычагом для координации между спросом и предложением, для увеличения краткосрочной прибыли, а в случае неудач - также для нанесения ущерба долгосрочному здоровью и устойчивости рынка.
В идеальном мире мы хотим установить оптимальную цену (то есть клиринговую ставку для контрактов) для каждого сегмента, которая идеально балансирует между спросом и предложением, то есть установить равновесную цену, при которой поставленное количество равно требуемому количеству. Это теория, но факты есть на таких торговых площадках, как Upwork: (1) цена не устанавливается оператором рынка, а устанавливается по взаимному соглашению между покупателем и продавцом, (2) рост продавца обычно увеличивается быстрее и дешевле, чем покупатель рост, и (3) в сочетании со склонностью продавца опускаться ниже своей рыночной стоимости в начальный период для изучения и создания репутации, покупатели часто имеют относительно высокую рыночную силу.
В Upwork мы частично контролируем ценообразование, регулируя доступность фрилансеров / вакансий для клиентов / фрилансеров. В качестве общей политики мы различаем корректировку цен и изменение цены: первая просто основана на приведении цен в соответствие с текущим поведением участников рынка, а вторая направлена на переход к уровню, который является более оптимальным с точки зрения достижения равновесие.
Мы считаем, что ценообразование и сегментация рынка идут рука об руку. Фактически, мы оцениваем качество и, при необходимости, дополнительно разбиваем сегмент на основе однородности цен составляющих контрактов. Таким образом, в результате сегментации мы получим четко определенные диапазоны цен, которые можно использовать для принятия текущих ценовых решений. Мы понижаем рейтинг фрилансеров, которые имеют ставки или склонны делать ставки ниже этих диапазонов. Мы также построили модель, которая прогнозирует ставку, которую фрилансер может использовать в качестве ориентира для заключения контракта. Мы рассматриваем эту текущую политику как простую корректировку, тогда как более оптимальные стратегии, над которыми мы сейчас работаем, будут учитывать и изменять цену для устранения дисбаланса спроса и предложения.
Прогнозирование стоимости
Мы обсудили проблему прогнозирования стоимости рабочих мест, клиентов и фрилансеров в контексте оценки спроса и предложения на основе стоимости. Само по себе решение этой проблемы не кажется фундаментальным для такой механики координации рынка, как FLOW, особенно если мы думаем о ней как о закрытой системе. В такой системе, как только мы построим магистрали (сегментация рынка) и найдем способ количественно оценить трафик и выявить перегрузку (спрос и предложение), мы сможем ввести более прямые ограничения, чтобы ограничить доступ к фрилансерам и рабочим местам для регулирования движения ( равновесное ценообразование).
Однако Upwork не является закрытой системой, и мы тратим значительную часть нашего бюджета на привлечение пользователей. С помощью прогнозирования стоимости мы получаем понимание нашей экономики единицы и можем систематически исследовать и использовать стратегии приобретения с точки зрения общей ценности и стоимости приобретения. Помимо привлечения клиентов, мы применяем ту же концепцию юнит-экономики для учета операционных затрат, чтобы максимизировать отдачу от инвестиций в программы повышения эффективности пользователей, которые мы запускаем, чтобы помочь клиентам нанимать и фрилансерам стать более успешными. Учитывая операционные расходы и ограничения, а также необходимость сбалансировать спрос и предложение, ценные клиенты, рабочие места и фрилансеры должны иметь приоритет над малоценными. Просмотр через эту призму помогает сформулировать механизм координации, который FLOW стремится решить как оптимизацию стоимости, а не как задачу оптимизации пропускной способности.
Как уже говорилось, мы подходим к прогнозированию стоимости как к проблеме регрессии. Проблема при прогнозировании ценности клиента и фрилансера заключается в том, что ранние оценки более ценны, но их сложнее получить. Мы построили модели для разных этапов жизненного цикла и признаем, что точность, которую мы имеем для пользователей при регистрации, например, намного ниже, чем для тех, кто уже несколько месяцев тратит / зарабатывает на платформе.
Хотите узнать больше? Пожалуйста, свяжитесь с членами нашей команды, работающими над этими усилиями:
- Данило Д., Самур Кардосо Де Араухо, Сибо Лу: Моделирование сегментации, спроса и предложения и равновесного ценообразования на онлайн-рынках труда.
Часть 2.2: Реализация стратегии роста с помощью FLOW
Имея эту концептуальную основу, мы теперь покажем, как мы используем FLOW для систематической разработки стратегий роста, которые могут решать проблемы с перегрузками, а также оптимизировать и увеличивать поток рабочих мест и доходов, как показано ниже.
Целевой рост
Для каждого сегмента мы прогнозируем спрос и предложение, чтобы получить четко определенные заказы на таланты, отражающие дефицит предложения. Традиционно мы регулируем жесткую конкуренцию, ограничивая количество фрилансеров с помощью политики ограниченного допуска и воздействия, которая, по сути, отклоняет регистрацию учетных записей и сокращает подверженность новичков-фрилансеров на основании общих сигналов качества. С концепцией заказа талантов мы теперь реализуем целевую стратегию роста. Идея состоит в том, чтобы сосредоточить усилия по развитию на выполнении этих заказов. Другими словами, когда мы обнаруживаем перегрузку со стороны предложения, мы устраняем ограничения роста в масштабах всего рынка и, кроме того, инвестируем дополнительные меры для ускорения роста за счет увеличения раскрытия востребованных талантов и быстрого отслеживания востребованных новичков за счет высокого спроса. прикоснитесь к программам успеха фрилансеров, т. е. мы переходим от общей политики ограниченного воздействия к политике целевого прогрессивного воздействия.
Работая над прогнозированием спроса и предложения на основе стоимости, мы также очень близки к количественной оценке влияния на бизнес выполнения заказов талантов и предоставлению информации о затратах на привлечение и поддержку усилий, а также к оценке их окупаемости.
В этом контексте FLOW обеспечивает понимание для формулирования политики, а также выступает в качестве инструмента реализации политики. Например, FLOW добавляет уровень ограничений бизнес-логики ко всей нашей логике поиска и рекомендаций, которые, в конечном итоге, определяют, какие вакансии может видеть фрилансер, а какие фрилансеры видны клиенту.
Устойчивый рост
Чтобы сделать новых пользователей счастливыми, можно нанести ущерб существующим. Благодаря FLOW, особенно на основе детальных прогнозов спроса и предложения, мы получаем представление о лояльности и приверженности существующих пользователей, которое мы можем использовать, чтобы лучше защитить и удержать их. Мы понимаем, что ключом к устойчивости нашего бизнеса является удержание лояльных фрилансеров, активно использующих платформу. Но даже подработки, особенно фрилансеры, выросшие с платформой за эти годы, играют важную роль.
Мы разрабатываем нашу логику сегментации, чтобы учесть параметры взаимодействия с платформой (новички против опытных фрилансеров) и обязательства по использованию (полный рабочий день, неполный рабочий день или незарегистрированный), чтобы понять перегрузку на этих конкретных субрынках и принять меры по защите и удержанию . Например, в дополнение к политике постепенного раскрытия информации, описанной выше, мы внедряем систематическую политику приоритетного раскрытия и доступа, которая применяется в периоды избытка предложения. Фактически, с пониманием спроса и цен, а также механизмов контроля, которые может предоставить FLOW, мы считаем, что скоро сможем обеспечить стабильный поток рабочих мест и предоставить гарантированные диапазоны доходов для всех заинтересованных фрилансеры на Upwork.
Прибыльный рост
Хотя долгосрочная устойчивость является ключевым фактором, важно также понимать и использовать рычаги, которые оказывают прямое влияние на чистую прибыль, т. Е. На прибыльность. С этой целью наши усилия по прогнозированию ценности закладывают основу для реализации политики, которая помогает нам удвоить количество пользователей с большим потенциалом. Если смотреть через призму юнит-экономики, мы оцениваем политики на основе их рентабельности инвестиций и сосредотачиваемся на предложениях, которые обращают внимание на наиболее ценных пользователей.
Что касается привлечения клиентов, мы используем прогнозы общей ценности клиентов, чтобы оптимизировать расходы на рекламу в таких маркетинговых каналах, как маркетинг в поисковых системах. В качестве примера мы передаем наши прогнозы ценности клиентов непосредственно в Google, чтобы воспользоваться преимуществами расширенных стратегий назначения ставок, таких как Целевая рентабельность инвестиций в рекламу (ставка, основанная на целевой рентабельности затрат на рекламу). На внутреннем уровне Google использует алгоритм машинного обучения, который с более точными данными о конверсии клиентов может лучше оптимизировать рентабельность затрат.
Мы придерживаемся аналогичной стратегии оптимизации с нашей операционной группой, которая запускает программы поддержки, нацеленные на успех и удержание пользователей. На стороне клиента ручная поддержка включает в себя помощь новым клиентам в размещении вакансий, поиск подходящих фрилансеров и помощь в принятии решений о найме. Фрилансеры также получают поддержку различными способами, например, как представить себя и получить индивидуальную информацию о том, как стать более конкурентоспособными и успешными в Upwork. Мы максимизируем ограничения ресурсов, чтобы сосредоточить оперативную поддержку на пользователях, которые имеют наиболее ценные прогнозы.
Быстрый рост
Наконец, особенно потому, что Upwork зарекомендовал себя как значительный игрок на этом рынке онлайн-рабочей силы, понимание нашего рынка имеет ценность не только для внутренней оптимизации, но и для внешнего продвижения. Например, мы думаем, что с помощью данных и аналитических данных о спросе и предложении с высоким разрешением мы сможем лучше оптимизировать наши сайты посетителей. У нас самый большой спрос и предложение на онлайн-рабочую силу. Мы считаем, что почти для каждой категории вакансий объем и качество имеющихся у нас талантов превосходят все, включая нишевых игроков, которые сосредоточены на определенной области (например, дизайне). Мы работаем над раскрытием неопровержимых фактов, которые мы можем извлечь из наших данных, чтобы сделать наши целевые страницы более привлекательными для посетителей.
Понимание нашего рынка с точки зрения детализированных сегментов и определение конкурентных преимуществ в таких областях, как предложение, спрос, ценообразование и качество в каждом сегменте, помогает сформировать стратегии и четко сообщить о доминирующем положении с точки зрения достоверных данных, фактов. , и советы по более быстрому привлечению пользователей.
Следующая статья в этой серии
Об авторах
Тхань Тран - глава отдела науки о данных в Upwork, где он работает с командой из более чем 30 ученых и инженеров, чтобы создать инновационный механизм, лежащий в основе крупнейшей в мире платформы для фрилансинга и гибкой работы. В качестве предпринимателя и советника стартапов Bay Area он помогал создавать команды, собирал капитал для многих компаний и успешно поставлял инновационные технологические решения и приложения для конечных пользователей. Тхань ранее работал профессором Технологического института Карлсруэ (KIT) и Стэнфорда (посещал), где он возглавлял ведущую исследовательскую группу в мире по семантическому поиску. Он получил различные награды и признание за свою академическую работу (5-летняя награда Самая цитируемая статья, входит в пятерку лучших по семантическому поиску и входит в топ-50 по веб-поиску по глобальному индексу Google Scholar за 2016 год).
Статья была отрецензирована, а фактическая работа выполнена следующими членами группы по анализу данных: Александр Крайнов, Амро Торк, Андрей Демус, Артем Москвин, Данило Д., Димитрис Маникис, Ева Мок, Джордж Барелас, Яннис Кутсубос, Хемант Ратаконда, Игорь Корсунов, Иван Портянко, Жоао Виейра, Ле Гу, Лей Чжан, Михаил Батуров, Нимит Паттанасри, Пабло Селайес, Куанг Хиеу Ву, Роман Ткачук, Самур Кардосо Де Араужо, Сибо Лу, Сиддхарт Кумар, Сильвестре Лосасада, Спирос Каписов, Спирос Каписов , Вели Бисер, Винь Данг, Йонгтао Ма, Зарко Селебич.
