Моделирование стимулирующего дизайна

Часть 1: Проблема дизайна системы вознаграждения и проблема среды моделирования
Часть 2: Обзор результатов моделирования с помощью тепловой карты
Часть 3: Анализ результатов моделирования

В нашем предыдущем посте мы наблюдали за результатами моделирования, используя тепловые карты в качестве наглядного пособия. Тепловые карты эффективны при отображении нескольких данных на одном изображении (агенты, действия, вероятности и эпизоды), но неэффективны при отображении незначительных изменений и точных чисел.

В этом посте мы стремимся подробно изучить результаты моделирования, глядя на цифры и графики. В частности, мы рассмотрим различия пропорционального, экспоненциального и равномерного методов распределения усиления.

Результат анализа механизма

Для анализа мы определим две метрики. Во-первых, это коэффициент отзывов. Соотношение отзывов показывает, сколько из всех агентов написали отзывы.

Однако соотношение обзоров не различает обзоры, написанные между 1 попыткой и 9 попытками, и, следовательно, неадекватно учитывает уровень усилий.

Вот почему был введен второй показатель коэффициент действия. Соотношение действий — это отношение фактически выполненных действий к сумме всех возможных действий в одном эпизоде. Если бы было 10 агентов, и каждый из них выполнял [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] в одном эпизоде, коэффициент просмотров был бы 90%, а коэффициент действий — 50%.

Мы можем провести более точный анализ результатов, всесторонне интерпретируя соотношение отзывов и действий.

Результат пропорционального механизма

Результат пропорционального механизма показан выше. Мы можем видеть, что многие агенты написали отзывы, так как соотношение отзывов превышает 90%. Тем не менее, коэффициент действия составляет всего около 50%.

Это связано с тем, что с пропорциональным механизмом агенты могут получать прибыль, прилагая лишь умеренные усилия. Каждое усилие (старание) и уровень вложенных усилий (действие) учитываются в возвращаемых значениях функции затрат и функции выигрыша. Максимальное вознаграждение можно ожидать, вкладывая умеренное количество усилий.

В начале эпизода наблюдаются резкие всплески и резкое падение участия в обзорах, потому что агенты одновременно пишут обзоры, только узнав, что они могут получить вознаграждение, но позже отказываются от участия, потому что сумма вознаграждения уменьшается из-за потока участия. Позже вы можете увидеть, как все идет к стабильной точке сходимости.

При удвоении призового фонда

Другими словами, наличие высокого коэффициента просмотров, но низкого коэффициента действий означает, что агенты не чувствуют необходимости вкладывать больше усилий. Если общее вознаграждение увеличится (если увеличится размер пирога), не будет ли это стимулировать участие, поскольку распределение выигрыша станет больше?

Выше показан результат, когда пул вознаграждений был удвоен в пропорциональном механизме. Примечательно, что коэффициент обзора увеличился с 91% до 97%. Агенты нашли повод для участия, так как пирог стал больше.

Что важно, так это то, что коэффициент действия вырос с 48% до 67%. Когда пул вознаграждений больше, агенты могут получить больше прибыли за счет дополнительных усилий. Средний уровень усилий вырос, потому что агенты поняли это и приложили больше усилий.

Результат экспоненциального механизма

По сравнению с коэффициентом обзора пропорционального механизма, составляющим 91%, экспоненциальный механизм показывает значительное снижение до 65%.

Это связано с тем, что агенты не получают достаточного вознаграждения при минимальных усилиях. При увеличении стоимости написания отзыва агенты сдаются (действие становится 0), что приводит к резкому падению доли отзывов.

Между тем, вы можете видеть, что коэффициент действия в пропорциональном механизме увеличивается с 48% до 58%. Несмотря на резкое снижение доли действий из-за того, что больше агентов решили не писать отзыв (действие = 0), увеличение доли действий означает, что в написание отзыва было вложено больше усилий, чем раньше.

При удвоении призового фонда

Можем ли мы компенсировать низкий коэффициент отзывов, увеличив пул вознаграждений? Это было подтверждено нашим моделированием. Подобно пропорциональному механизму, увеличенный пул вознаграждений приводит к увеличению доли просмотров и доли действий.

Однако экспоненциальный механизм показал более резкое изменение.

Удвоив размер пула вознаграждений в экспоненциальном механизме, коэффициент отзывов вырос на 21%, а коэффициент действий упал на 25%. Это значительно по сравнению с ростом на 6% и 19% в пропорциональном механизме.

Это означает, что с точки зрения поставщика услуг или системного разработчика, предоставляющего пул вознаграждений, выбор экспоненциального механизма дает им более высокую эффективность за вложенные средства.

Результат единого механизма

Единый механизм показал самый высокий коэффициент отзывов, потому что большинство агентов были привлечены к написанию отзыва, поскольку система гарантирует определенное вознаграждение просто за написание отзыва. Однако мы ожидали очень низкого коэффициента действия, поскольку вознаграждение одинаково независимо от уровня усилий. Результат показывает, что все агенты вложили минимальное количество усилий, в результате чего коэффициент действия приблизился к 0,1. Другими словами, агенты были заинтересованы только в получении вознаграждения, а не в написании качественного обзора.

При удвоении призового фонда

Такую проблему нельзя решить за счет увеличения пула вознаграждений. Это может быть эффективно для привлечения участников, но увеличенный пул вознаграждений привлечет очень немногих, кто не пишет обзоры, или тех, у кого низкая предельная полезность.

При этом соотношение действий не меняется. В пропорциональном и экспоненциальном механизмах увеличение пула вознаграждений эффективно для увеличения коэффициента действия, потому что больше агентов заинтересованы в том, чтобы инвестировать больше, чтобы получить больше. Но для единого механизма растут только затраты агентов, а вознаграждение остается прежним — очевидный результат.

Резюме

Давайте сравним графики выше в одном масштабе. Коэффициент обзора был самым высоким в следующем порядке: равномерный, пропорциональный и экспоненциальный. Однако коэффициент действия был самым высоким в экспоненциальном механизме, за которым следовали пропорциональный и равномерный механизмы.

Мы можем интерпретировать, что существует своего рода компромисс между соотношением обзоров и соотношением действий для каждого механизма. Разработчики систем должны помнить об этом и выбирать оптимальный механизм, который подходит для их желаемой экосистемы.

Например, разработчик системы должен выбрать унифицированный механизм, если количество проверок важнее качества, экспоненциальный механизм для качества проверки и пропорциональный механизм в качестве промежуточного варианта между компромиссом.

Несмотря на двукратное увеличение пула вознаграждений, соотношение отзывов и действий не изменилось. Однако экспоненциальный механизм больше всего выигрывает от увеличения размера пула вознаграждений. С точки зрения системного разработчика экспоненциальный механизм является наиболее эффективным выбором по сравнению с его инвестициями.

Если экспоненциальный метод является наиболее эффективным с точки зрения затрат, можно ли повысить его эффективность, увеличив степень возведения в степень? Мы провели дополнительные эксперименты с разными показателями.

Настройка экспоненциального механизма

Что произойдет, если мы возведем в 3-ю, 5-ю, 7-ю и 9-ю степень вместо возведения в квадрат в методе экспоненциального распределения? Снизится ли количество отзывов, в то время как количество действий возрастет?

По мере того, как экспонента росла, доля отзывов падала, а доля действий увеличивалась. Однако после кубирования существенных отличий не было.

Кроме того, если вы считаете коэффициент отзывов и коэффициент действий одинаково важными, вы узнаете, что использование 1,5 в качестве показателя степени принесет вам наиболее удовлетворительный результат.

Тогда какой показатель дает наибольший инвестиционный эффект? Когда пул вознаграждений увеличивается, какой показатель приводит к наибольшему скачку?

При удвоении призового фонда

При увеличении пула вознаграждений коэффициент отзывов рос больше всего, когда показатель степени был равен 2, а коэффициент действий рос больше всего, когда показатель был равен 1,5. Когда оба увеличения суммируются, показатель степени 2 показывает большее увеличение.

Проще говоря, самый эффективный показатель в экспоненциальном механизме равен 2.

Вывод

В серии статей, посвященных проблеме «проектирования системы вознаграждения», мы рассмотрели, какая система является оптимальной с помощью моделирования. Мы провели моделирование с использованием пропорционального, экспоненциального и равномерного механизмов распределения усиления и проанализировали результаты.

В нашем предыдущем посте мы видели общую картину с тепловыми картами. В этом посте мы более подробно рассмотрели с помощью чисел и графиков и обнаружили, что в каждом механизме существует своего рода компромисс между коэффициентом отзывов и коэффициентом действий.

Кроме того, мы узнали, что можем увеличить соотношение отзывов и действий, регулируя размер пула вознаграждений. За исключением унифицированного механизма, соотношение просмотров и действий увеличивалось по мере увеличения пула вознаграждений. Пропорциональный механизм дает больший прирост, чем экспоненциальный, а это означает, что пропорциональный механизм оказывает большее влияние на вложенные средства, что проектировщики системы должны обязательно учитывать.

В случае экспоненциального механизма соотношение просмотров и действий существенно не изменилось после того, как показатель степени был установлен равным трем или выше. Если оба коэффициента считаются одинаково важными, наилучший показатель степени равен 1,5. Если более важен инвестиционный эффект от изменения размера пула вознаграждений, наилучший показатель степени равен 2.

Разработчики систем или поставщики услуг должны помнить о различных механизмах и эффектах корректировки пула вознаграждений при выборе подходящей системы.

использованная литература

Автор Люк, Джеффри @ Decon