Узнайте об распространенных методах масштабирования вывода в производственной среде.
Вывод
Вывод — это процесс, с помощью которого обученная модель машинного обучения используется для прогнозирования.
Вот некоторые методы масштабирования вывода в производственной среде.
Несбалансированная рабочая нагрузка
В процессе вывода рабочие нагрузки обычно распределяются между несколькими серверами вывода. Похожая архитектура также используется в балансировщиках нагрузки, иногда называемых службой агрегатора.
Клиенты (вышестоящие процессы) отправляют запросы в службу агрегатора. Если рабочая нагрузка слишком высока, служба агрегатора разделяет рабочую нагрузку и распределяет ее между работниками в пуле исполнителей. Служба агрегатора имеет различные методы выбора исполнителей, включая выбор на основе рабочей нагрузки, циклический перебор или на основе параметров запроса.
Затем служба агрегатора ожидает ответов от рабочих процессов и пересылает их обратно клиентам.
Логика обслуживания и несколько моделей
В любой системе, ориентированной на бизнес, крайне важно иметь возможность изменять логику обслуживающих моделей. Например, в случае системы прогнозирования рекламы выбор конкретной модели для получения оценки зависит от типа кандидатов на рекламу.
Нестационарная задача
В онлайн-среде данные постоянно меняются, что приводит к частым изменениям в их распределении. Очень важно поддерживать актуальные модели для обеспечения стабильной производительности. Оценивая ухудшение производительности модели, мы можем определить частоту, с которой модели следует обновлять или переобучать. Байесова логистическая регрессия — широко используемый алгоритм для этой цели.
Байесовская логистическая регрессия
Например, для катания в детском парке требуется, чтобы дети были определенного роста, в зависимости от того, сколько им лет. Есть три аттракциона (A, B и C). Мы хотим предсказать рост детей, которые смогут кататься на этих аттракционах. Единственные данные, которые у нас есть, это возраст и рост детей. Мы можем использовать логистическую регрессию, чтобы предсказать вероятность того, что ребенок сможет кататься на каждом аттракционе, в зависимости от его роста. Например, мы можем предсказать вероятность того, что 5-летний ребенок сможет ездить на аттракционе А. Теперь давайте поговорим о байесовской логистической регрессии.
Байесовская логистическая регрессия помогает нам делать прогнозы, используя ранее полученные данные. Предположим, у нас есть данные об аттракционах, на которых катались дети в предыдущие годы. Используя эти данные, байесовская логистическая регрессия может лучше прогнозировать рост детей, которые могут кататься на каждой аттракционе.
Например, если вы посмотрите на данные за предыдущие годы, вы увидите, что пятилетние дети не часто катаются на аттракционе А. Таким образом, используя байесовскую логистическую регрессию, вы можете использовать предыдущие данные для большего точно предсказать, что пятилетние дети с меньшей вероятностью будут кататься на аттракционе А.
В конце концов, байесовская логистическая регрессия — это способ совместного использования исторических и текущих данных для получения более точных прогнозов!
Исследуйте против использования
Концепция «исследование против использования» важна в таких задачах, как прогнозирование кликов по рекламе.
Хорошо разрешать просмотр при рекомендации новых объявлений, но если конвертируется слишком мало объявлений, компания может потерять деньги. Это вопрос достижения хорошего баланса между исследованием и использованием. Выборка Тампонсона — это метод решения этой проблемы, при котором вам нужно решить, какую рекламу показывать на основе вознаграждения в определенный момент времени. Вы можете понять этот метод следующим образом.
- Исследование. Здесь вы пробуете разные объявления и проверяете, насколько они эффективны. Другими словами, вы тестируете разные объявления, чтобы узнать, какие из них популярны.
- Эксплуатация. На основе полученной вами информации вы показываете те объявления, которые с наибольшей вероятностью будут успешными. Другими словами, вы продолжаете показывать те объявления, которые, по вашему мнению, наиболее эффективны.
Выборка Томпсона может помочь вам найти правильный баланс между исследованием и эксплуатацией, чтобы увеличить количество кликов по рекламе и увеличить доход вашей компании.
