Гибридное планирование спроса для поставщиков нефтехимической продукции

Гибридное планирование спроса для поставщиков нефтехимической продукции

Авторы Мишту Шарма и Мудит Мишра

Поскольку нефтехимическая промышленность играет жизненно важную роль в обеспечении сырьем для широкого спектра продуктов, таких как пластмассы, смолы, смазочные материалы, волокна и т. д., крайне важно, чтобы отрасль нашла способ улучшить свои прогнозы будущего спроса.

Рыночный спрос на нефтехимические продукты в значительной степени обусловлен растущим спросом на производство специализированных химикатов и пластмасс, которые занимают центральное место в автомобильной, строительной и обрабатывающей промышленности. Основные химические вещества и пластмассы, получаемые из нефтехимии, служат строительными блоками для множества потребительских товаров кратковременного и длительного пользования. И этот спрос растет: объем мировой нефтехимической промышленности по прогнозам достигнет 651,1 миллиарда долларов к 2027 году, увеличившись в среднем на 5,0%.

Поскольку точное планирование спроса помогает производителям создать оптимальный производственный план, который экономит огромное количество времени и средств, надежное решение для планирования спроса является мощным вкладом в оптимизатор планирования производства. В этой статье мы рассмотрим типичные проблемы, с которыми сталкиваются поставщики нефтехимической продукции при планировании будущего спроса. Затем мы опишем наше решение для прогнозирования спроса и его влияние.

1. Клиентский контекст и проблемы

Один из наших клиентов, крупный игрок нефтехимического бизнеса в Европе, хотел улучшить планирование спроса, чтобы еще больше улучшить исходные данные для своей системы планирования производства. Текущее производственное планирование клиента учитывало ожидаемый потребительский спрос и информацию о ценах для подготовки наиболее оптимального краткосрочного плана. Цель клиента заключалась в обеспечении набора аналитических инструментов, позволяющих прогнозировать ежемесячный спрос для каждого клиента, по всем продуктам, в каждом регионе, а также для спотовых продаж и контрактов.

Некоторые из наиболее серьезных проблем, стоящих перед клиентом, включают в себя:

· Низкая точность: клиент в настоящее время полагается на интуицию менеджеров по продажам, чтобы прогнозировать спрос для каждого клиента по всем продуктам. Текущая точность составляет примерно 55%.

· Отсутствие продвинутого решения машинного обучения. Исторически сложилось так, что клиент полагался исключительно на эти прогнозы, основанные на интуиции, не имея ни стабильной, ни высокофункциональной модели, подтверждающей их прогнозы.

· Разрозненная рабочая среда. Отделы продаж и планирования производства работают изолированно, что приводит к потере информации и отсутствию структуры.

· Отсутствие информации о рынке. Поскольку отделы работали изолированно, сбор и оптимизация данных по экзогенным переменным занимает гораздо больше времени. Кроме того, существующая модель клиента не учитывала влияние внешних переменных.

2. Наш гибридный подход к прогнозированию

Глядя на проблемы, с которыми сталкивается клиент, мы пришли к выводу, что один метод машинного обучения может не работать для каждого временного ряда, поскольку каждый ряд достаточно детализирован. Поскольку увеличение детализации анализа также может привести к увеличению несогласованности данных и шума, мы решили создать несколько моделей машинного обучения, а затем выбрать прогноз, который был предоставлен наиболее точной моделью машинного обучения.

При создании гибридного подхода мы уделяли большое внимание модульности и масштабируемости решения, будь то контроль версий или автоматическая настройка параметров. В результате этого гибридного подхода мы обычно наблюдали повышение общей точности на 5–40% для различных временных рядов по сравнению с базовым уровнем единого подхода.

В рамках нашего решения мы создали платформу, в которой полностью автоматизированный конвейер выполняет очистку и подготовку данных и запускает пять различных алгоритмов машинного обучения, используя мощную настройку параметров для прогнозирования будущего.

В структуре есть 3 основных шага -

1. Подготовка данных. Первый шаг включает в себя сбор, очистку и подготовку набора аналитических данных, которые будут переданы в алгоритмы машинного обучения.

2. Механизм машинного обучения: один и тот же набор аналитических данных затем используется для запуска нескольких алгоритмов машинного обучения наряду с непрерывной перекрестной проверкой и автоматической настройкой параметров для выбора наилучшего набора параметров. Эти параметры, в свою очередь, используются для проверки точности вневыборочных данных.

3. Прогнозирование. Наконец, на основе точности за пределами выборки выбирается лучший алгоритм машинного обучения, который используется для прогнозирования будущих периодов времени.

Подготовка данных

Затем мы переключаем передачи и глубоко погружаемся в наш подход. Во-первых, BCG помогла нашему клиенту создать мощную систему прогнозирования спроса для управления его 5000 продуктов и клиентов в различных регионах России, Европы, Азии и Америки. Система прогнозирования спроса прогнозирует ежемесячный спрос, используя исторические данные о транзакциях, а также более 200 внешних переменных из 15 источников данных.

BCG собрала и оптимизировала несколько внутренних и внешних источников данных, создав систематические совпадающие ключи для обработки данных. Оптимизация этих источников данных привела к более эффективному способу работы между отделами, что позволило нам создать внешние переменные, которые были введены в модель. Наряду с этими данными мы также использовали бизнес-фильтры и фильтры моделирования для устранения несоответствий и избыточности данных.

Алгоритмы машинного обучения

Затем мы создали пять полностью автоматизированных алгоритмов машинного обучения, передали каждому из них одни и те же основные данные, а затем зафиксировали их прогнозы.

Каждый алгоритм относится к разным статистическим методам, которые решают различные проблемы, возникающие при прогнозировании спроса. Каждый из них использует свой собственный набор расширенных методов настройки параметров и перекрестной проверки для создания своих прогнозов. Наши коллеги по науке о данных на стороне клиента полностью контролируют параметры, которые можно дополнительно настраивать в зависимости от рыночных сценариев. Идея этой договоренности состоит в том, чтобы позволить персоналу клиента запускать эти модели с минимальным контролем с нашей стороны.

Примечание. Pycaret — это библиотека автоматического машинного обучения на Python, которая запускает несколько моделей регрессии и использует ту, которая оптимизирует заданную пользователем метрику, такую ​​как R2, MAPE или AIC. Более подробную информацию о других методах можно найти на сайтах Prophet, Sarima and Sarimax и GBM.

3. Ключевые выводы из нашего опыта

Благодаря оптимизации и автоматизации мы смогли решить ряд задач, стоящих перед нашим клиентом. При этом мы извлекли ряд важных уроков:

а. Гибридное прогнозирование побеждает сингулярный подход

На протяжении всего пути создания и внедрения модели мы наблюдали несколько способов эффективного и динамичного повышения точности, не полагаясь на статические параметры.

Мы создали гибридную модель, потому что каждый временной ряд отличается по своей природе, поэтому единая модель не подходит для всех сценариев. Для каждого временного ряда мы выбрали отдельный алгоритм, основанный на вневыборочном MAPE. Используя этот подход, мы обнаружили, что повышение точности колеблется от 5 до 40 %, что приводит к повышению взвешенной точности в целом на 15 %.

б. Алгоритмы на основе дерева демонстрируют превосходство над традиционными подходами

По нашему опыту, исторические данные о транзакциях в секторах промышленных товаров и энергетики, как правило, не так последовательны, как данные о транзакциях из других доменов. Следовательно, становится трудно разложить данные на сезонность и тенденцию. По этой причине традиционные подходы к временным рядам, такие как экспоненциальное сглаживание, Холтс-Уинтерс или SARIMA, обеспечивают менее точные прогнозы.

Мы отметили, что использование рекурсивных древовидных алгоритмов не только более динамично, но и дает лучшие результаты. В нашей работе с клиентом внедрение древовидных алгоритмов повысило точность до 10%.

в. Сдвиг перекрестной проверки стабилизирует прогнозы

Поскольку данные временных рядов упорядочены по времени, случайная K-кратная проверка не работает. Вместо этого мы внедрили перекрестную проверку со смещением периодов времени во все наши алгоритмы, чтобы создавать более надежные параметры и прогнозы. Даты перекрестной проверки были автоматизированы в пользовательской конфигурации. Внедрение динамической перекрестной проверки помогло стабилизировать результаты модели и уменьшить разброс в точности с 25% до менее чем 5%.

д. Агрегация, недавность и Guardrails удерживают прогнозы в пределах допустимого

Агрегация временных рядов. Для некоторых комбинаций продуктов и клиентов у нас не было достаточного исторического объема транзакций. Эти комбинации были агрегированы на более высокий уровень иерархии продуктов, а затем дезагрегированы с использованием исторических шаблонов.

Акцент на давности. При прогнозировании спроса на будущие периоды мы использовали последние 6 месяцев для поиска лучших параметров и использовали полные исторические данные для построения модели. Мы сделали это, чтобы уделить больше внимания недавним моделям и тенденциям спроса.

Ограждения. Мы ограничили наши необработанные прогнозы по каждому алгоритму, установив ограждения, чтобы избежать выбросов. Ограждения можно создать, взглянув на исторический образец или используя бизнес-правила. Примером ограждений, основанных на исторической модели, является использование среднего значения и стандартного отклонения. Примером бизнес-правил может быть рассмотрение фиксированных объемов в соответствии с контрактами с клиентами, а также верхние и нижние пределы допуска.

4. Многостороннее влияние гибридного прогнозирования

В отраслях, менее ориентированных на данные, таких как энергетика и зоохимия, BCG помогла нашим клиентам выявить потенциальное влияние этого решения несколькими способами, в том числе:

Экономия долларов:

Наш новый, усовершенствованный, полностью автоматизированный алгоритм обеспечил предполагаемую экономию в размере 2 доллара США за тонну для различных продуктов нефтехимии (полиэтилен, полипропилен, полистирол и т. д.) за счет улучшения:

· Управление запасами: снижение затрат на хранение из-за перепроизводства марок позволило сэкономить примерно 1,4 долл. США за тонну.

· Эффективность производства: снижение производственных потерь из-за перехода продуктов с одного сорта на другой сэкономило около 0,5 долл. США на тонну.

· Оптимизация логистики: сокращение дополнительных затрат из-за неправильного управления транспортировкой позволило сэкономить дополнительно 0,1 долл. США на тонну.

Повышение точности:

После того, как мы сравнили результаты модели с прогнозами продаж, мы увидели повышение точности на 5–10 % на детальном уровне и на 10–20 % на агрегированном уровне. Эта повышенная точность привела к лучшему планированию запасов и производства.

Прогноз эффективности:

Поскольку полностью автоматизированный алгоритм так хорошо подходит для устаревшей системы клиента, мы увидели значительное сокращение времени прогнозирования. Модель работает примерно 15 часов, включая подготовку данных и все пять алгоритмов. Раньше, когда эти прогнозы составлялись с использованием опыта и интуиции, менеджерам по продажам требовались недели, чтобы сопоставить все прогнозы по различным продуктам.

Включение клиента:

Одно из основных изменений, которое заметила BCG, заключалась в том, что клиент теперь был лучше подготовлен для лучшего прогнозирования, поскольку теперь у него был доступ к:

· Улучшенные, более упорядоченные внутренние и внешние наборы данных с бесшовным подключением

· Факторы и/или причины, которые могут повлиять на прогнозы спроса

· Улучшение динамики спроса среди нескольких клиентов и регионов в зависимости от различных рыночных условий

Начните прогнозировать будущее сейчас

Несмотря на то, что нефтехимическая промышленность очень развита с точки зрения ее нефтедобывающих и нефтеперерабатывающих мощностей, она отстает в своей способности основывать прогнозирование спроса не только на опыте и интуиции. Только благодаря использованию расширенной аналитики и новых внешних источников данных отрасль сможет планировать то, что обещает стать все более бурным мировым рынком.

Это далеко не прямолинейное предприятие. Учитывая свою историю ограниченного использования исторических данных, а также большую зависимость от интуиции, нефтехимическая промышленность должна улучшить свою игру и внедрить более сложные подходы к использованию существующих данных для создания наиболее точных прогнозов спроса. Такие возможности редко встречаются внутри компании, поэтому в интересах компаний этой отрасли искать тех, кто обладает необходимым опытом и навыками работы с данными. Правильное прогнозирование спроса важно для всех отраслей. Но для сырьевых отраслей, таких как нефтехимия, на которые сильно влияют внешние факторы и беспрецедентные изменения спроса и предложения, точное прогнозирование спроса является необходимостью.