Эта статья была изначально опубликована в Блоге Криспа 7 ноября 2019 г.

Прогнозирование в пищевой промышленности по-прежнему сталкивается со многими из тех же проблем, с которыми оно сталкивалось полвека назад, включая следующие:

  • Прогнозы часто составляются без учета внешних факторов, таких как кампании и акции, перенос праздников, погода и другие события. Эти факторы часто либо хранятся в отдельных разрозненных системах, либо вообще не собираются.
  • Используемые в настоящее время алгоритмы характеризуются высокой степенью неопределенности для долгосрочных прогнозов, а также медленно реагируют на изменения.
  • Существование множества методов прогнозирования, подходящих для конкретных моделей спроса, что требует высокого уровня знаний в данной области.
  • Реалии традиционных алгоритмов прогнозирования, такие как врожденные недостатки, связанные с длинными дневными или недельными временными рядами.
  • Разрозненные источники данных и специальные решения с полным отсутствием централизации данных.
  • Общее отсутствие возможностей учитывать и учитывать данные ритейлера при формировании прогнозов.

Мы считаем, что решение состоит в том, чтобы восполнить пробел в данных по всей цепочке поставок за счет 1.) централизации всех источников данных на одной платформе и 2.) применения передовых алгоритмов машинного обучения, которые могут учитывать широкий спектр внешних факторов. Это позволит делать точные прогнозы и принимать более обоснованные решения, что приведет к сокращению потерь по всей цепочке поставок.

Чтобы проанализировать проблему — и, таким образом, понять решение — давайте углубимся в историю прогнозирования в цепочке поставок продуктов питания.

Прогнозирование в цепочке поставок продовольствия

ФАКТ.Прогнозирование — это область исследований с вековой историей, что делает ее одной из старейших областей предиктивной аналитики.

С чего мы начали. Понятие стохастичность во временных рядах было введено шотландским статистиком Удни Юлом в конце девятнадцатого века: говоря лаконично, он постулировал, что каждый временной ряд можно рассматривать как реализация стохастического или случайного процесса. Эта простая идея привела к разработке моделей авторегрессии и скользящего среднего, которые до сих пор используются во многих моделях прогнозирования.

Методы прогнозирования через десятилетия

Перенесемся на полвека вперед: академические журналы начали регулярно публиковать статистические подходы к прогнозированию с конца 1950-х годов, и первые компании, внедрившие прогнозирование в свои процессы, сообщали об увеличении экономической выгоды. Количественные методы прогнозирования использовались во многих отраслях с 1960-х годов, что привело к тому, что Harvard Business Review опубликовал руководство по выбору методов прогнозирования в 1971 году.

Другой из наиболее популярных методов прогнозирования — экспоненциальное сглаживание (более продвинутый вариант — метод Хольта-Винтерса) возник в 1960-х годах и получил дальнейшее развитие вплоть до 1980-х годов. Посреди этого в середине 1970-х годов была разработана методология Бокса-Дженкинса для оценки временных рядов, которая затем привела к разработке соответствующей компьютеризированной версии — АРИМА или авторегрессивной интегрированной скользящей средней — после появление адекватной компьютерной техники.

Проблемы прогнозирования цепочки поставок продуктов питания: 2000 г. и далее

В начале 2000-х годов были достигнуты значительные успехи, в том числе разработка и публикация подходов в пространстве состояний к тем же моделям прогнозирования. Однако, несмотря на то, что эти методологии являются согласованными и довольно универсальными, они по-прежнему сталкиваются с проблемами, связанными с точностью прогнозирования, учитывая высокочастотные временные ряды с множественными сезонными факторами и высокой корреляцией с внешними факторами. Кроме того, за последнее десятилетие сообщество искусственного интеллекта (ИИ) накопило огромное количество знаний и претерпело значительные изменения, ни один из которых до сих пор не нашел нужного применения в отрасли.

Еще в 2001 году в нескольких исследовательских работах сообщалось о повышении производительности за счет использования долговременной памяти сетей, а в 2013 году рекуррентные нейронные сети оказались полезными для создания последовательностей (например, временных рядов). С тех пор несколько подходов к глубокому обучению были протестированы и продемонстрировали свою полезность для временных рядов, включая вероятностное прогнозирование с авторегрессионными рекуррентными сетями, лежащее в основе недавно объявленного прогноза Amazon.

Мы разработали технологию прогнозирования Crisp, потому что считали, что еще предстоит заполнить большой пробел — пробел, который в значительной степени представлен существующими инструментами, с которыми сложно справиться со следующими сложностями:

  • Дрейфующие каникулы
  • Несколько совпадающих сезонностей
  • Непериодические точки изменения, такие как нерегулярно высокий спрос перед ожидаемым зимним штормом
  • Влияние широкого спектра внешних переменных, таких как переменные продвижения, количество и размер клиентов.
  • Отсутствие централизованных данных, что делает невозможным использование преимуществ передовых алгоритмов искусственного интеллекта и машинного обучения.
  • Неспособность существующих инструментов учитывать отзывы пользователей и улучшать производительность моделей прогнозирования с течением времени.

Вот пример прогноза для одного из продуктов наших клиентов, который подчеркивает вышеперечисленные моменты:

Работа с ежедневными временными рядами требует сложных сезонных анализов; в этом случае показаны годовые и еженедельные данные, а также схемы продаж на каждый день года.

Обратите внимание:

  • Восходящий тренд в декабре, смоделированный в годовой компоненте сезонности
  • Всплески спроса перед Рождеством 2018 года и Пасхой 2019 года были точно предсказаны, хотя:
  • Всплеск на Рождество 2018 года на 20% ниже, чем на Рождество 2017 года.
  • Пасха – праздник изменчивый.
  • Небольшой рост спроса в феврале 2019 года, связанный с другим местным праздником, был точно предсказан из-за вышеупомянутых сезонных факторов, помимо кампаний. В данном случае завершение одной из кампаний дало модели сигнал о том, что спрос будет несколько ниже, что также продемонстрировано на графике.

Для справки: Вот сообщение в блоге профессора Роба Хайндмана, пионера в области прогнозирования, в котором объясняются трудности, с которыми традиционные модели сталкиваются при прогнозировании таких сложностей.

Почему история так важна? Проще говоря: как и в большинстве других занятий при поиске решений сложных проблем, контекст является ключевым! Тщательное исследование отрасли — прошлого и настоящего — привело нас к убеждению, что должно быть лучшее решение для прогнозирования. Моделирование многочисленных сложных, меняющихся компонентов для создания точных прогнозов является сложной задачей (по меньшей мере) при использовании традиционных методов прогнозирования, но с решением Crisp для прогнозирования они выполняются — и выполняются надежно — в мгновение ока. глаза.