Документ, который мы собираемся обобщить в этой статье, называется Глубокое обучение с подкреплением для стратегических торгов на рынках электроэнергии.

В статье исследователи, в том числе специалист по машинному обучению Fetch.ai Юйцзянь Е, предлагают новый способ решения проблемы стратегических торгов на нерегулируемых рынках электроэнергии. Чтобы лучше понять это, нам нужно знать, что такое «дерегулированные» и «регулируемые» энергетические рынки.

Что такое регулируемый рынок электроэнергии?

«Регулируемый» рынок электроэнергии включает коммунальные предприятия, которые владеют всей электроэнергией и управляют ею. От генерации до счетчика утилита имеет полный контроль. Коммунальная компания владеет инфраструктурой и линиями электропередачи, а затем продает их напрямую клиентам. В регулируемых штатах коммунальные предприятия должны соблюдать тарифы на электроэнергию, установленные комиссиями штатов по коммунальным предприятиям. Этот тип рынка часто считается монополистическим из-за ограничений потребительского выбора. Однако его преимущества включают стабильные цены и долгосрочную уверенность.

Что такое нерегулируемый рынок электроэнергии?

«Дерегулированный» рынок электроэнергии позволяет конкурентам покупать и продавать электроэнергию, позволяя участникам рынка инвестировать в электростанции и линии электропередачи. Затем владельцы генерации продают эту оптовую электроэнергию розничным поставщикам. Розничные поставщики электроэнергии устанавливают цены для потребителей, которые часто называют «поставочной» частью счета за электроэнергию. Это часто приносит пользу потребителям, позволяя им сравнивать тарифы и услуги различных сторонних компаний-поставщиков и предоставляя различные структуры контрактов (например, фиксированные, индексированные, гибридные).

В документе описывается, как мы можем эффективно использовать современную технику машинного обучения, известную как обучение с подкреплением, чтобы помочь генерирующим компаниям участвовать в стратегических торгах на нерегулируемых рынках электроэнергии.

Что такое обучение с подкреплением?

Чтобы понять суть статьи, нам нужно сначала понять основы обучения с подкреплением.

Проще говоря, обучение с подкреплением — это область машинного обучения. Речь идет о принятии подходящих действий для максимизации вознаграждения в конкретной ситуации. Он используется различным программным обеспечением и машинами, чтобы найти наилучшее возможное поведение или путь, который он должен выбрать в конкретной ситуации. Обучение с подкреплением отличается от обучения с учителем. При контролируемом обучении обучающие данные содержат ключ ответа, поэтому модель обучается с правильным ответом. Напротив, в обучении с подкреплением нет ответа, но агент подкрепления решает, что делать для выполнения данной задачи. В отсутствие обучающего набора данных необходимо учиться на собственном опыте.

Зачем вообще нужны алгоритмы для оптимизации стратегий назначения ставок?

В попытке «дерегулировать» электроэнергетическую отрасль на рынок вышли многочисленные участники, ориентированные на получение прибыли, особенно в секторах производства и снабжения. В результате традиционные модели больше не могут давать точную информацию, поскольку действия участников рынка, ориентированных на получение прибыли, не соответствуют тому, что лучше для общества. Вот почему нам нужны альтернативные алгоритмы, способные лучше и эффективнее оценивать и объяснять ситуацию.

Что не так с текущими моделями, используемыми для стратегического назначения ставок?

Большинство алгоритмов или идей оптимизации основаны на преобразовании задач двухуровневой оптимизации в одноуровневые математические программы с равновесными ограничениями. Тем не менее, такие схемы моделирования обнаруживают фундаментальную проблему, заключающуюся в том, что они игнорируют физические невыпуклые рабочие характеристики участников рынка.

Юйцзянь также внес свой вклад в другую статью, в которой рассматриваются такие вещи, как переменные затраты, максимальные пределы мощности и скорость линейного изменения мощности генерирующих единиц, и они игнорируют физические невыпуклые компоненты затрат, такие как затраты на холостом ходу, затраты на запуск и останов, минимальные затраты. стабильные пределы генерации и ограничения по минимальному времени включения/выключения. Однако эти сложные операционные характеристики влияют на результат клиринга рынка и, следовательно, на прибыльность участников рынка. Это означает, что использование этих двухуровневых рыночных моделей оптимизации может привести к неоптимальным решениям о торгах для стратегических игроков.

Помимо этого фундаментального ограничения, эта модель моделирования предполагает, что участники рынка знают вычислительный алгоритм процесса клиринга рынка и рабочие параметры своих конкурентов. Как правило, это ограничивающее предположение.

Как оптимизация энергетического рынка Fetch.ai решает проблему?

Быстрый прогресс в области искусственного интеллекта и методов обучения с подкреплением вызвал значительный интерес со стороны сообщества энергетических систем. Они уделяют особое внимание разработке альтернатив вышеупомянутому методу математического программирования с равновесными ограничениями, используемому в моделировании рынка электроэнергии.

В этой конкретной модели мы видим, что задача двухуровневой оптимизации не преобразуется в одноуровневую. Скорее, это решается рекурсивным способом. Участники рынка, являющиеся агентами алгоритма обучения с подкреплением, постепенно учатся улучшать свои собственные стратегии, принимая решения, основанные на прошлом опыте, накопленном в результате повторяющихся взаимодействий со средой процесса клиринга рынка. При этом они включают невыпуклые рабочие характеристики. Кроме того, участники рынка (агенты) больше не полагаются на свои знания традиционного вычислительного алгоритма процесса клиринга рынка и рабочих параметров своих конкурентов. Вместо этого они полагаются на свои собственные рабочие параметры и наблюдаемые результаты клиринга рынка.

Технология Fetch.ai может произвести революцию в энергетической отрасли, и мы продолжим разрабатывать решения для оптимизации того, что в настоящее время является сложной и неэффективной глобальной отраслью. Если вы еще этого не сделали, мы рекомендуем вам прочитать другую нашу статью о нашем примере использования энергии.