Исследователи из Японии применяют подход, основанный на обучении с подкреплением, для изучения процесса перемешивания жидкости при ламинарном течении

Смешивание жидкостей является важной частью нескольких промышленных процессов и химических реакций. Однако этот процесс часто основан на экспериментах методом проб и ошибок, а не на математической оптимизации. Хотя турбулентное перемешивание является эффективным, оно не всегда может поддерживаться и может повредить используемые материалы. Чтобы решить эту проблему, исследователи из Японии предложили подход к оптимизации смешивания жидкостей для ламинарных потоков с использованием машинного обучения, который можно распространить и на турбулентное смешивание.

Смешивание жидкостей является критическим компонентом во многих промышленных и химических процессах. Фармацевтическое смешивание и химические реакции, например, могут потребовать гомогенного смешивания жидкостей. Достижение этого смешивания быстрее и с меньшими затратами энергии значительно снизило бы связанные с этим затраты. В действительности, однако, большинство процессов смешивания не оптимизированы математически и вместо этого основаны на эмпирических методах, основанных на пробах и ошибках. Турбулентное перемешивание, при котором для смешивания жидкостей используется турбулентность, является вариантом, но проблематичным, поскольку его либо трудно поддерживать (например, в микромиксерах), либо оно повреждает смешиваемые материалы (например, в биореакторах и пищевых миксерах).

Можно ли вместо этого добиться оптимизированного смешивания для ламинарных потоков? Чтобы ответить на этот вопрос, группа исследователей из Японии в новом исследовании обратилась к машинному обучению. В своем исследовании, опубликованном в Scientific Reports, команда прибегла к подходу, называемому обучение с подкреплением (RL), в котором интеллектуальные агенты предпринимают действия в среде, чтобы максимизировать совокупное вознаграждение (в отличие от мгновенная награда).

"Поскольку RL максимизирует совокупное вознаграждение, которое является глобальным во времени, можно ожидать, что оно подойдет для решения проблемы эффективного смешивания жидкостей, которая также является проблемой глобальной оптимизации во времени", объясняет доцент Масанобу Инубуши, автор исследования. «Лично я убежден, что важно найти правильный алгоритм для правильной задачи, а не слепо применять алгоритм машинного обучения. К счастью, в этом исследовании нам удалось соединить две области (смешивание жидкостей и обучение с подкреплением) после рассмотрения их физических и математических характеристик». В работе участвовали г-н Микито Кониши, аспирант, и проф. Сусуму Гото, оба из Университета Осаки.

Однако команду ждало одно серьезное препятствие. Хотя RL подходит для задач глобальной оптимизации, он не особенно хорошо подходит для систем, включающих многомерные пространства состояний, т. е. систем, для описания которых требуется большое количество переменных. К сожалению, смешивание жидкостей было именно такой системой.

Чтобы решить эту проблему, команда применила подход, использованный при формулировке другой задачи оптимизации, что позволило им уменьшить размерность пространства состояний для потока жидкости до единицы. Проще говоря, теперь движение жидкости можно было описать, используя только один параметр!

Алгоритм RL обычно формулируется в терминах «марковского процесса принятия решений» (MDP), математической основы для принятия решений в ситуациях, когда результаты частично случайны, а частично контролируются лицом, принимающим решения. Используя этот подход, команда показала, что RL эффективно оптимизирует перемешивание жидкости.

"Мы протестировали наш алгоритм на основе RL для задачи смешивания двухмерных жидкостей и обнаружили, что алгоритм определил эффективное управление потоком, которое привело к экспоненциально быстрому смешиванию без каких-либо предварительных знаний",  — говорит доктор. Инубуши. "Механизм, лежащий в основе этого эффективного смешивания, был объяснен путем рассмотрения потока вокруг фиксированных точек с точки зрения теории динамических систем".

Еще одним существенным преимуществом метода RL было эффективное трансферное обучение (применение полученных знаний к другой, но родственной задаче) обученного «смесителя». В контексте смешивания жидкостей это означало, что смеситель, обученный при определенном числе Пекле (отношение скорости адвекции к скорости диффузии в процессе смешивания), мог использоваться для решения задачи смешивания при другом числе Пекле. Это значительно сократило время и стоимость обучения алгоритма RL.

Хотя эти результаты обнадеживают, д-р Инубиси отмечает, что это все еще первый шаг. «Еще предстоит решить много вопросов, таких как применение метода к более реалистичным задачам смешивания жидкостей и усовершенствование алгоритмов RL и методов их реализации», отмечает он.

Хотя, безусловно, верно, что двухмерное перемешивание жидкостей не является репрезентативным для реальных проблем перемешивания в реальном мире, это исследование дает полезную отправную точку. Более того, хотя он ориентирован на перемешивание в ламинарных потоках, этот метод можно распространить и на турбулентное перемешивание. Таким образом, он универсален и имеет потенциал для основных применений в различных отраслях промышленности, использующих смешение жидкостей.

Справочник

DOI: https://doi.org/10.1038/s41598-022-18037-7

Название оригинальной статьи: Оптимизация смешивания жидкостей с обучением с подкреплением

Журнал: Научные отчеты

О Токийском научном университете
Токийский научный университет (TUS) – это известный и уважаемый университет, а также крупнейший в Японии специализированный частный исследовательский университет с четырьмя кампусами в центральной части Японии. Токио и его пригородах и на Хоккайдо. Основанный в 1881 году, университет постоянно вносит свой вклад в развитие науки в Японии, прививая любовь к науке исследователям, техническим специалистам и преподавателям.

С миссией «Создание науки и технологий для гармоничного развития природы, человека и общества» TUS провел широкий спектр исследований от фундаментальных до прикладных наук. TUS применил междисциплинарный подход к исследованиям и провел интенсивные исследования в некоторых из наиболее важных на сегодняшний день областей. TUS - это меритократия, в которой признаются и поощряются лучшие в науке. Это единственный частный университет в Японии, выпустивший лауреата Нобелевской премии, и единственный частный университет в Азии, выпускающий лауреатов Нобелевской премии в области естественных наук.

Веб-сайт: https://www.tus.ac.jp/en/mediarelations/

О адъюнкт-профессоре Токийского научного университета Масанобу Инубуси
Масанобу Инубуси в настоящее время является адъюнкт-профессором Токийского научного университета, Япония. Он получил степень бакалавра в 2008 году в Токийском технологическом институте, Япония. Затем он получил докторскую степень по математике в Научно-исследовательском институте математических наук (RIMS) в аспирантуре Киотского университета в 2013 году. Inubushi имеет более 25 опубликованных исследовательских работ, которые цитировались более 400 раз. Его исследовательские интересы включают гидромеханику, теорию хаоса, математическую физику и машинное обучение.

Информация о финансировании
Эта работа была частично поддержана грантами JSPS для начинающих ученых № 19K14591 и грантами JSPS для научных исследований № 19KK0067, 20H02068, 20K20973 и 22К03420.

Контакты со СМИ
Хироши Мацуда
Отдел по связям с общественностью Токийского научного университета
Электронная почта: [email protected]