Краткое описание Чемпиона, Луша, Куца и Брантона (PNAS 2019).
Обзор
В «Управляемом данными обнаружении координат и управляющих уравнений» Чемпион, Луш, Куц и Брантон разрабатывают метод обнаружения низкоразмерной динамики из многомерных систем. Их работа мотивирована признанием того, что открытие основных уравнений для динамических систем сначала требует использования соответствующей системы координат. Авторы опираются на SINDy (разреженная идентификация нелинейной динамики), добавляя автоэнкодер в структуру разреженной регрессии SINDy. Автоэнкодер служит гибкой моделью для поиска преобразования координат, где базовая динамика проста. Путем добавления автоэнкодера в фреймворк SINDy новый метод авторов одновременно обнаруживает и необходимую систему координат, и определяющие уравнения.
Методы машинного обучения
Предлагаемый метод SINDy-Autoencoder сочетает в себе структуру разреженной регрессии SINDy с нейронной сетью автоэнкодера. Ниже я коснусь каждого компонента отдельно.
SINDy (разреженная идентификация нелинейной динамики) решает линейную обратную задачу построения dx/dt как разреженной регрессии библиотеки (нелинейных) функций от x. Нелинейные функции могут включать полиномиальные, тригонометрические или другие термины.
Автоэнкодеры используют нейронные сети для уменьшения размерности входных данных, сохраняя при этом возможность реконструировать входные данные. Сжатый ввод называется «кодом», а сеть сжатия («кодировщик») и сеть распаковки («декодер») могут иметь несколько слоев нейронной сети, как показано на диаграмме ниже. Автоэнкодеры обеспечивают управляемый данными подход к нелинейному уменьшению размерности.
SINDy-Autoencoder сочетает в себе потери реконструкции автоэнкодера, потери динамики SINDy и регуляризацию.
Применимость и ограничения
Авторы применяют SINDy-Autoencoder к следующим примерам: система Лоренца, система лямбда-омега-реакция-диффузия и нелинейный маятник. Они предоставляют пример кода: https://github.com/kpchamp/SindyAutoencoders.
Одним из возможных ограничений является то, что методы глубокого обучения, включая автоэнкодеры, как правило, требуют большого объема данных для предотвращения переобучения. Эти демонстрации, хотя и впечатляющие, были симуляциями, в которых были известны основные уравнения, а данные были несколько бесконечны.
Связанных с работой
Помимо создания стандартного SINDy, SINDy-Autoencoders имеет некоторые общие черты с другим недавним методом, LFADS (анализ скрытых факторов с помощью динамических систем). Оба метода используют автоэнкодеры для обнаружения низкоразмерной динамики наблюдаемой системы. В то время как SINDy-Autoencoders вводят явную производную в качестве обучающих данных, LFADS использует рекуррентные нейронные сети в своем автоэнкодере для самостоятельного изучения динамики состояний. Обнаружение модели и преобразование координат выполняются «все сразу» в LFADS.
Еще одно отличие заключается в том, что LFADS использует вариационные автоэнкодеры вместо стандартных автоэнкодеров SINDy-Autoencoder, хотя это отличие может быть в основном связано с устойчивостью к шуму. Вариационные автоэнкодеры можно рассматривать как регуляризованную версию автоэнкодеров, которая полезна при работе с «зашумленными» данными, такими как нейронные записи.
