Есть ли работающая реализация автоматического дифференцирования обратного режима для Haskell?

В ответ на этот вопрос я загрузил в Hackage пакет с именем ad для обработки обратного режима. автоматическое дифференцирование в Haskell.

Внутри он использует трюк из Kansas Lava Энди Гилла, чтобы наблюдать за совместным использованием записываемой ленты для целей обратного распространения, и использует брендинг на уровне типов, чтобы избежать путаницы.

Я пытался сохранить API относительно близким к пакету причудливых Барака Перлмуттера и Джеффри Марка Сискинда, но я не мог удержаться от того, чтобы сделать пару незначительных изменений здесь и там для общности.

Мне все еще нужно пройти и закончить оставшиеся нереализованные причудливые комбинаторы, придумать хороший способ построить башню AD с обратным режимом, подтвердить, что я не ошибся в своих воспоминаниях об основных вычислениях, и предоставить хороший API для использования этот подход для получения локальных контрольных точек обратного режима в программе AD прямого режима, но я вполне доволен тем, как все продвинулось до сих пор.

У нас есть куча реализаций AD с прямым режимом (у меня даже есть один в моей библиотеке моноидов!), но AD с обратным режимом для всего Haskell кажется неразрешимым.

К сожалению, в то время как Перлмуттер и Сискинд дают перевод для лямбда-исчисления, он не отображает то, что вы можете сделать для произвольных лямбда-выражений Haskell, вы не получаете правильных свойств самоанализа и учитывая, как форма типов изменяется в переводе вы не получите ничего, что можно было бы упаковать в монаду, стрелку или другую управляющую структуру.

Я попробовал это через серию обменов электронной почтой с Pearlmutter, но в конечном итоге лучшее, что мне удалось получить, — это решение AD с обратным режимом для небольшого EDSL в Haskell, а не решение для самого Haskell.

Не то чтобы я в курсе. Я знаю, что некоторые Haskell люди заинтересован в автоматическом дифференцировании, но некоторые быстрые поиски обнаружили не более чем короткие отступления, упоминающие режим обратного хода; Я ожидаю, что вы уже нашли тот же материал, что и я.

Замечу также, что найденный вами пакет fad и проект "Сталинград" на самом деле являются работой одних и тех же двух люди, и что по крайней мере профессор Перлмуттер опубликовал в haskell-cafe список рассылки. Возможно, вы захотите связаться с ним напрямую по поводу его работы — возможно, он что-то делает или столкнулся с серьезными препятствиями при попытке внедрить AD в обратном режиме.

Извините, я не смог найти ничего более полезного; если кто-то еще хочет копать дальше, по крайней мере ссылки выше являются отправной точкой.

Я думаю, что вперед нужно идти в Haskell. Как указал Эдвард, вы не должны иметь возможность выполнять обратный режим для произвольных функций. Но вы ответили, что вы должны быть в состоянии сделать это на определенных функциях с ограничениями. И указанные ограничения могут легко привести к прямому режиму. Например. если у вас есть функция:

foo :: Num a => a -> a -> a

Затем вы можете создать экземпляр a с дифференцируемым типом и, таким образом, дифференцировать foo в прямом режиме.

См. библиотеку vector-space на сайте Hackage, где вы найдете очень элегантную автоматическую дифференциацию прямого режима. Сначала может быть не совсем понятно, как его использовать. Прочтите об этом статью Конала Эллиотта Красивая дифференциация.