Ограниченная машина Больцмана (RBM): изменение двоичных единиц измерения на гауссовские или релу.

Я написал рабочую реализацию RBM с двоичными скрытыми/видимыми единицами в R. Я некоторое время искал, но просто не могу понять, как изменить двоичные единицы либо на гауссовские, либо на ReLU.

Если бы я хотел, чтобы мои входные данные были реальными значениями, изменил бы я видимые и скрытые единицы измерения? Или только видимые единицы?

Допустим, я хотел изменить оба. В настоящее время я вычисляю скрытые/видимые вероятности, используя логистическую сигмовидную функцию (1/(1+e^(-x))). ReLU использует max(0, x + N(0,1)). Как я сейчас понимаю, я бы заменил все вхождения логистической сигмовидной функции функцией ReLU max. Однако это не дает результатов, которые имеют смысл. Так что я не уверен, что я на самом деле должен изменить.


deep-learning rbm
person Rahul Gupta    schedule 23.08.2015    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Вы можете изменить активацию видимого юнита, не изменяя активацию скрытого юнита. Таким образом, у вас могут быть скрытые единицы Бернулли и видимые единицы Гаусса. При предварительном обучении для глубокой сети лучше всего использовать ту же функцию активации, что и в вашей окончательной сети (обычно relus).

Я также написал код RBM, хитрость для получения лучших результатов заключается в том, чтобы не сэмплировать визуальную реконструкцию или мечтать (при использовании CD-1). Я бы не смог больше помочь, не посмотрев на ваш код или не прояснив «немного смысла» ваших результатов.

Отличное руководство по обучению RBM можно найти в Практическом руководстве по обучению RBM. написано Хинтоном.

Другой совет — использовать Persistent Contrastive Divergence, который предполагает, что обновления веса достаточно малы, чтобы не изменить цепь Маркова. В коде это эквивалентно активации визуальных единиц из последней мечты и мечты из визуальной реконструкции. По моему опыту, обучение занимает гораздо меньше времени, оригинальная статья: http://www.machinelearning.org/archive/icml2008/papers/638.pdf

Опять же, опубликуйте свой код и результаты, и я готов помочь вам просмотреть их.

person islandman93    schedule 27.08.2015