Как оценить объем оперативной памяти, который потребуется Encog для обучения конкретной сети с определенным набором образцов с помощью алгоритма Левенберга-Марквардта?

Я изучаю среду нейронной сети Encog (версии 3.0 и 3.1 для Java) и хотел бы попробовать алгоритм Левенберга-Марквардта в своем обучении нейронной сети. Однако мои настоящие нейронные сети довольно сложны (с сотнями входных нейронов), и ни одна (я упрощаю с десятков тысяч до 136) сеть, по-видимому, не может быть обучена с помощью Левенберга-Марквардта (говоря, что нет достаточно памяти, пока я выделяю 2 ГиБ для JVM). Но он работает очень хорошо, когда я пытаюсь решить простую синтетическую задачу с простой (всего 3 входных нейрона) сетью.

Вопрос в том, как я могу оценить объем памяти, который потребуется Encog для обучения конкретной сети с определенным набором образцов с помощью алгоритма Левенберга-Марквардта? Как я могу угадать, какая максимальная сложность может уместиться в 2 ГиБ (фактическая машина имеет 4, но JVM, похоже, не может выделить более 2)?


java algorithm neural-network encog
person Ivan    schedule 27.03.2012    source источник
comment
У вас есть около 90 вопросов без принятого ответа. Возможно, вы сможете просмотреть некоторые ответы, которые вам давали ранее.   -  person Peter Lawrey    schedule 27.03.2012
comment
Я бы предположил, что это O(NK+NN) со страницы википедии (en.wikipedia.org/wiki/Levenberg%E2%80%93Marquardt_algorithm). Где N — количество тренировочных экземпляров, а K — количество весов. Обычно вам следует больше беспокоиться о временной сложности, когда вы тренируетесь с огромными наборами данных, потому что LMA находится в O (N ** 3). Это хорошо для простых задач, но когда вы применяете ИНС к крупномасштабным задачам, вы должны предпочесть стохастический градиентный спуск или сопряженный градиент.   -  person alfa    schedule 27.03.2012

Ответы (1)


arrow_upward
5
arrow_downward

Я бы попробовал небольшой размер, определил, сколько памяти он использует, и продолжал удваивать размер, пока не появится закономерность. то есть он линейный или суперлинейный.

Кстати: у моего телевизора 4 ГБ памяти, возможно, пришло время увеличить объем памяти, если вам это нужно. ;)

person Peter Lawrey    schedule 27.03.2012