У меня есть набор данных из 37 точек данных и около 1300 функций. Существует 4 разных класса, и каждый класс имеет примерно одинаковое количество точек данных. Я обучил нейронную сеть и получил точность 60% с двумя скрытыми слоями, что неплохо (уровень шанса 25%).
Проблема теперь с p-значением. Я вычисляю p-значение с помощью перестановочного теста. Я переставляю метки 1000 раз и для каждой перестановки рассчитываю точность. Значение p я рассчитываю как процент точности перестановки, превышающей исходную точность.
Для всех перестановок меток я получаю ту же точность, что и с исходными метками, то есть нейронная сеть, похоже, не включает метки в обучение.
Если я делаю это с помощью SVM, я получаю для всех перестановок разную точность (в конце концов, как распределение Гаусса).
Почему это так?
Кстати, я использую DeepLearnToolbox для Matlab.
