Я работаю над сетью в тензорном потоке, которая создает вектор, который затем передается через softmax, который является моим выходом.
Теперь я тестировал это и, как ни странно, вектор (тот, который прошел через softmax) имеет нули во всех координатах, кроме одной.
Основываясь на определении softmax с экспонентой, я предположил, что этого не должно было произойти. Это ошибка?
РЕДАКТИРОВАТЬ: мой вектор 120x160 = 192000. Все значения являются float32
Это может быть не ошибка. Вам также нужно посмотреть на ввод в softmax. Вполне возможно, что этот вектор имеет очень отрицательные значения и одно очень положительное значение. Это приведет к тому, что выходной вектор softmax будет содержать все нули и одно единственное значение.
Вы правильно указали, что числитель softmax никогда не должен иметь нулевых значений из-за экспоненциального. Однако из-за точности с плавающей запятой числитель может быть очень маленьким значением, скажем, exp(-50000), которое по существу равно нулю.
