Получить имя слотов для оптимизатора импульса в тензорном потоке

Slot_names зависят от оптимизатора. Если вы хотите получить слот для каждой обучаемой переменной, вы можете использовать get_slot с правильным slot_name. Имя слота, созданное (по умолчанию) для momentum_optimizer, — momentum. Ниже приведен простой пример, иллюстрирующий суть.

x_input = np.linspace(0, 30, 200)
y_input = 4 * x_input + 6
W = tf.Variable(0.0, name="weight")
b = tf.Variable(0.0, name="bias")
X = tf.placeholder(tf.float32, name='InputX')
Y = tf.placeholder(tf.float32, name='InputY')
Y_pred = X * W + b

loss = tf.reduce_mean(tf.square(Y_pred - Y))

# define the optimizer
optimizer = tf.train.MomentumOptimizer(learning_rate=0.001, momentum=.9)

# training op
train_op = optimizer.minimize(loss)

# print the optimizer slot name
print(optimizer.get_slot_names())

# Results:['momentum']

# print out slot created for each trainable variables using the slot_name from above result
for v in tf.trainable_variables():
    print(optimizer.get_slot(v, 'momentum'))

# Results: <tf.Variable 'weight/Momentum:0' shape=() dtype=float32_ref>
           <tf.Variable 'bias/Momentum:0' shape=() dtype=float32_ref>

Единственная проблема в коде заключается в том, что slot_variables создаются во время вызова минимизации (фактически в apply_gradients). А поскольку вы вызываете get_slot_variables() до, они пусты.

Итак, вместо

slots=tf.train.MomentumOptimizer(learning_rate=1e-3, momentum=0.9,).get_slot_names() 

ты должен сделать

opt = tf.train.MomentumOptimizer(learning_rate=1e-3, momentum=0.9,)

train_op = opt.minimize(your_loss) # or anything else

slota = opt.get_slot_names() # this will work

Причина этого очень проста — многие слоты специфичны для переменных, например, такие методы, как Адам, создадут один слот для каждой оптимизированной переменной, и перед вызовом .minimize — оптимизатор не знает, какие это будут переменные. оптимизация.

В частности, для MomentumOptimizer вы сохраняете накопленные градиенты для каждой переменной. Следовательно, они не могут быть вычислены до вызова функции минимизации. Эти накопленные градиенты хранятся в слоте "импульс" (довольно неудачный выбор для названия, но именно здесь они находятся в TF).