Я пытаюсь обучить GAN изучать распределение ряда функций в мероприятии. Обученные Дискриминатор и Генератор имеют низкие потери, но сгенерированные события имеют разное распределение по форме, но я не уверен, почему.
Я определяю GAN следующим образом:
def create_generator():
generator = Sequential()
generator.add(Dense(50,input_dim=noise_dim))
generator.add(LeakyReLU(0.2))
generator.add(Dense(25))
generator.add(LeakyReLU(0.2))
generator.add(Dense(5))
generator.add(LeakyReLU(0.2))
generator.add(Dense(len(variables), activation='tanh'))
return generator
def create_descriminator():
discriminator = Sequential()
discriminator.add(Dense(4, input_dim=len(variables)))
discriminator.add(LeakyReLU(0.2))
discriminator.add(Dense(4))
discriminator.add(LeakyReLU(0.2))
discriminator.add(Dense(4))
discriminator.add(LeakyReLU(0.2))
discriminator.add(Dense(1, activation='sigmoid'))
discriminator.compile(loss='binary_crossentropy', optimizer=optimizer)
return discriminator
discriminator = create_descriminator()
generator = create_generator()
def define_gan(generator, discriminator):
# make weights in the discriminator not trainable
discriminator.trainable = False
model = Sequential()
model.add(generator)
model.add(discriminator)
model.compile(loss = 'binary_crossentropy', optimizer=optimizer)
return model
gan = define_gan(generator, discriminator)
И я обучаю GAN с помощью этого цикла:
for epoch in range(epochs):
for batch in range(steps_per_epoch):
noise = np.random.normal(0, 1, size=(batch_size, noise_dim))
fake_x = generator.predict(noise)
real_x = x_train[np.random.randint(0, x_train.shape[0], size=batch_size)]
x = np.concatenate((real_x, fake_x))
# Real events have label 1, fake events have label 0
disc_y = np.zeros(2*batch_size)
disc_y[:batch_size] = 1
discriminator.trainable = True
d_loss = discriminator.train_on_batch(x, disc_y)
discriminator.trainable = False
y_gen = np.ones(batch_size)
g_loss = gan.train_on_batch(noise, y_gen)
Мои реальные события масштабируются с помощью стандартного масштабатора sklearn:
scaler = StandardScaler()
x_train = scaler.fit_transform(x_train)
Генерация событий:
X_noise = np.random.normal(0, 1, size=(n_events, GAN_noise_size))
X_generated = generator.predict(X_noise)
Когда я затем использую обученный GAN после тренировки от нескольких сотен до нескольких тысяч эпох для генерации новых событий и масштабирования, я получаю распределения, которые выглядят следующим образом:
А сопоставление двух характеристик друг с другом для реальных и поддельных событий дает:
Это похоже на коллапс режима, но я не понимаю, как это могло привести к таким экстремальным значениям, когда все обрезается за пределами этих точек.