Инициализация веса

В исследованиях машинного обучения и глубокого обучения основной целью является минимизация значения потерь. Для того, чтобы сделать это как можно быстрее, необходимо запустить веса в соответствии с нашей задачей. Эта проблема называется «Инициализация веса». Первое, что нам нужно знать, это то, что это дизайнерское решение. Прежде чем мы сможем обучить сеть, нам нужно инициализировать все веса. Начальные значения весов могут оказать существенное влияние на тренировочный процесс. В зависимости от того, где в процессе обучения начинается модель глубокого обучения, она может сходиться к любому из возможных локальных минимумов на неравномерной поверхности потерь.

Давайте подумаем вместе. Если начать все веса с 0, то это будет плохой вариант как по времени, так и по стоимости. Или нет смысла их всех запускать как 0.5? Приводит ли запуск с неправильными весами к взрывному или исчезающему градиенту для градиентного спуска? Ответы да! Вот почему нам нужна инициализация. Подведем итоги.

Зачем нам нужна инициализация веса?

Обученные искусственные нейронные сети сильно зависят от начальных настроек весов и смещений.
«Стохастический градиентный спуск» сходится к локальным минимумам.
Избегайте проблем с исчезновением и взрывом градиента. (слишком большая инициализация приводит к взрыву градиентов, а слишком маленькая инициализация приводит к исчезновению градиентов.)

Методы инициализации веса

Нулевая инициализация
Случайная инициализация
Инициализация Ксавьера
Инициализация He-at-al
Инициализация Лекуна

Давайте рассмотрим каждый из них более подробно! Чтобы упростить задачу, позвольте мне использовать одну и ту же базовую модель для всех методов инициализации.

 model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(input_shape=(64, 32)),
        tf.keras.layers.Dense(128, activation='relu', kernel_initializer,
            bias_initializer)
    ])

1. Нулевая инициализация

Как следует из названия, нулевая инициализация включает в себя инициализацию всех весов нейронной сети до 0. Обратите внимание, что это делается с предположением, что половина окончательных весов положительна, а половина весов отрицательна.

Если все веса сети инициализированы нулями, все активации равны нулю и, соответственно, градиенты. На самом деле не имеет значения, даже если веса инициализированы любой другой константой. Активации могут быть не нулевыми в этом случае, но они все равно будут одинаковыми. Таким образом, мы можем исключить нулевую/константную инициализацию.

model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(input_shape=(64, 32)),
        tf.keras.layers.Dense(128, 
                              activation='relu', 
                              kernel_initializer='zeros',
                              bias_initializer='zeros')
    ])

2. Случайная инициализация

Когда функция активации является сигмовидной, чем дальше значение веса от 0, тем больше стандартное отклонение, тем больше выходное значение смещается близко к 0 и 1, и тогда градиент теряется. Один из способов решить эту проблему — инициализировать веса в нормальном распределении с небольшим стандартным отклонением. Как правило, начальные веса случайным образом инициализируются нормальным распределением (распределением Гаусса) со средним значением 0 и стандартным отклонением 0,01 следующим образом.

# With normal distributions
model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(input_shape=(64, 32)),
        tf.keras.layers.Dense(128, 
                              activation='relu', 
                              kernel_initializer='RandomNormal',
                              bias_initializer='zeros')
    ])
'''
# With Uniform Distributions
model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(input_shape=(64, 32)),
        tf.keras.layers.Dense(128, 
                              activation='relu', 
                              kernel_initializer='RandomUniform',
                              bias_initializer='zeros')
'''

3. Ксавье (Глорот) Инициализация

Случайная инициализация быстро выходит из строя для глубоких сетей. Причина этого в том, что активация быстро падает до нуля после нескольких слоев (как и градиенты). Инициализация Xavier направлена на инициализацию весов таким образом, чтобы дисперсия на каждом слое была одинаковой. Другими словами, дисперсия вывода каждого слоя должна быть равна дисперсии входа, а дисперсия градиента до и после прохождения слоев при обратном распространении должна быть одинаковой.

# With normal distributions
model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(input_shape=(64, 32)),
        tf.keras.layers.Dense(128, 
                              activation='relu', 
                              kernel_initializer='glorot_normal',
                              bias_initializer='zeros')
    ])
'''
# With Uniform Distributions
model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(input_shape=(64, 32)),
        tf.keras.layers.Dense(128, 
                              activation='relu', 
                              kernel_initializer='glorot_uniform',
                              bias_initializer='zeros')
'''

4. Инициализация He-at-al

Каймин Хэ предложил начальное значение, подходящее для ReLU, которое названо начальным значением He по его имени. Инициализация почти аналогична инициализации Xavier, но отличается от инициализации Xavier. Эти различия связаны с нелинейностью функции активации ReLU, и они используют разные коэффициенты масштабирования для весов.

# With normal distributions
model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(input_shape=(64, 32)),
        tf.keras.layers.Dense(128, 
                              activation='relu', 
                              kernel_initializer='he_normal',
                              bias_initializer='zeros')
    ])
'''
# With Uniform Distributions
model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(input_shape=(64, 32)),
        tf.keras.layers.Dense(128, 
                              activation='relu', 
                              kernel_initializer='he_uniform',
                              bias_initializer='zeros')
'''

5. Инициализация Лекуна

Он также известен как эффективное обратное распространение и учитывает размер ввода и вывода каждого слоя. Этот метод можно использовать с функциями активации, которые не обязательно симметричны относительно нуля, например, с гиперболическим тангенсом. Он производит веса, которые представляют собой случайно выбранные числа, умноженные на дисперсию 1/(input_layer_size).

# With normal distributions
model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(input_shape=(64, 32)),
        tf.keras.layers.Dense(128, 
                              activation='relu', 
                              kernel_initializer='lecun_normal',
                              bias_initializer='zeros')
    ])
'''
# With Uniform Distributions
model = tf.keras.models.Sequential([
        tf.keras.layers.Flatten(input_shape=(64, 32)),
        tf.keras.layers.Dense(128, 
                              activation='relu', 
                              kernel_initializer='lecun_uniform',
                              bias_initializer='zeros')
'''

Как понять хорошую инициализацию?

Приводит к меньшим потерям на обучающих и тестовых наборах.
Не насыщает большинство сигмовидных/тангенциальных единиц.
Не взрывается с единицами ReLu.
Величина градиента одинакова для всех слоев.

Как найти подходящие значения инициализации?

среднее число активаций должно быть равно нулю.
Дисперсия активаций должна оставаться одинаковой для всех слоев.

ИСПОЛЬЗОВАННАЯ ЛИТЕРАТУРА

Примечания по ИИ: Инициализация нейронных сетей — deeplearning.ai
Чтобы построить алгоритм машинного обучения, обычно вы определяете архитектуру (например, логистическую регрессию, опорный вектор…www.deeplearning.ai

Раздел 4 (неделя 4)
Обучение глубокой нейронной сети включает в себя поиск правильных значений весов: мы хотели бы закончить с моделью…cs230. Стэнфорд.edu

Инициализация веса