Производное объяснение функции softmax

Производная суммы есть сумма производных, т.е.:

    d(f1 + f2 + f3 + f4)/dx = df1/dx + df2/dx + df3/dx + df4/dx

Чтобы вывести производные от p_j по отношению к o_i, начнем с:

    d_i(p_j) = d_i(exp(o_j) / Sum_k(exp(o_k)))

Я решил использовать d_i для производной по отношению к o_i, чтобы упростить чтение. Используя правило произведения, получаем:

     d_i(exp(o_j)) / Sum_k(exp(o_k)) + exp(o_j) * d_i(1/Sum_k(exp(o_k)))

Глядя на первый член, производная будет 0, если i != j, это можно представить с помощью дельта-функции, который я буду называть D_ij. Это дает (для первого члена):

    = D_ij * exp(o_j) / Sum_k(exp(o_k))

Это просто наша исходная функция, умноженная на D_ij

    = D_ij * p_j

Для второго члена, когда мы получаем каждый элемент суммы по отдельности, единственный ненулевой член будет, когда i = k, это дает нам (не забывая о правиле мощности, потому что сумма находится в знаменателе)

    = -exp(o_j) * Sum_k(d_i(exp(o_k)) / Sum_k(exp(o_k))^2
    = -exp(o_j) * exp(o_i) / Sum_k(exp(o_k))^2
    = -(exp(o_j) / Sum_k(exp(o_k))) * (exp(o_j) / Sum_k(exp(o_k)))
    = -p_j * p_i

Сложив их вместе, мы получим удивительно простую формулу:

    D_ij * p_j - p_j * p_i

Если вы действительно хотите, мы можем разделить его на случаи i = j и i != j:

    i = j: D_ii * p_i - p_i * p_i = p_i - p_i * p_i = p_i * (1 - p_i)

    i != j: D_ij * p_i - p_i * p_j = -p_i * p_j

Что является нашим ответом.

Что бы это ни стоило, вот мой вывод, основанный на ответе SirGuy: (Не стесняйтесь указывать ошибки, если вы их найдете).