Энтропии:

Энтропия для дискретной случайной величины: