Неравенство энтропийной мощности
-
Неравенство энтропийной мощности
- Неравенство энтропийной мощности (EPI) утверждает, что энтропийная мощность случайных величин является сверхаддитивной функцией.
- Доказано Клодом Шенноном в 1948 году.
- Стам (1959) показал, что условие для равенства необходимо.
-
Определение энтропийной мощности
- Энтропийная мощность X определяется как N(X) = |K|1/n, где K — ковариационная матрица.
- Для независимых случайных величин X и Y с функциями плотности вероятности в Lp(Rn) для p > 1, выполняется неравенство N(X) + N(Y) ≤ N(X)N(Y).
- Равенство выполняется, если X и Y являются многомерными нормальными случайными величинами с пропорциональными ковариационными матрицами.
-
Альтернативная форма неравенства
- Неравенство можно переписать в эквивалентной форме, не зависящей от определения энтропийной мощности.
- Пусть X’ и Y’ — независимые случайные величины с гауссовым распределением, такие что N(X’) + N(Y’) = N(X)N(Y).
-
Дополнительные темы
- Информационная энтропия
- Теория информации
- Предельная плотность дискретных точек
- Самоинформация
- Дивергенция Кульбака–Лейблера
- Оценка энтропии