Энтропия (теория информации)
- Энтропия Шеннона — мера неопределенности информации в случайной системе.
- Энтропия учитывает только вероятность наблюдения конкретного события.
- Энтропия инкапсулирует информацию о базовом распределении вероятностей.
- Альтернативное определение энтропии использует свойства непрерывности, симметрии и аддитивности.
- Энтропия может быть определена как сумма ожидаемых неожиданностей для экстремального разбиения.
- Существует множество взаимосвязанных и конкурирующих величин, связанных с энтропией Шеннона.
- Альтернативное определение энтропии использует свойства субаддитивности, аддитивности и расширяемости.
- Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала.
Полный текст статьи: