Энтропия и информация

Вики

Среднее измерение

/

Средний размер Определение средней размерности Средняя размерность — это мера сложности топологической динамической системы.  Введена Громовым в 1999 году и […]

Вики

Энтропийное кодирование

/

Энтропийное кодирование Основы энтропийного кодирования Энтропийное кодирование — метод сжатия данных без потерь, стремящийся к нижней границе, установленной теоремой Шеннона. 

Вики

Энтропийное кодирование

/

Энтропийное кодирование Основы энтропийного кодирования Энтропийное кодирование — метод сжатия данных без потерь, стремящийся к нижней границе, установленной теоремой Шеннона. 

Вики

Недоумение

/

Недоумение Определение и использование недоумения Недоумение — это показатель, который оценивает способность языковой модели предсказывать следующее слово.  Используется для сравнения

Вики

Сложность колебаний информации

/

Сложность изменения информации Определение сложности Сложность системы определяется как количество информации, необходимое для описания ее состояния.  Сложность связана с энтропией,

Вики

Перекрестная энтропия

/

Перекрестная энтропия Определение и свойства кросс-энтропии Кросс-энтропия — это мера различия между двумя распределениями вероятностей.  Она используется для оценки качества

Вики

Информационный контент

/

Информационное наполнение Определение информации Информация — это уменьшение неопределенности.  Информация измеряется в битах.  Примеры информации Информация о том, что кубик

Вики

Бинарная функция энтропии

/

Бинарная энтропийная функция Определение бинарной энтропии Энтропия процесса Бернулли с вероятностью p одного из двух значений.  Формула энтропии зависит от

Вики

Расхождение Кульбака–Лейблера

/

Дивергенция Кульбака–Лейблера Определение и свойства Дивергенция Кульбака-Лейблера (DKL) — мера различия между двумя вероятностными распределениями.  DKL является обобщением энтропии и

Вики

Условная взаимная информация

/

Conditional mutual information Определение и свойства взаимной информации Взаимная информация — это мера зависимости между двумя случайными переменными.  Она измеряется

Вики

Взаимная информация

/

Взаимная информация Определение и свойства взаимной информации Взаимная информация — это мера зависимости между двумя случайными величинами.  Она измеряется как

Вики

Совместная энтропия

/

Совместная энтропия Определение энтропии Энтропия — мера неопределенности в теории информации.  Общая энтропия набора случайных величин — сумма индивидуальных энтропий. 

Вики

Условная энтропия

/

Условная энтропия Определение условной энтропии Условная энтропия — это мера неопределенности значения случайной величины относительно другой.  Энтропия измеряется в битах

Вики

Статистическая сумма (математика)

/

Статистическая обработка (математика) Определение и свойства статистической функции Статистическая функция — это функция, которая описывает распределение вероятностей для случайных величин. 

Вики

Негэнтропия

/

Негэнтропия Негэнтропия — мера расстояния до нормальности в теории информации и статистике.  Термин «отрицательная энтропия» был введен Эрвином Шредингером в

Вики

Принцип максимальной энтропии

/

Принцип максимальной энтропии Принцип максимальной энтропии: распределение вероятностей, отражающее текущее состояние знаний, имеет наибольшую энтропию.  Принцип максимальной энтропии используется для

Вики

Информационный критерий Акаике

/

Информационный критерий Акаике Akaike Information Criterion (AIC) используется для выбора статистической модели.  AIC основан на теоретико-информационном подходе и связан с

Вики

Дифференциальная энтропия

/

Дифференциальная энтропия Энтропия — мера неопределенности случайной величины.  Дифференциальная энтропия используется для измерения неопределенности случайных векторов.  Энтропия связана с энтропией

Прокрутить вверх