Марковская цепь

• Определение и свойства марковских цепей

  • Марковская цепь — это последовательность случайных величин, связанных с предыдущими состояниями. 
  • Вероятность перехода между состояниями зависит только от текущего состояния и не зависит от предыдущих. 
  • Марковские цепи обладают свойством однородности по времени, что означает, что вероятность перехода не зависит от времени. 
  • Стационарные марковские цепи имеют стационарное распределение, которое не изменяется со временем. 

• Примеры марковских цепей

  • Примеры включают цепи с дискретным и непрерывным временем, а также цепи с памятью и без памяти. 
  • В дискретных цепях состояния могут быть упорядочены, что позволяет построить цепь с упорядоченными состояниями. 

• Эквивалентные определения

  • Существуют три эквивалентных определения марковских цепей: бесконечно малое, время перехода и вероятность перехода. 
  • Бесконечно малое определение описывает процесс как случайную величину, которая не зависит от предыдущих значений. 
  • Определение времени перехода описывает процесс как цепь с дискретным временем, где время ожидания между состояниями имеет экспоненциальное распределение. 
  • Определение вероятности перехода описывает процесс как решение дифференциального уравнения первого порядка. 

• Пространство конечных состояний и собственные векторы

  • Пространство конечных состояний определяется как множество всех возможных состояний процесса. 
  • Матрица перехода описывает вероятность перехода из одного состояния в другое. 
  • Стационарное распределение связано с собственными векторами матрицы перехода и является вектором с неотрицательными элементами и суммой равной единице. 

• Однородная по времени цепь с конечным пространством состояний

  • Если цепь однородна по времени и апериодична, существует единственное стационарное распределение. 
  • Предел матрицы перехода при стремлении к бесконечности позволяет определить стационарное распределение для любого исходного распределения. 

• Неприводимые и апериодические цепи

  • Неприводимые и апериодические цепи имеют единственное стационарное распределение. 
  • Теорема Перрона-Фробениуса утверждает, что если предел матрицы перехода существует, то стационарное распределение может быть найдено. 
  • Пересказана только часть статьи. Для продолжения перейдите к чтению оригинала.