Марковские цепи. Дискретные марковские процессы, страница 4

Теорема 5. Если и одно из состояний возвратно, то и другое возвратно.

Доказательство. Пусть , тогда существуют целые числа m и l такие, что и . Пусть i – возвратное состояние. Рассмотрим . Суммируя по имеем:

или . Но ряд в правой части полученного неравенства по теореме 4 расходится, но тогда расходится и ряд в левой части по теореме 4 состояние j возвратно.

Теорема 6. Если и состояние i возвратно, то .

Доказательство. Повторяя рассуждения теоремы 3 можем записать . Переходя к пределу при получаем . По теореме 5 j – возвратное состояние . Кроме того, по определению этой вероятности и условия, что j возвратно. Но тогда .

Теорема 7. Если состояние i невозвратно, то .

Доказательство. По формуле полной вероятности запишем

. Ряд в правой части равенства сходится , поскольку сходится ряд и в левой части равенства.

Следствие. Несущественное состояние невозвратно.

Теорема 8. Все состояние неприводимой апериодической системы возвратны.

Доказательство. Проведём доказательство методом «от противного». Предположим что все состояния такого класса невозвратны. В силу конечности числа состояний по теореме 7 имеем:

. Из этого противоречия следует, что все состояния системы не могут быть невозвратными. Пусть i₀ – возвратно, а j – произвольное состояние. Но i₀j, и по теореме 5 j – возвратно.

Невозвратные состояния в такой системе возможны, если число состояний бесконечно.

5.5. Финальные вероятности

Теорема 9. Для апериодического неприводимого класса с конечным числом состояний для любого состояния j существует , не зависящий от i. Этот предел носит название финальной вероятности состояния j.

Доказательство теоремы довольно громоздко и не будет рассматриваться в рамках курса.

Финальные вероятности определяют вероятность при бесконечно долгом блуждании и не зависят от того, из какого состояния система начала свою эволюцию. Для стационарной цепи Маркова финальные вероятности не меняются со временем, поэтому можно сказать, что они определяют стационарное распределение вероятностей по состояниям системы. Финальные вероятности – наиболее важные характеристики марковских цепей.

В классе с бесконечным числом состояний финальные вероятности существуют, если для всех i .

Теорема 10. Пусть для марковской цепи со счётным множеством состояний и матрицей Р для всех состояний j существуют финальные вероятности . Тогда:

а)

б) или все =0.

Все однозначно определяются условиями а) и б).

Если =0 для всех i, то соответствующий класс называется возвратным нулевым. В таком классе процесс протекает в одном направлении, в нем не устанавливается стационарного распределения вероятностей по состояниям. Если , то соответствующий класс называется возвратным или положительно возвратным.