51.Марковский процесс с дискретными состояниями и дискретным временем
51. Марковский процесс с дискретными состояниями и дискретным временем Случайный процесс называется процессом с дискретным временем, если переходы системы S из состояния в состояние возможны только в строго определенные моменты времени t1, t2, …. В промежутки времени между этими моментами система сохраняет свое состояние. Процесс, происходящий в системе, можно представить как последовательность событий, например: Мы будем описывать марковскую цепь с помощью так называемых вероятностей состояний. Пусть после k-ого шага система S может быть в одном из состояний S1, S2, …, Sn, т. е. осуществится одно из полной группы несовместных событий: Обозначим вероятности этих событий: ( короче: вероятность того, что после k-го шага система перейдёт в m-е состояние равна вероятности m-го события на k-м шаге ) Будем называть вероятности Марковская цепь называется однородной, если переходные вероятности не зависят от номера шага. В противном случае марковская цепь называется неоднородной. Обозначим pij вероятность перехода системы S за один шаг из состояния Si в состояние Sj. Эти вероятности можно записать как условные вероятности pij. Из вероятностей pij можно составить матрицу
которая называется матрицей перехода за один шаг. Сумма элементов каждой строки равна единице. Обозначим pij(k) вероятность перехода системы S из состояния Si в состояние Sj за k шагов. Обозначим через pk матрицу перехода через k шагов Согласно между матрицами перехода с различными индексами существует соотношение pk =pl pk-l (0< l< k). В частности, при k=2 находим, что
Теорема Маркова. Если при некотором S> 0 все элементы матрицы Величины pj называются финальными вероятностями системы S. 52. Марковский процесс с дискретными состояниями и непрерывным временем. Имеется система S, которая в каждый момент времени может находиться в одном из состояний S1, S2, …, Sn. Переход системы из одного состояния в другое может осуществляться в любой момент времени. Такой процесс называется непрерывной цепью Маркова. Обозначим pi(t) – вероятность того, что в момент времени t система S будет находиться в состоянии Si (i=1, 2, …, n). Для любого момента времени
Поставим задачу – определить для любого t вероятность состояний: p1(t), p2(t), …, pn(t). Будем считать, что известны плотности вероятностей перехода Тогда с точностью до бесконечно малых высших порядков Если Эти уравнения для вероятностей состояний называются уравнениями Колмогорова. Для однозначного решения системы должны быть заданы начальные значения: p1(0), p2(0), …, pn(0), причем Предположим, что где pi финальные вероятности. Чтобы их найти в системе положим Здесь n+1 уравнение с n неизвестными. Поэтому одно из однородных уравнений можно отбросить.
Воспользуйтесь поиском по сайту: ![]() ©2015 - 2025 megalektsii.ru Все авторские права принадлежат авторам лекционных материалов. Обратная связь с нами...
|