МА́РКОВА ЦЕПЬ
-
Рубрика: Математика
-
-
Скопировать библиографическую ссылку:
Книжная версия:
Электронная версия:
МА́РКОВА ЦЕПЬ, последовательность зависимых случайных величин X0,X1,X2,... со значениями из множества натуральных чисел, обладающая тем свойством, что условное распределение случайной величины X_n,\: n⩾1, зависит только от значения X_{n-1} и не зависит от всех предыдущих значений, т. е. условная вероятность \mathbf{P}\{X_n=i_n\mid X_0=i_0,...,X_{n-1}=i_{n-1}\}=\mathbf{P}\{X_n=i_n\mid X_{n-1}=i_{n-1}\}.
Это свойство, определяющее М. ц., называется марковским свойством и является обобщением понятия независимости. М. ц. появились в исследованиях А. А. Маркова (1907) и послужили началом создания теории марковских процессов. С общей точки зрения М. ц. представляет собой марковский процесс с дискретным временем n=0,1,2,... и конечным или счётным множеством состояний; состояния М. ц. суть возможные значения случайных величин X_0, X_1,... Если условные вероятности \mathbf{P}\{X_n=j\mid X_{n-1}=i\},\:i,j=1,2,..., одинаковы для всех n, соответствующая М. ц. называется однородной (по времени). Вероятности p_{ij}=\mathbf{P}\{X_n=j\mid X_{n-1}=i\} называются переходными вероятностями однородной М. ц.; в совокупности они составляют квадратную матрицу \prod =\left \| p_{ij} \right \|, i,j=1,2,..., элементы которой p_{ij}⩾0 для всех i,j и \sum_{j}p_{ij}=1; такие матрицы называются стохастическими. Распределение p_k(0)=\mathbf{P}\{X_0=k\}, k=1,2,..., случайной величины X_0 называют начальным распределением М. ц. Совместное распределение X_0,X_1,...,X_n выражается через элементы матрицы \prod и распределение \{p_k(0),\: k=1,2,...\}:\mathbf{P}\{X_0=i_0,X_1=i_1,...,X_n=i_n\}=p_{i_0}(0)p_{i_0,i_1}...p_{i_{n-1},i_n}Переходные вероятности из состояния i в состояние j за n шагов p_{ij}(n)=\mathbf{P}\{X_{m+n}=j\mid X_m=i\}удовлетворяют уравнению Колмогорова – Чепмен p_{ij}(n_1+n_2)=\sum_{k}p_{ik}(n_1)p_{kj}(n_2),а соответствующие матрицы \prod_n=\left \| p_{ij}(n) \right \| – соотношению \prod _{n_1+n_2}=\prod_{n_1} \prod_{n_2} . Переходные вероятности p_{ij}(n) однозначно определяются матрицей \prod, т. к. \prod _n=\prod^n . Т. о., все распределения М. ц. полностью задаются матрицей \prod и начальным распределением \{p_k(0),\: k=1,2,...\}.
Важным классом М. ц. являются т. н. эргодич. М. ц., переходные вероятности которых p_{ij}(n) обладают тем свойством, что \lim_{n\rightarrow \infty }p_{ij}(n)=p_j\geqslant 0\:j,j=1,2,..., где числа p_j,j=1,2,...,\sum_{j}p_j=1 , представляют собой единственное решение системы уравнений p_j=\sum_{i}p_ip_{ij},\:j=1,2,... Числа p_j интерпретируются в этом случае как вероятности того, что М. ц. через очень большое время n окажется в состоянии j независимо от начального распределения. Такое распределение p_j, j= 1,2,..., называется стационарным распределением М. ц. с переходной матрицей \prod ; оно обладает следующим свойством: если\mathbf{P}\{X_0=j\}=p_j,\:j=1,2,..., то при любом n\mathbf{P}\{X_n=j\}=p_j,т. е. если начальное распределение совпадает со стационарным, то распределения случайных величин X_n, n=0,1,..., не зависят от n. Соответствующая М. ц. называется стационарной; см. Стационарный случайный процесс.