МА́РКОВА ЦЕПЬ

МА́РКОВА ЦЕПЬ, по­сле­до­ва­тель­ность за­ви­си­мых слу­чай­ных ве­ли­чин $X_0,X_1,X_2,...$ со зна­че­ния­ми из мно­же­ст­ва на­ту­раль­ных чи­сел, об­ла­даю­щая тем свой­ст­вом, что ус­лов­ное рас­пре­де­ле­ние слу­чай­ной ве­ли­чи­ны $X_n,\: n⩾1$, за­ви­сит толь­ко от зна­че­ния $X_{n-1}$ и не за­ви­сит от всех пре­ды­ду­щих зна­че­ний, т. е. ус­лов­ная ве­ро­ят­ность $$\mathbf{P}\{X_n=i_n\mid X_0=i_0,...,X_{n-1}=i_{n-1}\}=\mathbf{P}\{X_n=i_n\mid X_{n-1}=i_{n-1}\}.$$

Это свой­ст­во, оп­ре­де­ляю­щее М. ц., на­зы­ва­ет­ся мар­ков­ским свой­ст­вом и яв­ля­ет­ся обоб­ще­ни­ем по­ня­тия не­за­ви­си­мо­сти. М. ц. поя­ви­лись в ис­сле­до­ва­ни­ях А. А. Мар­ко­ва (1907) и по­слу­жи­ли на­ча­лом соз­да­ния тео­рии мар­ков­ских про­цес­сов. С об­щей точ­ки зре­ния М. ц. пред­став­ля­ет со­бой мар­ков­ский про­цесс с дис­крет­ным вре­ме­нем $n=0,1,2,...$ и ко­неч­ным или счёт­ным мно­же­ст­вом со­стоя­ний; со­стоя­ния М. ц. суть воз­мож­ные зна­че­ния слу­чай­ных ве­ли­чин $X_0, X_1,...$ Ес­ли ус­лов­ные ве­ро­ят­но­сти $\mathbf{P}\{X_n=j\mid X_{n-1}=i\},\:i,j=1,2,...,$ оди­на­ко­вы для всех $n$, со­от­вет­ст­вую­щая М. ц. на­зы­ва­ет­ся од­но­род­ной (по вре­ме­ни). Ве­ро­ят­но­сти $p_{ij}=\mathbf{P}\{X_n=j\mid X_{n-1}=i\}$ на­зы­ва­ют­ся пе­ре­ход­ны­ми ве­ро­ят­но­стя­ми од­но­род­ной М. ц.; в со­во­куп­но­сти они со­став­ля­ют квад­рат­ную мат­ри­цу $\prod =\left \| p_{ij} \right \|, i,j=1,2,...,$ эле­мен­ты ко­то­рой $p_{ij}⩾0$ для всех $i,j$ и $\sum_{j}p_{ij}=1$; та­кие мат­ри­цы на­зы­ва­ют­ся сто­хас­ти­че­ски­ми. Рас­пре­де­ле­ние $p_k(0)=\mathbf{P}\{X_0=k\}, k=1,2,...,$ слу­чай­ной ве­ли­чи­ны $X_0$ на­зы­ва­ют на­чаль­ным рас­пре­де­ле­ни­ем М. ц. Со­вме­ст­ное рас­пре­де­ле­ние $X_0,X_1,...,X_n$ вы­ра­жа­ет­ся че­рез эле­мен­ты мат­ри­цы $\prod $ и рас­пре­де­ле­ние $\{p_k(0),\: k=1,2,...\}:$$$\mathbf{P}\{X_0=i_0,X_1=i_1,...,X_n=i_n\}=p_{i_0}(0)p_{i_0,i_1}...p_{i_{n-1},i_n}$$Пе­ре­ход­ные ве­ро­ят­но­сти из со­стоя­ния $i$ в со­стоя­ние $j$ за $n$ ша­гов $$p_{ij}(n)=\mathbf{P}\{X_{m+n}=j\mid X_m=i\}$$удов­ле­тво­ря­ют урав­не­нию Кол­мо­го­ро­ва – Чеп­ме­н $$p_{ij}(n_1+n_2)=\sum_{k}p_{ik}(n_1)p_{kj}(n_2),$$а со­от­вет­ст­вую­щие мат­ри­цы $\prod_n=\left \| p_{ij}(n) \right \|$  – со­от­но­ше­нию $\prod _{n_1+n_2}=\prod_{n_1} \prod_{n_2} $. Пе­ре­ход­ные ве­ро­ят­но­сти $p_{ij}(n)$ од­но­знач­но оп­ре­де­ля­ют­ся мат­ри­цей $\prod$, т. к. $\prod _n=\prod^n $. Т. о., все рас­пре­де­ле­ния М. ц. пол­но­стью за­да­ют­ся мат­ри­цей $\prod$ и на­чаль­ным рас­пре­де­ле­ни­ем $\{p_k(0),\: k=1,2,...\}$.

Важ­ным клас­сом М. ц. яв­ля­ют­ся т. н. эр­го­дич. М. ц., пе­ре­ход­ные ве­ро­ят­но­сти ко­то­рых $p_{ij}(n)$ об­ла­да­ют тем свой­ст­вом, что $$\lim_{n\rightarrow \infty }p_{ij}(n)=p_j\geqslant 0\:j,j=1,2,...,$$ где чис­ла $p_j,j=1,2,...,\sum_{j}p_j=1$ , представ­ля­ют со­бой един­ст­вен­ное ре­ше­ние сис­те­мы урав­не­ний $$p_j=\sum_{i}p_ip_{ij},\:j=1,2,...$$ Чис­ла $p_j$ ин­тер­пре­ти­ру­ют­ся в этом слу­чае как ве­ро­ят­но­сти то­го, что М. ц. че­рез очень боль­шое вре­мя $n$ ока­жет­ся в со­стоя­нии $j$ не­за­ви­си­мо от на­чаль­но­го рас­пре­де­ле­ния. Та­кое рас­пре­де­ле­ние $p_j, j= 1,2,...$, на­зы­ва­ет­ся ста­цио­нар­ным рас­пре­де­ле­ни­ем М. ц. с пе­ре­ход­ной мат­ри­цей $\prod $; оно об­ла­да­ет следующим свой­ст­вом: ес­ли$$\mathbf{P}\{X_0=j\}=p_j,\:j=1,2,...,$$ то при лю­бом $n$$$\mathbf{P}\{X_n=j\}=p_j,$$т. е. ес­ли на­чаль­ное рас­пре­де­ле­ние сов­па­да­ет со ста­цио­нар­ным, то рас­пре­де­ле­ния слу­чай­ных ве­ли­чин $X_n, n=0,1,...,$ не за­ви­сят от $n$. Со­от­вет­ст­вую­щая М. ц. на­зы­ва­ет­ся ста­цио­нар­ной; см. Ста­цио­нар­ный слу­чай­ный про­цесс.