МА́РКОВА ЦЕПЬ
-
Рубрика: Математика
-
-
Скопировать библиографическую ссылку:
Книжная версия:
Электронная версия:
МА́РКОВА ЦЕПЬ, последовательность зависимых случайных величин X0,X1,X2,... со значениями из множества натуральных чисел, обладающая тем свойством, что условное распределение случайной величины Xn,n⩾1, зависит только от значения Xn−1 и не зависит от всех предыдущих значений, т. е. условная вероятность P{Xn=in∣X0=i0,...,Xn−1=in−1}=P{Xn=in∣Xn−1=in−1}.
Это свойство, определяющее М. ц., называется марковским свойством и является обобщением понятия независимости. М. ц. появились в исследованиях А. А. Маркова (1907) и послужили началом создания теории марковских процессов. С общей точки зрения М. ц. представляет собой марковский процесс с дискретным временем n=0,1,2,... и конечным или счётным множеством состояний; состояния М. ц. суть возможные значения случайных величин X0,X1,... Если условные вероятности P{Xn=j∣Xn−1=i},i,j=1,2,..., одинаковы для всех n, соответствующая М. ц. называется однородной (по времени). Вероятности pij=P{Xn=j∣Xn−1=i} называются переходными вероятностями однородной М. ц.; в совокупности они составляют квадратную матрицу ∏=‖pij‖,i,j=1,2,..., элементы которой pij⩾0 для всех i,j и ∑jpij=1; такие матрицы называются стохастическими. Распределение pk(0)=P{X0=k},k=1,2,..., случайной величины X0 называют начальным распределением М. ц. Совместное распределение X0,X1,...,Xn выражается через элементы матрицы ∏ и распределение {pk(0),k=1,2,...}:P{X0=i0,X1=i1,...,Xn=in}=pi0(0)pi0,i1...pin−1,inПереходные вероятности из состояния i в состояние j за n шагов pij(n)=P{Xm+n=j∣Xm=i}удовлетворяют уравнению Колмогорова – Чепмен pij(n1+n2)=∑kpik(n1)pkj(n2),а соответствующие матрицы ∏n=‖pij(n)‖ – соотношению ∏n1+n2=∏n1∏n2. Переходные вероятности pij(n) однозначно определяются матрицей ∏, т. к. ∏n=∏n. Т. о., все распределения М. ц. полностью задаются матрицей ∏ и начальным распределением {pk(0),k=1,2,...}.
Важным классом М. ц. являются т. н. эргодич. М. ц., переходные вероятности которых pij(n) обладают тем свойством, что limn→∞pij(n)=pj⩾0j,j=1,2,..., где числа pj,j=1,2,...,∑jpj=1 , представляют собой единственное решение системы уравнений pj=∑ipipij,j=1,2,... Числа pj интерпретируются в этом случае как вероятности того, что М. ц. через очень большое время n окажется в состоянии j независимо от начального распределения. Такое распределение pj,j=1,2,..., называется стационарным распределением М. ц. с переходной матрицей ∏; оно обладает следующим свойством: еслиP{X0=j}=pj,j=1,2,..., то при любом nP{Xn=j}=pj,т. е. если начальное распределение совпадает со стационарным, то распределения случайных величин Xn,n=0,1,..., не зависят от n. Соответствующая М. ц. называется стационарной; см. Стационарный случайный процесс.