Propiedad de Márkov

Propiedad de Márkov

Saltar a navegación, búsqueda

Una cadena de Márkov se puede caracterizar por la probabilidad de ir al estado n+1 condicionada a que antes estábamos en el estado n:

$P(X_{n+1}|X_n) \,$

Que es la probabilidad de transición del proceso. La propiedad de las cadenas de Márkov es que las transiciones entre los estados, sólo puede producirse entre estados vecinos. Sólo se puede llegar al estado i desde el estado i-1 ó bien de i+1.

Este tipo de estadística se suele encontrar en la distribución exponencial, cuya función de densidad de probabilidad se expresa así:

$f_ \tau (t) = \lambda e^{-\lambda t} \quad t>0$

Vamos a comprobar que un proceso definido por esta fdp no tiene memoria. La probabilidad de que haya una transición entre 0 y un tiempo t cualquiera es:

$P(0< \tau < t) = P( \tau < t) = \int_{0}^{t} \lambda e^{-\lambda \tau} \, d\tau$

Integrando obtenemos:

$P(\tau\ < t)=e^{-\lambda \cdot 0} - e^{-\lambda t} = 1 - e^{-\lambda t}$

Ahora vamos a calcular la probabilidad para el mismo intervalo t, pero con instante de inicio diferente t₀. Calcularemos la probabilidad de tener una transición en el intervalo t, (de t₀ hasta t₀+t) condicionado a que antes de t₀ no ha habido ninguna transición:

$P(t_0< \tau < t_0+t | \tau > t_0) = \frac{p(t_0< \tau < t_0+t)}{p(\tau > t_0)}$

Sustituyendo por las fdp y operando obtenemos:

$P(t_0< \tau < t_0+t | \tau > t_0) = \frac{\int_{t_0}^{t_0+t} \lambda e^{-\lambda \tau} \, d\tau}{\int_{t_0}^{\infty} \lambda e^{-\lambda \tau} \, d\tau} = \frac {e^{-\lambda t_0} - e^{-\lambda (t_0+t)}}{e^{-\lambda t_0} - e^{-\lambda \cdot \infty}} = \frac {e^{-\lambda t_0} (1 - e^{-\lambda t})}{e^{-\lambda t_0}-0} = 1 - e^{-\lambda t}$

Con lo que queda demostrado que la probabilidad de tener una transición en un estado, no depende del tiempo anterior.

Obtenido de "Propiedad de M%C3%A1rkov"