1. Un conjunto finito de M estados,
exhaustivos y mutuamente excluyentes
(ejemplo: estados de la enfermedad)
2. Ciclo de Markov (“paso”) : periodo de tiempo que
sirve de base para examinar las transiciones entre
estados (ejemplo, un mes)
3. Probabilidades de transición
entre estados, en un ciclo
(matriz P)
4. Distribución inicial del
sistema entre los M estados
posibles.
PROPIEDADES
Propiedad Markoviana
Las probabilidades son estacionarias
Conjunto de probabilidades iniciales
Matriz de transición
TIPOS DE ESTADOS
Irreducible
Una Cadena de Markov donde todos sus estados son
accesibles entre sí y por tanto se comunican se dice que
es irreducible, es decir, que existe una única clase de
estados.
Absorbentes
Existen 2 clases o más estados la cadena ya no es irreducible. Si
tenemos 2 estados que no se comunican (esto porque no son
accesibles viceversa) estos estados pertenecerán a distintas clases de
estados.
Transitorio
Es cuando un estado i pasa a un estado j y nunca
más vuelve al original o no es accesible desde j.
Estable
Es cuando llega a un periodo de tiempo en el cual la variable
aleatoria se vuelve casi independiente de los eventos
anteriores.
DEFINICIÓN
Las cadenas de Markov son modelos probabilísticos que se
usan para predecir la evolución y el comportamiento a
corto y largo plazo de determinados sistemas.
Proceso estocástico con un número finito de estados con probabilidades
de transición estacionarias, es decir, si se conoce la historia del sistema
hasta su instante actual, su estado presente resume toda la información
relevante para describir en probabilidad su estado futuro.