1. Un conjunto
finito de M
estados,
exhaustivos y
mutuamente
excluyentes
2. Ciclo de Markov
(“paso”) : periodo
de tiempo que
sirve de base para
examinar las
transiciones entre
estados
3. Probabilidades
de transición
entre estados, en
un ciclo (matriz P)
4. Distribución
inicial del
sistema entre
los M estados
posibles.
PROPIEDADES
Propiedad Markoviana
Un proceso estocastico tiene esta
propiedad si las probabilidades de
transicion en un paso solo depende del
estado en el sistema en el periodo
anterior (memoria limitada)
Las probabilidades
son estacionarias
Conjunto de
probabilidades iniciales
Matriz de transición
TIPOS DE
ESTADOS
Irreducible
Una Cadena de Markov
donde todos sus estados
son accesibles entre sí y por
tanto se comunican se dice
que es irreducible, es decir,
que existe una única clase
de estados.
Absorbentes
Existen 2 clases o más estados la
cadena ya no es irreducible. Si tenemos
2 estados que no se comunican (esto
porque no son accesibles viceversa)
estos estados pertenecerán a distintas
clases de estados.
DEFINICIÓN
Las cadenas de
Markov son modelos
probabilísticos que se
usan para predecir la
evolución y el
comportamiento a
corto y largo plazo de
determinados
sistemas.