1. Un conjunto
finito de M
estados,
exhaustivos y
mutuamente
excluyentes
2. Ciclo de Markov
(“paso”) : periodo
de tiempo que
sirve de base para
examinar las
transiciones entre
estados
3. Probabilidades
de transición
entre estados, en
un ciclo (matriz P)
4. Distribución
inicial del
sistema entre
los M estados
posibles.
PROPIEDADES
Propiedad Markoviana
Un proceso estocastico tiene esta
propiedad si las probabilidades de
transicion en un paso solo depende
del estado en el sistema en el periodo
anterior (memoria limitada)
Las probabilidades
son estacionarias
Conjunto de
probabilidades iniciales
Matriz de transición
TIPOS DE ESTADOS
Irreducible
Una Cadena de Markov
donde todos sus estados
son accesibles entre sí y por
tanto se comunican se dice
que es irreducible, es decir,
que existe una única clase
de estados.
Absorbentes
Existen 2 clases o más estados la
cadena ya no es irreducible. Si
tenemos 2 estados que no se
comunican (esto porque no son
accesibles viceversa) estos estados
pertenecerán a distintas clases de
estados.
DEFINICIÓN
Las cadenas de
Markov son modelos
probabilísticos que se
usan para predecir la
evolución y el
comportamiento a
corto y largo plazo de
determinados
sistemas.