Es un concepto matemático que
se utiliza para manejar
magnitudes aleatorias que varían
con el tiempo o para caracterizar
una sucesión de variables
aleatorias llamada estocásticas,
que evolucionan en función de
otra variable.
¿Qué es una cadena de Markov?
Es un concepto desarrollado dentro de
la teoría de la probabilidad y la
estadística que establece una fuerte
dependencia entre un evento y otro
suceso anterior. Su principal utilidad es
el análisis del comportamiento de
procesos estocásticos.
Clasificación de los estados de la cadena de Markov
Estado Accesible
Este estado tiene la característica de que se puede
alcanzar desde otro estado. Suponiendo que " i " y el
estado " j " están en un sistema, el estado " i " es
accesible si y sólo si puede se puede llegar a él por el " j
".
Comunicación
Se dice que un estado se comunica con otro si el estado " j " es accesible desde
el estado " i " y el estado " j " es accesible desde el estado " j ". Para que exista
comunicación entre estados se debe cumplir con algunas propiedades como:
Si el estado " j " se comunica con el estado " i ", entonces " i " se comunica con
el estado " j ". Si el estado " i " se comunica con el estado " j " y el estado " j "
se comunica con el estado " k ", entonces " i " se comunica con el estado "k".
Cualquier estado se comunica consigo mismo.
Estado Transitorio
Se dice que un estado es Transitorio cuando
un proceso pasa por un estado y este,
después de n pasos, ya no regresa a él. Esto
quiere decir que un estado " j " es alcanzable
desde un estado " i ", pero el estado " i " no
es alcanzable desde el estado " j ".
Estado Recurrente
Un estado es Recurrente en la medida que comenzando en
él se tenga la certeza de volver en algún momento del
tiempo (una determinada cantidad de etapas) sobre si
mismo. Si la cadena de Markov tiene una cantidad finita de
estados y se identifica un estado Recurrente, este será
Recurrente positivo. Si la cantidad de estados es infinito un
estado Recurrente será Recurrente nulo.
Estado Absorbente
Se dice que un estado es Absorbente si la
posibilidad de hacer una transición fuera de este
estado es cero. Por lo tanto, una vez que el
sistema hace una transición hacia un estado
Absorbente permanece en él, siempre.
Estado de Periodicidad
Un estado " i " es periódico con " k " >
1 si " k " es el menor número tal que
todas las trayectorias que parten del
estado " i " y regresan a él, tienen una
longitud múltiplo de cambio.
Probabilidad de Estado Estable
Significa que la probabilidad de encontrar
el proceso en cierto estado, digamos " i ",
después de un número grande de
transiciones tiene al valor " πj ", y es
independiente de la distribución de
probabilidad inicial definida por los
estados.
Matriz de transición de Markov
Una matriz estocástica (también denominada
matriz de probabilidad, matriz de transición,
matriz de sustitución o matriz de Markov) es una
matriz utilizada para describir las transiciones en
una cadena de Markov.
Probabilidad de Transición
En la teoría de los procesos estocásticos y, en particular, en la
teoría de las cadenas de Markov, se denomina probabilidad de
transición, Py, a la probabilidad de que estando el sistema en
el estado E¡ en el momento n pase al estado E¡ en el momento
n + 1.
Probabilidad Condicional
Una probabilidad que
depende de que alguna otra
cosa ocurra o no ocurra.
Propiedades de Markov
La propiedad de las cadenas de Márkov es
que las transiciones entre los estados, sólo
puede producirse entre estados vecinos.
Sólo se puede llegar al estado i desde el
estado i-1 ó bien de i+1.
Variables de Estado
Son las variables que caracterizan la situación en la
que se encuentra el sistema en un instante dado. Su
valor depende de las variables de decisión y los
parámetros.