lunes, 3 de diciembre de 2018

Propiedades a largo plazo de las cadenas de Markov

Probabilidades de estado estable

En la sección 15.4 se obtuvo la matriz de transición de cuatro pasos para el ejemplo de inventarios. En este momento conviene examinar las probabilidades de transición de ocho pasos dadas por la matriz:

ES notorio el hecho de que cada uno de los cuatro renglones tiene elementos idénticos. Esto significa que la probabilidad de estar en el estado j después de ocho semanas parece ser independiente del nivel de inventario inicial. En otras palabras, aparentemente existe una probabilidad límite de que el sistema se encuentre en el estado j después de un número grande de transiciones, y esta probabilidad es independiente del estado inicial. En seguida se presenta un resultado importante relacionado con el comportamiento a largo plazo de un proceso Márkov de estados finitos.


viernes, 30 de noviembre de 2018

Tiempos de primera pasada Parte 2

Entonces se puede calcular la probabilidad de un tiempo de primera pasada del estado i al j en n pasos de manera recursiva a partir de las probabilidades de transición de un paso. En el ejemplo de inventarios, la distribución de probabilidad de los tiempos de primera pasada del estado 3 al estado 0 se obtiene como sigue:


jueves, 29 de noviembre de 2018

Tiempos de primera pasada

La sección 15.4 se dedicó a encontrar las probabilidades de transición de n pasos (esto es, dado que el proceso se encuentra en el estado i, determinar la probabilidad (condicional) de que el proceso se encuentre en el estado j después de n periodos). Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso ir de un estado i a un estado j por primera vez. Este lapso se llama tiempo de primera pasada al ir al estado i al estado j. Cuando j = i, este tiempo de primera pasada es justo el número de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primera pasada se llama tiempo  de recurrencia para el estado i.


lunes, 26 de noviembre de 2018

Clasificación de estados en una cadena de Markov Parte 7

Igual que la recurrencia es una propiedad de clase, se puede demostrar que la periodicidad también es una propiedad de clase. Esto es, si el estado i en una clase tiene periodo t, entonces todos los estados en esta clase tienen periodo t. En el ejemplo del jugador, el estado 2 también tiene periodo 2.

Una última propiedad de las cadenas de Márkov pertenece a una nueva clasificación de los estados recurrentes. Se dice que un estado recurrente i es recurrente positivo si, comenzando en el estado i, el tiempo esperado para que el proceso regrese al estado i es finito. De igual manera, un estado recurrente i, es recurrente nulo sí, comenzando en el estado i, el tiempo esperado para que el proceso regrese al estado i es infinito. Se puede demostrar que para una cadena de Márkov de estado finito todos los estados recurrentes son estados recurrentes positivos. Los estados recurrentes positivos que son aperiódicos se llaman estados ergódicos.

viernes, 23 de noviembre de 2018

Clasificación de estados en una cadena de Markov Parte 6

en donde el símbolo * representa números positivos. Esta intuitivamente evidente que una vez que el proceso se encuentra en el estado 0, regresará a cese estado (quizá pasando por estado 1) después de algún número de pasos. Un argumento similar es cierto también para el estado 1.