lunes, 5 de julio de 2021

Propiedades a largo plazo de las cadenas de Markov - Probabilidades de estado estable II

 El término probabilidad de estado estable significa que la probabilidad de encontrar el proceso en cierto estado, por ejemplo j después de un número grande de transiciones, tiende al valor 𝛑j, y es independiente de la distribuación de probabilidad inicial definida para los estados. Es importante hacer notar que la probabilidad de estado estable no significa que el procesose establezca en un estado. Por el contrario, el proceso continúa haciendo transiciones de un estado a otro y en cualquier paso n la probabilidad de transición del estado i al estado j es todavía Pij.



lunes, 3 de diciembre de 2018

Propiedades a largo plazo de las cadenas de Markov

Probabilidades de estado estable

En la sección 15.4 se obtuvo la matriz de transición de cuatro pasos para el ejemplo de inventarios. En este momento conviene examinar las probabilidades de transición de ocho pasos dadas por la matriz:

ES notorio el hecho de que cada uno de los cuatro renglones tiene elementos idénticos. Esto significa que la probabilidad de estar en el estado j después de ocho semanas parece ser independiente del nivel de inventario inicial. En otras palabras, aparentemente existe una probabilidad límite de que el sistema se encuentre en el estado j después de un número grande de transiciones, y esta probabilidad es independiente del estado inicial. En seguida se presenta un resultado importante relacionado con el comportamiento a largo plazo de un proceso Márkov de estados finitos.


viernes, 30 de noviembre de 2018

Tiempos de primera pasada Parte 2

Entonces se puede calcular la probabilidad de un tiempo de primera pasada del estado i al j en n pasos de manera recursiva a partir de las probabilidades de transición de un paso. En el ejemplo de inventarios, la distribución de probabilidad de los tiempos de primera pasada del estado 3 al estado 0 se obtiene como sigue:


jueves, 29 de noviembre de 2018

Tiempos de primera pasada

La sección 15.4 se dedicó a encontrar las probabilidades de transición de n pasos (esto es, dado que el proceso se encuentra en el estado i, determinar la probabilidad (condicional) de que el proceso se encuentre en el estado j después de n periodos). Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso ir de un estado i a un estado j por primera vez. Este lapso se llama tiempo de primera pasada al ir al estado i al estado j. Cuando j = i, este tiempo de primera pasada es justo el número de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primera pasada se llama tiempo  de recurrencia para el estado i.


lunes, 26 de noviembre de 2018

Clasificación de estados en una cadena de Markov Parte 7

Igual que la recurrencia es una propiedad de clase, se puede demostrar que la periodicidad también es una propiedad de clase. Esto es, si el estado i en una clase tiene periodo t, entonces todos los estados en esta clase tienen periodo t. En el ejemplo del jugador, el estado 2 también tiene periodo 2.

Una última propiedad de las cadenas de Márkov pertenece a una nueva clasificación de los estados recurrentes. Se dice que un estado recurrente i es recurrente positivo si, comenzando en el estado i, el tiempo esperado para que el proceso regrese al estado i es finito. De igual manera, un estado recurrente i, es recurrente nulo sí, comenzando en el estado i, el tiempo esperado para que el proceso regrese al estado i es infinito. Se puede demostrar que para una cadena de Márkov de estado finito todos los estados recurrentes son estados recurrentes positivos. Los estados recurrentes positivos que son aperiódicos se llaman estados ergódicos.

viernes, 23 de noviembre de 2018

Clasificación de estados en una cadena de Markov Parte 6

en donde el símbolo * representa números positivos. Esta intuitivamente evidente que una vez que el proceso se encuentra en el estado 0, regresará a cese estado (quizá pasando por estado 1) después de algún número de pasos. Un argumento similar es cierto también para el estado 1.