Propiedades a largo plazo de las cadenas de Markov - Probabilidades de estado estable III

 Nuevamente en el ejemplo de inventarios, las ecuaciones de estado estable se pueden expresar como: 

Este resultado significa que la probabilidad de encontrar el proceso en un estado transitorio después de un número grande de transiciones es cero.

Propiedades a largo plazo de las cadenas de Markov - Probabilidades de estado estable II

 El término probabilidad de estado estable significa que la probabilidad de encontrar el proceso en cierto estado, por ejemplo j después de un número grande de transiciones, tiende al valor 𝛑j, y es independiente de la distribuación de probabilidad inicial definida para los estados. Es importante hacer notar que la probabilidad de estado estable no significa que el procesose establezca en un estado. Por el contrario, el proceso continúa haciendo transiciones de un estado a otro y en cualquier paso n la probabilidad de transición del estado i al estado j es todavía Pij.

Propiedades a largo plazo de las cadenas de Markov

Probabilidades de estado estable

En la sección 15.4 se obtuvo la matriz de transición de cuatro pasos para el ejemplo de inventarios. En este momento conviene examinar las probabilidades de transición de ocho pasos dadas por la matriz:

ES notorio el hecho de que cada uno de los cuatro renglones tiene elementos idénticos. Esto significa que la probabilidad de estar en el estado j después de ocho semanas parece ser independiente del nivel de inventario inicial. En otras palabras, aparentemente existe una probabilidad límite de que el sistema se encuentre en el estado j después de un número grande de transiciones, y esta probabilidad es independiente del estado inicial. En seguida se presenta un resultado importante relacionado con el comportamiento a largo plazo de un proceso Márkov de estados finitos.

Tiempos de primera pasada Parte 3

Tiempos de primera pasada Parte 2

Entonces se puede calcular la probabilidad de un tiempo de primera pasada del estado i al j en n pasos de manera recursiva a partir de las probabilidades de transición de un paso. En el ejemplo de inventarios, la distribución de probabilidad de los tiempos de primera pasada del estado 3 al estado 0 se obtiene como sigue:

Tiempos de primera pasada

La sección 15.4 se dedicó a encontrar las probabilidades de transición de n pasos (esto es, dado que el proceso se encuentra en el estado i, determinar la probabilidad (condicional) de que el proceso se encuentre en el estado j después de n periodos). Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso ir de un estado i a un estado j por primera vez. Este lapso se llama tiempo de primera pasada al ir al estado i al estado j. Cuando j = i, este tiempo de primera pasada es justo el número de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primera pasada se llama tiempo  de recurrencia para el estado i.

Clasificación de estados en una cadena de Markov Parte 7

Igual que la recurrencia es una propiedad de clase, se puede demostrar que la periodicidad también es una propiedad de clase. Esto es, si el estado i en una clase tiene periodo t, entonces todos los estados en esta clase tienen periodo t. En el ejemplo del jugador, el estado 2 también tiene periodo 2.

Una última propiedad de las cadenas de Márkov pertenece a una nueva clasificación de los estados recurrentes. Se dice que un estado recurrente i es recurrente positivo si, comenzando en el estado i, el tiempo esperado para que el proceso regrese al estado i es finito. De igual manera, un estado recurrente i, es recurrente nulo sí, comenzando en el estado i, el tiempo esperado para que el proceso regrese al estado i es infinito. Se puede demostrar que para una cadena de Márkov de estado finito todos los estados recurrentes son estados recurrentes positivos. Los estados recurrentes positivos que son aperiódicos se llaman estados ergódicos.

Clasificación de estados en una cadena de Markov Parte 6

en donde el símbolo * representa números positivos. Esta intuitivamente evidente que una vez que el proceso se encuentra en el estado 0, regresará a cese estado (quizá pasando por estado 1) después de algún número de pasos. Un argumento similar es cierto también para el estado 1.

Clasificación de estados en una cadena de Markov Parte 5

Clasificación de estados en una cadena de Markov Parte 4

Clasificación de estados en una cadena de Markov Parte 3

Clasificación de estados en una cadena de Markov Parte 2

Como resultado de estas propiedades de comunicación, se puede hacer una partición del espacio de estados en clases ajenas, en donde se dice que dos estados que se comunican pertenecen a la misma clase. Así,  los estados de una cadena de Márkov pueden constituir una o más clases ajenas (una clase puede constituir en un solo estado). Si existe sólo una clase, es decir, si todos los estados se comunican, se dice que la cadena de Márkov es irreducible. En el ejemplo de inventarios, la cadena de Márkov es irreducible. En el primer ejemplo de las acciones, la cadena de Márkov es irreducible. El ejemplo del juego contiene tres clases; el estado 0 forma una clase, el estado 3 forma una clase y los estados 1 y 2 forman una clase.

Clasificación de estados en una cadena de Markov Parte 1

Ecuaciones de Chapman-Kolmogorov Parte 3

Ecuaciones de Chapman-Kolmogorov Parte 2

Entonces, la matriz de probabilidades de transición de n pasos se puede obtener calculando la n-ésima potencia de la matriz de transición de un paso. Para valores no muy grandes de n, la matriz de transición de n pasos  se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales cálculos resultan tediosos y, más aún, los errores de redondeo pueden causar inexactitudes.

De nuevo en el ejemplo de inventarios, la matriz de transición de dos pasos esta dada por:

Ecuaciones de Chapman-Kolmogorov Parte 1

 

Cadenas de Markov (VII)

Se verificará un renglón de la matriz, por ejemplo, el segundo. Este corresponde al estado 1, que representa el que la acción subió hoy pero ayer bajó. El primer elemento en el renglón representa la probabilidad de que la acción suba mañana, habiendo subido hoy y dado que subió hoy pero bajó ayer. Esto es justo la probabilidad de que la acción suba mañana dado que subió hoy pero bajó ayer, es decir, 0.6. De igual manera, el tercer elemento en el renglón representa la probabilidad de que la acción baje mañana habiendo subido hoy y dado que subió hoy pero bajó ayer, es decir, 0.4. Los otros dos elementos son cero ya que pertenecen a eventos contradictorios, esto es, corresponden a instancias en las que la acción bajó hoy.

Otro ejemplo es el juego. Supóngase que un jugador tiene $1 y que cada jugada gana un dólar con probabilidad p o pierde un dólar con probabilidad 1 - p. El juego termina cuando el jugador acumula $3 o bien cuando quiebra. Este modelo es una cadena de Márkov en la que los estados representan la fortuna del jugador, esto es, 0, $1, $2, o $3, y con matriz de transición dada por 

Nótese que tanto en ejemplo de inventario como en el del jugador, las etiquetas numéricas de los estados que alcanza el proceso coinciden con la expresión física del sistema -es decir, los niveles de inventario real y la fortuna del jugador, respectivamente- mientras que las etiquetas numéricas de los estados en el ejemplo de la acción representan una convención de notación.

Cadenas de Markov (VI)

Supóngase ahora que el modelo del mercado de acciones se cambia; el que una acción suba o no mañana depende de si subió o no hoy y ayer. En particular, si la acción subió los dos días, la probabilidad de que suba mañana es 0.9. Si la acción subió hoy pero ayer bajó, mañana subirá con probabilidad de 0.6. Si la acción bajó hoy pero ayer subió, entonces mañana subirá con probabilidad de 0.5. Por último, si bajó los dos días, la probabilidad de que mañana suba es 0.3. Si se define el estado como el hecho de que la acción baje o suba, el sistema ya no se puede representar como una cadena de Markov. Sin embargo, se puede transformar en una si se definen los estados como sigue:

Estado 0: la acción aumentó hoy y ayer.
Estado 1: la acción aumentó hoy pero ayer bajó.
Estado 2: la acción bajó hoy pero ayer aumento.
Estado 3: la acción bajó hoy y ayer

Esto conduce a una cadena de Markov de cuatro estados con la siguiente matriz de transición:

Cadenas de Markov (V)

Se darán algunos otros ejemplos de cadenas de Markov: Considérese el siguiente modelo para el valor de una acción. Al final de un día dado, se registra el precio. Si la acción subió, la probabilidad de que suba mañana es 0.7. Si la acción bajó, la probabilidad de que suba mañana es sólo 0.5. Esta es una cadena de Markov, en donde el estado 0 representa que el precio de la acción sube y el estado 1 representa que baja. La matriz de transición está dada por

Cadenas de Markov (IV)

Si se regresa al ejemplo del inventario desarrollado en la sección anterior, es fácil ver que {Xt}, en donde Xt es el número de cámaras en el almacén al final de la semana t (antes de recibir el pedido), es una cadena de Markov. Se verá ahora cómo obtener las probabilidades de transición (de un paso), es decir, los elementos de la matriz de transición (de un paso)