Clasificación de estados en una cadena de Markov Parte 1

Ecuaciones de Chapman-Kolmogorov Parte 3

Ecuaciones de Chapman-Kolmogorov Parte 2

Entonces, la matriz de probabilidades de transición de n pasos se puede obtener calculando la n-ésima potencia de la matriz de transición de un paso. Para valores no muy grandes de n, la matriz de transición de n pasos  se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales cálculos resultan tediosos y, más aún, los errores de redondeo pueden causar inexactitudes.

De nuevo en el ejemplo de inventarios, la matriz de transición de dos pasos esta dada por:

Ecuaciones de Chapman-Kolmogorov Parte 1

 

Cadenas de Markov (VII)

Se verificará un renglón de la matriz, por ejemplo, el segundo. Este corresponde al estado 1, que representa el que la acción subió hoy pero ayer bajó. El primer elemento en el renglón representa la probabilidad de que la acción suba mañana, habiendo subido hoy y dado que subió hoy pero bajó ayer. Esto es justo la probabilidad de que la acción suba mañana dado que subió hoy pero bajó ayer, es decir, 0.6. De igual manera, el tercer elemento en el renglón representa la probabilidad de que la acción baje mañana habiendo subido hoy y dado que subió hoy pero bajó ayer, es decir, 0.4. Los otros dos elementos son cero ya que pertenecen a eventos contradictorios, esto es, corresponden a instancias en las que la acción bajó hoy.

Otro ejemplo es el juego. Supóngase que un jugador tiene $1 y que cada jugada gana un dólar con probabilidad p o pierde un dólar con probabilidad 1 - p. El juego termina cuando el jugador acumula $3 o bien cuando quiebra. Este modelo es una cadena de Márkov en la que los estados representan la fortuna del jugador, esto es, 0, $1, $2, o $3, y con matriz de transición dada por 

Nótese que tanto en ejemplo de inventario como en el del jugador, las etiquetas numéricas de los estados que alcanza el proceso coinciden con la expresión física del sistema -es decir, los niveles de inventario real y la fortuna del jugador, respectivamente- mientras que las etiquetas numéricas de los estados en el ejemplo de la acción representan una convención de notación.

Cadenas de Markov (VI)

Supóngase ahora que el modelo del mercado de acciones se cambia; el que una acción suba o no mañana depende de si subió o no hoy y ayer. En particular, si la acción subió los dos días, la probabilidad de que suba mañana es 0.9. Si la acción subió hoy pero ayer bajó, mañana subirá con probabilidad de 0.6. Si la acción bajó hoy pero ayer subió, entonces mañana subirá con probabilidad de 0.5. Por último, si bajó los dos días, la probabilidad de que mañana suba es 0.3. Si se define el estado como el hecho de que la acción baje o suba, el sistema ya no se puede representar como una cadena de Markov. Sin embargo, se puede transformar en una si se definen los estados como sigue:

Estado 0: la acción aumentó hoy y ayer.
Estado 1: la acción aumentó hoy pero ayer bajó.
Estado 2: la acción bajó hoy pero ayer aumento.
Estado 3: la acción bajó hoy y ayer

Esto conduce a una cadena de Markov de cuatro estados con la siguiente matriz de transición:

Cadenas de Markov (V)

Se darán algunos otros ejemplos de cadenas de Markov: Considérese el siguiente modelo para el valor de una acción. Al final de un día dado, se registra el precio. Si la acción subió, la probabilidad de que suba mañana es 0.7. Si la acción bajó, la probabilidad de que suba mañana es sólo 0.5. Esta es una cadena de Markov, en donde el estado 0 representa que el precio de la acción sube y el estado 1 representa que baja. La matriz de transición está dada por