viernes, 30 de noviembre de 2018

Tiempos de primera pasada Parte 2

Entonces se puede calcular la probabilidad de un tiempo de primera pasada del estado i al j en n pasos de manera recursiva a partir de las probabilidades de transición de un paso. En el ejemplo de inventarios, la distribución de probabilidad de los tiempos de primera pasada del estado 3 al estado 0 se obtiene como sigue:


jueves, 29 de noviembre de 2018

Tiempos de primera pasada

La sección 15.4 se dedicó a encontrar las probabilidades de transición de n pasos (esto es, dado que el proceso se encuentra en el estado i, determinar la probabilidad (condicional) de que el proceso se encuentre en el estado j después de n periodos). Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso ir de un estado i a un estado j por primera vez. Este lapso se llama tiempo de primera pasada al ir al estado i al estado j. Cuando j = i, este tiempo de primera pasada es justo el número de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primera pasada se llama tiempo  de recurrencia para el estado i.


lunes, 26 de noviembre de 2018

Clasificación de estados en una cadena de Markov Parte 7

Igual que la recurrencia es una propiedad de clase, se puede demostrar que la periodicidad también es una propiedad de clase. Esto es, si el estado i en una clase tiene periodo t, entonces todos los estados en esta clase tienen periodo t. En el ejemplo del jugador, el estado 2 también tiene periodo 2.

Una última propiedad de las cadenas de Márkov pertenece a una nueva clasificación de los estados recurrentes. Se dice que un estado recurrente i es recurrente positivo si, comenzando en el estado i, el tiempo esperado para que el proceso regrese al estado i es finito. De igual manera, un estado recurrente i, es recurrente nulo sí, comenzando en el estado i, el tiempo esperado para que el proceso regrese al estado i es infinito. Se puede demostrar que para una cadena de Márkov de estado finito todos los estados recurrentes son estados recurrentes positivos. Los estados recurrentes positivos que son aperiódicos se llaman estados ergódicos.

viernes, 23 de noviembre de 2018

Clasificación de estados en una cadena de Markov Parte 6

en donde el símbolo * representa números positivos. Esta intuitivamente evidente que una vez que el proceso se encuentra en el estado 0, regresará a cese estado (quizá pasando por estado 1) después de algún número de pasos. Un argumento similar es cierto también para el estado 1.

viernes, 16 de noviembre de 2018

Clasificación de estados en una cadena de Markov Parte 2

Como resultado de estas propiedades de comunicación, se puede hacer una partición del espacio de estados en clases ajenas, en donde se dice que dos estados que se comunican pertenecen a la misma clase. Así,  los estados de una cadena de Márkov pueden constituir una o más clases ajenas (una clase puede constituir en un solo estado). Si existe sólo una clase, es decir, si todos los estados se comunican, se dice que la cadena de Márkov es irreducible. En el ejemplo de inventarios, la cadena de Márkov es irreducible. En el primer ejemplo de las acciones, la cadena de Márkov es irreducible. El ejemplo del juego contiene tres clases; el estado 0 forma una clase, el estado 3 forma una clase y los estados 1 y 2 forman una clase.

martes, 13 de noviembre de 2018

Ecuaciones de Chapman-Kolmogorov Parte 2

Entonces, la matriz de probabilidades de transición de n pasos se puede obtener calculando la n-ésima potencia de la matriz de transición de un paso. Para valores no muy grandes de n, la matriz de transición de n pasos  se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales cálculos resultan tediosos y, más aún, los errores de redondeo pueden causar inexactitudes.

De nuevo en el ejemplo de inventarios, la matriz de transición de dos pasos esta dada por:


viernes, 9 de noviembre de 2018

Cadenas de Markov (VII)

Se verificará un renglón de la matriz, por ejemplo, el segundo. Este corresponde al estado 1, que representa el que la acción subió hoy pero ayer bajó. El primer elemento en el renglón representa la probabilidad de que la acción suba mañana, habiendo subido hoy y dado que subió hoy pero bajó ayer. Esto es justo la probabilidad de que la acción suba mañana dado que subió hoy pero bajó ayer, es decir, 0.6. De igual manera, el tercer elemento en el renglón representa la probabilidad de que la acción baje mañana habiendo subido hoy y dado que subió hoy pero bajó ayer, es decir, 0.4. Los otros dos elementos son cero ya que pertenecen a eventos contradictorios, esto es, corresponden a instancias en las que la acción bajó hoy.

Otro ejemplo es el juego. Supóngase que un jugador tiene $1 y que cada jugada gana un dólar con probabilidad p o pierde un dólar con probabilidad 1 - p. El juego termina cuando el jugador acumula $3 o bien cuando quiebra. Este modelo es una cadena de Márkov en la que los estados representan la fortuna del jugador, esto es, 0, $1, $2, o $3, y con matriz de transición dada por 



Nótese que tanto en ejemplo de inventario como en el del jugador, las etiquetas numéricas de los estados que alcanza el proceso coinciden con la expresión física del sistema -es decir, los niveles de inventario real y la fortuna del jugador, respectivamente- mientras que las etiquetas numéricas de los estados en el ejemplo de la acción representan una convención de notación.