Cadenas de Markov (IV)

Si se regresa al ejemplo del inventario desarrollado en la sección anterior, es fácil ver que {Xt}, en donde Xt es el número de cámaras en el almacén al final de la semana t (antes de recibir el pedido), es una cadena de Markov. Se verá ahora cómo obtener las probabilidades de transición (de un paso), es decir, los elementos de la matriz de transición (de un paso)

Cadenas de Markov (III)

o, en forma equivalente,

Ahora es posible definir una cadena de Markov. Se dice que un proceso estocástico (X1) (t = 0,1,......) es una cadena de Markov de estado finito si tiene las siguientes caracteristicas.

1. Un número finito de estados
2. La propiedad markoviana
3. Probabilidad de transición estacionarias.
4. Un conjunto de probabilidades iniciales P{Xo = i} para toda i.

Cadenas de Markov (II)

Entonces se dice que las probabilidades de transición (de un paso) son estacionarias y por lo general se denotan por Pij. Así, tener probabilidades de transición estacionarias implica que las probabilidades de transición no cambian con el tiempo. La existencia de probabilidades de transición (de un paso) estacionarias también implica que, para cada i, j y n (n = 0, 1, 2, ....._.

Cadenas de Markov (I)

Es necesario hacer algunas suposiciones sobre la distribución conjunta de X0, X1, ....., para obtener resultados analíticos. Una suposición que conduce al manejo analítico es que el proceso estocástico es una cadena de Markov (que se definirá más adelante), que tiene la siguiente propiedad esencial: se dice que un proceso estocástico {X1} tiene la propiedad markoviana si

Procesos Estocásticos (II)

Como ejemplo, considérese el siguiente problema de inventarios. Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D1, D2,.....las demandas de esta camára durante la primera, segunda, ....., semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea Xo el número de cámaras que se tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras al final de la semana dos, etc. Supóngase que Xo = 3. El sábado en la noche la tienda hace un pedido que le entregan en el momento de abrir la tienda el lunes. La tienda usa la siguiente politica (s, S) para ordenar: si el número de cámaras en inventario al final de la semana es menor que s = 1 (no hay cámaras) ordena (hasta) S = 3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {Xt} para t = 0,1.... es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0,1,2,3 que se representan el número posible de cámaras en inventario al final de la semana. De hecho, es claro que las variables aleatorias Xt son dependientes y se pueden evaluar en forma iterativa por medio de la expresión

para t = 0, 1, 2,.... Este ejemplo se usará con propósitos ilustrativos a lo largo de muchas de las secciones que siguen. La sección 15.3 define con más detalle el tipo de procesos estocásticos que se analizarán en este capítulo.