CADENA DE MARKOV
62 views | +0 today
Follow
Your new post is loading...
Your new post is loading...
Scooped by Rodolfo Gonzalez Valencia
Scoop.it!

Probabilidad de transición

Probabilidad de transición | CADENA DE MARKOV | Scoop.it

CADENAS DE MARKOV
4.8 Probabilidad de transición estacionarias de estados estables.
Teorema
Sea P la matriz de transición de una cadena de M estados . Existe entonces un vector tal que
Se establece que para cualquier estado inicial i , .
El vector a menudo se llama distribución de estado estable, o también distribución de equilibrio para la cadena de Markov. Para encontrar la distribución de probabilidades de estacionario para una cadena dada cuya matriz de transición es P, según el teorema, para n grande y para toda i , (1)
Como Pij (n + 1) = ( renglón i de Pn )(columna j de P), podemos escribir
(2)
Ejemplo :
Suponga que toda la industria de refrescos produce dos colas. Cuando una persona ha comprado la cola 1, hay una probabilidad de 90 % de que su siguiente compra se de cola 1. Si una persona compró cola 2, hay un 80 % de probabilidades que su próxima compra sea de cola 2.
Entonces :
Al reemplazar la segunda ecuación por la condición ,
obtenemos el sistema
Al despejar resulta que Por lo tanto, después de largo tiempo, hay probabilidad 2/3 de que una persona dada compre cola 1 y 1/3 de probabilidad de que una persona compre cola 2.
Tiempos de primer paso.
Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades sobre el número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez . este lapso se llama tiempos de primer paso al ir del estado i al estado j. cuando J=i, esta tiempo de primer paso es justo el número de transiciones hasta que el proceso regresa al estado inicial i. En este caso, el tiempo de primer paso se llama tiempo de recurrencia para el estado i.
Para ilustrar estas definiciones, reconsidérese el ejemplo siguiente :
Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D1, D2, … las demandas de esta cámara durante la primera, segunda, … , semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X0 el número de cámaras que se tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras al final de la semana dos, etc. Suponga que X0 = 3 . El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política ( s, S)1 para ordenar : si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana.
Donde Xt es el número de cámaras en inventario al final de la semana t y se comienza con , Suponga que ocurrió lo siguiente:
En este caso, el tiempo de primer paso para ir al estado 3 al estado 1 es dde 2 semanas, el tiempo de primer paso para ir del estado 3 al estado 0 es de 3 semanas y el tiempo de recurrencia del estado 3 es de 4 semanas.
En general, los tiempos de primer paso son variables aleatorias y, por lo tanto, tienen una distribución de probabilidad asociada a ellos. Estas distribuciones de probabilidad dependen de las probabilidades de transición del proceso. En particular, denota la probabilidad de que el tiempo de primer paso del estado i al j sea igual a n. Se puede demostrar que estas probabilidades satisfacen las siguientes relaciones recursivas:
Entonces se puede calcular la probabilidad de un tiempo de primer paso del estado i al j en n pasos, de manera recursiva, a partir de las probabilidades de transición de un paso. En el ejemplo, la distribución de probabilidad de los tiempos de primer paso del estado 3 al estado 0 se obtiene como sigue:
Para i y j fijos, las son números no negativos tales que
Esta suma puede ser menor que 1, lo que significa que un proceso que el iniciar se encuentra en el estado i puede no llegar nunca al estado j . Cuando la suma es igual a 1, las pueden considerarse como una distribución de probabilidad para la variable aleatoria, el tiempo de primer paso.
Para obtener el tiempo esperado de primer paso del estado i al estado j. Sea , que se define como:
entonces satisface, de manera única, la ecuación:
Cuando i=j, se llama tiempo esperado de recurrencia.
Al aplicarlo al ejemplo del inventario, estas ecuaciones se pueden usar para calcular el tiempo esperado hasta que ya no se tengan cámaras en el almacén, suponiendo que el proceso inicia cuando se tienen tres cámaras; es decir, se puede obtener el tiempo esperado de primer paso . Como todos los estados son recurrentes, el sistema de ecuaciones conduce a las expresiones
La solución simultánea de este sistema es
De manera que el tiempo esperado hasta que la tienda se queda sin cámaras es de 3.50 semanas.
Caso de Aplicación.

 

more...
No comment yet.
Scooped by Rodolfo Gonzalez Valencia
Scoop.it!

CADENAS DE MARKOV

CADENAS DE MARKOV | CADENA DE MARKOV | Scoop.it

CADENAS DE MARKOV
4.6 Probabilidad de transición estacionaria de n pasos.
Las ecuaciones de Chapman-Kolmogorov proporcionan un método para calcular estas probabilidades de transición de n pasos :
Estas ecuaciones simplemente señalan que al ir de un estado i al estado j en n pasos, el proceso estará en algún estado k después de exactamente m ( menor que n) pasos. Así,
Es solo las probabilidad condicional de que, si se comienza en el estado i, el proceso vaya al estado k despues de m pasos y después al estado j en n- m pasos.
Los casos especiales de m=1 y m=n-1 conducen a las expresiones
Para toda i, j, y n de lo cual resulta que las probabilidades de transición de n pasos se pueden obtener a partir de las probabilidades de transición de un paso de manera recursiva. Para n=2, estas expresiones se vuelven :
Note que las son los elementos de la matriz P(2) , pero también debe de observarse que estos elementos, se obtienen multiplicando la matriz de transición de un paso por sí misma; esto es , P(2) = P * P = P2 .
En términos más generales, se concluye que la matriz de probabilidades de transición de n pasos se puede obtener de la expresión : P(n) = P * P …. P = Pn = PPn−1 = Pn-1 P.
Entonces, la matriz de probabilidades de transición de n pasos se puede obtener calculando la n-ésima potencia de la matriz de transición de un paso. Para valores no muy grandes de n, la matriz de transición de n pasos se puede calcular en la forma que se acaba de describir, pero cuando n es grande, tales cálculos resultan tediosos y, más aún, los errores de redondeo pueden causar inexactitudes.
Ejemplo :
Una tienda de cámaras tiene en almacén un modelo especial de cámara que se puede ordenar cada semana. Sean D1, D2, … las demandas de esta cámara durante la primera, segunda, … , semana, respectivamente. Se supone que las Di son variables aleatorias independientes e idénticamente distribuidas que tienen una distribución de probabilidad conocida. Sea X0 el número de cámaras que se tiene en el momento de iniciar el proceso, X1 el número de cámaras que se tienen al final de la semana uno, X2 el número de cámaras al final de la semana dos, etc. Suponga que X0 = 3 . El sábado en la noche la tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política ( s, S)1 para ordenar : si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana.
Así, dado que tiene una cámara al final de una semana, la probabilidad de que no haya cámaras en inventario dos semanas después es 0.283; es decir, De igual manera, dado que se tienen dos cámaras al final de una semana, la probabilidad de que haya tres cámaras en el almacén dos semanas después es 0.097; esto es,
La matriz de transición de cuatro pasos también se puede obtener de la siguiente manera :
P(4) = P4 = P(2) * P(2)
Así, dado que queda una cámara al final de una semana, 0.282 es la probabilidad de que no haya cámaras en inventario 4 semanas más tarde; es decir, De igual manera, dado que quedan dos cámaras en el almacén final de una semana, se tiene una probabilidad de 0.171 de que haya tres cámaras en el almacén 4 semanas después; esto es,

 

more...
No comment yet.