UNIVERSIDAD VERACRUZANA ´ FACULTAD DE MATEMATICAS

Cadenas de Markov desde un punto de vista de Aplicaciones. TESIS Que para aprobar la Experiencia Educativa Experiencia Recepcional

Correspondiente al Plan de Estudios de la Licenciatura en Matem´ aticas P R E S E N T A:

Jos´ e Salas Mart´ınez. DIRECTORES DE TESIS:

Dr. Raquiel Rufino L´ opez Mart´ınez. Dr. Francisco Sergio Salem Silva.

Diciembre 2013

Xalapa-Enr´ıquez, Ver. M´exico

´Indice general Introducci´ on. 1. Conceptos B´ asicos. 1.1. Probabilidad . . . . . . . 1.2. Probabilidad condicional. 1.3. F´ormula de Bayes. . . . 1.4. Procesos Estoc´asticos. .

V

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

1 1 3 5 9

2. Cadenas de Markov. 2.1. Definici´on y Propiedad de Markov. . . . . . . . . . . . . 2.2. Matriz de Transici´on. . . . . . . . . . . . . . . . . . . . . 2.3. Transici´on de m pasos. . . . . . . . . . . . . . . . . . . . 2.4. Distribuci´on Inicial. . . . . . . . . . . . . . . . . . . . . . 2.5. Distribuci´on Estacionaria. . . . . . . . . . . . . . . . . . 2.6. Distribuci´on L´ımite. . . . . . . . . . . . . . . . . . . . . 2.7. Periodicidad. . . . . . . . . . . . . . . . . . . . . . . . . 2.8. Teorema de la Convergencia. . . . . . . . . . . . . . . . . 2.9. Cadenas doblemente estoc´asticas. . . . . . . . . . . . . . 2.10. Cadenas de Tiempo Continuo. . . . . . . . . . . . . . . . 2.10.1. Proceso de Poisson. . . . . . . . . . . . . . . . . . 2.10.2. Una Cadena de Markov Continua de dos Estados.

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

. . . . . . . . . . . .

11 11 14 18 22 23 27 30 34 37 38 38 42

. . . . . . . .

45 45 46 48 49 49 50 50 51

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

. . . .

3. Aplicaciones. 3.1. Cadena del Monopoly. . . . . . . . . . 3.1.1. Matriz de Transici´on. . . . . . . 3.1.2. Distribuci´on Estacionaria. . . . 3.1.3. Distribuci´on L´ımite. . . . . . . 3.2. Cadena de Tiempo (Clima). . . . . . . 3.2.1. Funci´on de Transici´on para Xn . 3.2.2. Distribuci´on de Xn . . . . . . . . 3.2.3. Simulaci´on en EXCEL. . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

Conclusiones.

57

Bibliograf´ıa

58

iii

Introducci´ on. Los conceptos b´asicos de las cadenas de Markov fueron introducidos por Andrew A. Markov durante 1907, a partir del trabajo de Markov es cuando se inicia formalmente el desarrollo de los procesos estoc´asticos. Weiner durante 1923 fue el primero en tratar rigurosamente el caso continuo de la cadena de Markov y fue Kolmogorov durante los a˜ nos 30’s quien desarroll´o la teor´ıa general de los procesos estoc´asicos. A partir de este momento un gran n´ umero de matem´aticos se involucran d´andole un gran auge. La importancia de estudiar las cadenas como un estudio de variables aleatorias es que una gran cantidad de aplicaciones tienen la propiedad de Markov, esto dio lugar a una gran cantidad de investigaciones en la teor´ıa de los procesos estoc´asticos [1, 9]. Las cadenas de Markov son u ´ tiles en ciertas ramas de la F´ısica como lo son la Termodin´amica, en Meteorolog´ıa ayuda a tener predicciones m´as acertadas en el cambio del tiempo de un d´ıa a otro, en Ciencias Biol´ogicas se explican modelos Epidemiol´ogicos, en Teor´ıa de juegos, Finanzas, Ciencias Sociales, Estad´ıstica y Matem´aticas [7, 8]. El concepto de Cadena de Markov fue sin duda una de las contribuciones m´as grandes de Andrew, y ha sido reconocida durante el paso del tiempo. Este trabajo tiene tres prop´ositos importantes: primero es el estudio de las Cadenas de Markov mediante el estudio de la teor´ıa y de ejemplos bastante claros, el segundo es mostrar que las cadenas de Markov tienen diferentes aplicaciones y por u ´ ltimo es modelar de una manera muy sencilla c´omo se comporta un proceso de este tipo sin que una persona sea experta en la materia. A lo largo de este trabajo describiremos qu´e es una cadena de Markov, para qu´e sirven estos procesos y c´omo se clasifican dichas cadenas. Veremos adem´as c´omo se conforman estos procesos. Es decir, analizar cu´ales son los elementos primordiales que conforman una cadena de Markov, entre otras. Esta tesis ser´a estructurada de la siguiente manera: - En el cap´ıtulo 1 damos un breve repaso de la Teor´ıa de la Probabilidad, pasando por la Probabilidad Condicional y usando la F´ormula de Bayes, resolviendo problemas que resultan interesantes. Tambi´en daremos la definici´on y alg´ un ejemplo de Proceso Estac´astico [2, 3, 4, 6, 5]. - A lo largo del cap´ıtulo 2 definiremos lo que es una Cadena de Markov, los estados, su clasificaci´on y veremos qu´e sucede con estos procesos a largo plazo. Para esto se demostrar´a un resultado importante conocido como Teorema de la Convergencia y aplicaremos ´este resultado en varias aplicaciones. Cabe mencionar que analizaremos una manera sencilla de ver una cadena mediante el uso de matrices (Matriz de Transici´on), adem´as analizaremos los ejemplos cl´asicos como lo son la cadena de Ehrenfest, la cadena de la Ruina del Jugador y el Modelo de Wright-Fisher. En estos modelos podremos apreciar lo que ocurre cuando llegamos a un v

determinado estado y ´este no permite abandonarlo (Estado Absorbente), adem´as estudiaremos ejemplos donde los periodos de tiempo no son fijos (el Proceso de Poisson). Como las cadenas de Markov son sucesiones de variables aleatorias con cierta estructura, ´estas pueden ser continuas o discretas, para nuestros fines s´olo analizaremos variables aleatorias discretas (espacios de estados a lo m´as numerables) [1, 2, 4, 5, 8, 9]. - Finalmente en el cap´ıtulo 3 analizaremos dos interesantes aplicaciones; primero el conocido juego de mesa Monopoly. Este puede modelarse mediante una cadena de Markov y estudiaremos el comportamiento a largo plazo con la Matriz de transici´on. Investigaremos anal´ıticamente si existe la distribuci´on estacionaria y simularemos la cadena para estimar su distribuci´on l´ımite usando Phyton. En la segunda aplicaci´on usamos Excel para resolver el problema de como cambia el tiempo (clima) de un d´ıa a otro. En particular usaremos condiciones l´ogicas y generamos n´ umeros aleatorios que ser´an la distribuci´on de la variable aleatoria (el tiempo) y compararemos estos valores con las probabilidades de transici´on de los diferentes estados [7, 9, 5].

Cap´ıtulo 1 Conceptos B´ asicos. 1.1.

Probabilidad

La teor´ıa de la probabilidad es bastante amplia y rica en ejemplos. Dentro de las matem´aticas podemos encontrar los Procesos Estoc´asticos, en los cuales basaremos este trabajo recepcional, para ello comenzaremos analizando los conceptos b´asicos de la teor´ıa de probabilidad. Existen diferentes fen´omenos que observamos a lo largo de nuestras vidas, cuando no podemos determinar a ciencia cierta el resultado de dicho fen´omeno, decimos que es un fen´omeno aleatorio [6]. Ejemplos bastante claros de fenomenos aleatorios son: lanzar una moneda, el lanzamiento de un dado, jugar ruleta, entre otros [6]. Es por ello que la probabilidad se encarga de modelar este tipo de fen´omenos, lo que nos lleva a definir todos los elementos que estos implican. Definici´ on 1.1.1 El espacio constituido por los posibles resultados de un fen´omeno aleatorio se le llama espacio muestral y se denota normalmente por Ω. El espacio muestral (Ω) en otras palabras es el conjunto de todos los posibles resultados que nuestro fen´omeno aleatorio puede experimentar. Para fines pr´acticos nos enfocaremos al estudio de espacios muestrales finitos o numerables, de la definici´on 1.1.1 obtenemos la siguiente definici´on: Definici´ on 1.1.2 Un subconjunto A del espacio muestral, es decir, A ⊂ Ω diremos que es un evento o suceso del fen´omeno aleatorio. Para tener una idea m´as clara de estas dos definiciones analizaremos el siguiente ejemplo [4]. Ejemplo 1.1.1 Consideremos que una persona lanza un dado. Es f´acil ver que Ω = {1, 2, 3, 4, 5, 6} y un evento A lo definiremos como la posibilidad de que se obtenga un n´ umero par, esto es A = {2, 4, 6}, adem´as de que A ⊂ Ω. Una vez que ya hemos comprendido estas dos definiciones bastante b´asicas para la teor´ıa de la probabilidad con base en la Definici´on 1.1.2, definiremos de manera matem´atica lo que es un suceso o evento. Definici´ on 1.1.3 Sea ℑ la colecci´on de todos los subconjuntos posibles de un espacio muestral Ω, denotamos a ℑ como la σ−´algebra de Ω si ℑ cumple con las siguientes condiciones: 1

CAP´ITULO 1

2

(i) Ω ∈ ℑ (ii) A ∈ ℑ =⇒ Ac ∈ ℑ. (iii) A1 , A2 , . . . ∈ ℑ =⇒

∞ S

Ak ∈ ℑ

k=1

y diremos que A es un evento si A ⊂ Ω. Ya que hemos definido de manera formal un suceso, definiremos una funci´on que nos lleva de la σ− ´algebra al intervalo [0, 1] que ser´a llamada funci´on de probabilidad. Definici´ on 1.1.4 Sean Ω un espacio muestral, ℑ la σ−´algebra generada por Ω, y A ∈ ℑ definimos una funci´ on de probabilidad como una funci´on que asigna a cada evento A el n´ umero real P(A), donde P(A) es llamada probabilidad del evento A, y P cumple con las siguientes propiedades: a) P(A) ≥ 0, ∀ A ∈ ℑ. b) P(Ω) = 1. c) 0 ≤ P(A) ≤ 1, ∀ A ∈ ℑ. d) Ai ∈ ℑ tal que si i 6= j, Ai ∩ Aj = ∅ entonces ! ∞ ∞ [ X P Ai = P(Ai ) i=1

i=1

Ya que hemos definido algunos conceptos importantes para esta rama de las matem´aticas nos enfocaremos a analizar que dado un fen´omeno aleatorio con su respectivo espacio muestral Ω, ℑ la σ−´algebra generada por Ω y una funci´on de probabilidad P, decimos que la terna (Ω, ℑ, P) es un espacio de probabilidad [3]. Con ayuda de esta definiremos un concepto muy importante que usaremos a lo largo de este trabajo. Definici´ on 1.1.5 Consideremos un espacio de probabilidad (Ω, ℑ, P), definimos la funci´ on X : Ω → R, decimos que X es una variable aleatoria si el conjunto {X ≤ x} ∈ ℑ para cualquier x ∈ R. Existen distintos tipos de variables aleatorias, pero en este trabajo s´olo nos enfocaremos en variables aleatorias discretas y para no expresar en cada definici´on y resultado que necesitamos un espacio de probabilidad, desde ahora quedar´a impl´ıcito que requerimos dicho espacio. Lo que nos lleva a la siguiente definici´on: Definici´ on 1.1.6 Sea H = {x1 , x2 , . . .} una colecci´ umeros reales tales P on finita o numerable de n´ que P(X = xk ) > 0 para cualquier xk , adem´as si P(X = xk ) = 1 decimos que X es una variable k

aleatoria discreta y H es el conjunto de todos los posibles valores que puede tomar X. Proposici´ on 1.1.1 Considere dos eventos A, B, entonces:

1. Si A ∩ B 6= ∅, entonces P(A ∪ B) = P(A) + P(B) − P(A ∩ B). (ver figura 1.1 (a))

CAP´ITULO 1

3

Figura 1.1: Eventos A, B y su intersecci´on [4].

2. Si A ∩ B = ∅, entonces P(A ∪ B) = P(A) + P(B). (ver figura 1.1 (b)) Una vez analizados estos conceptos que nos ser´an de mucha utilidad, tomaremos en cuenta el siguiente ejemplo para tener una idea clara de dichos conceptos y as´ı poderlos comprender de una mejor manera. Ejemplo 1.1.2 Supongamos que tenemos un experimento aleatorio que consiste en lanzar tres monedas. Si X denota el n´ umero de caras (C) que aparecen al observar dicho experimento, entonces X es una variable aleatoria y puede tomar los siguientes valores {0, 1, 2, 3} con las siguientes probabilidades: P(X = 0) = P({AAA}) =

1 8

3 8 3 P(X = 2) = P({ACC}, {CAC}, {CCA}) = 8 1 P(X = 3) = P({CCC}) = 8 P(X = 1) = P({AAC}, {ACA}, {CAA}) =

Como X debe tomar uno de los valores 0, 1, 2, 3, debemos tener en cuenta que: ! 3 3 [ X P (X = i) = P(X = i) = 1 i=0

i=0

Es la suma de las probabilidades anteriores.

1.2.

Probabilidad condicional.

Ahora que ya hemos definido algunos de los conceptos b´asicos de la teor´ıa de probabilidad, nos enfocaremos en estudiar una de las herramientas m´as importantes de dicha teor´ıa, la cual es

CAP´ITULO 1

4

el c´alculo de probabilidades condicionales, es decir, calcular la probabilidad de un evento teniendo en cuenta que ha ocurrido otro [4], lo que nos lleva a analizar los siguientes ejemplos para tener una idea m´as precisa de lo que pretendemos explicar. Ejemplo 1.2.1 Supongamos que tenemos una poblaci´on de N personas, donde ND son dalt´ onicas y NM son mujeres. Sean D y M los eventos de que una persona sea dalt´onica y mujer, respectivamente, entonces: ND N NM P(M) = N P(D) =

Considaremos ahora la subpoblaci´on de mujeres, la probabilidad de que una persona elegida al NDM , donde NDM es el n´ umero de mujeres azar entre esta subpoblaci´on sea dalt´onica es igual a N dalt´onicas. Hasta ahora no tenemos ninguna idea nueva, pero s´ı necesitamos una nueva notaci´on para identificar qu´e subpoblaci´on particular estamos analizando. Lo que nos lleva a la definici´on formal de probabilidad condicional. Definici´ on 1.2.1 Sean A y B dos eventos, supongamos que P(A) > 0. Entonces la probabilidad de B dado que ocurri´o A es: P(B|A) =

P(A ∩ B) P(A)

(1.1)

Como usamos un ejemplo para introducir la definici´on formal de probabilidad condicional, analizaremos uno que nos permita ver c´omo funciona este concepto de manera num´erica. Ejemplo 1.2.2 Consideremos un experimento que consiste en lanzar dos dados. Supongamos que A es el evento de que la suma de las caras es 8, y B que el n´ umero obtenido en la primer cara es un 3, de esta manera los eventos quedan constituidos de la siguiente manera: A = {(2, 6), (3, 5), (4, 4), (5, 3), (6, 2)} B = {(3, 1), . . . , (3, 6)} Podemos ver que A ∩ B = {(3, 5)}, de esta manera: 5 36 6 P(B) = 36 1 P(A ∩ B) = 36 P(A) =

Por lo que, la probabilidad de que ocurra el evento B dado que ocurri´o el evento A est´a dada por: P(B|A) =

P(A ∩ B) 1/36 1 = = P(A) 5/36 5

CAP´ITULO 1

5

De igual manera podemos calcular: P(A ∩ B) 1/36 1 = = P(B) 6/36 6

P(A|B) =

Con todo lo anterior, tenemos que mostrar las siguientes observaciones: Observaci´ on 1.2.1

(i) Si P(A) = 0 en (1.1) entonces P(B|A) no est´a definida.

(ii) Los ejemplos anteriores nos llevan a pensar que la probabilidad condicional es una funci´ on de probabilidad, B → P(B|A). (iii) La probabilidad condicional cumple con los axiomas de probabilidad, esto es: a) 0 ≤ P(B|A) ≤ 1, puesto que 0 ≤ P(A ∩ B) ≤ P(A). P(Ω ∩ A) =1 b) P(Ω|A) = P(A) c) Dados B1 , B2 tales que B1 ∩ B2 = ∅, entonces: P((B1 ∪ B2 )|A) = = = = =

P((B1 ∪ B2 ) ∩ A) P(A) P((B1 ∩ A) ∪ (B2 ∩ A) P(A) P(B1 ∩ A) + P(B2 ∩ A) P(A) P(B1 ∩ A) P(B2 ∩ A) + P(A) P(A) P(B1 |A) + P(B2 |A)

(iv) En general para B1 , B2 , . . . con Bi ∩ Bj = ∅ para i 6= j tenemos: ! [ X P Bi |A = P(Bi |A) i

i

que se demuestra mediante inducci´on matem´atica [6].

1.3.

F´ ormula de Bayes.

Una vez definido la probabilidad condicional, vamos a introducir un teorema muy importante relacionado con este concepto, pero antes de eso analizaremos una definici´on y un teorema que nos permitir´a comprender mejor c´omo funciona la F´ormula de Bayes y c´omo nos ayuda a calcular diferentes probabilidades. Definici´ on 1.3.1 Sean Ω un espacio muestral y {Hk , 1 ≤ k ≤ n} una colecci´on de subconjuntos n S Hk donde Hi ∩ Hj = ∅ para i ≤ i, j ≤ n, i 6= j disjuntos cuya uni´on es todo Ω, es decir, Ω = k=1

decimos que los Hk forman una partici´on para Ω.

CAP´ITULO 1

6

Figura 1.2: Partici´on de un espacio muestral en subconjuntos disjuntos.

En la Figura 1.2 podemos ver un esquema que nos permite analizar de una manera gr´afica c´omo se puede particionar un espacio muestral [3]. Con base en esto y la probabilidad condicional enunciaremos el siguiente teorema que nos facilitar´a la comprensi´on de la F´ormula de Bayes. Teorema 1.3.1 Sea {Hk , 1 ≤ k ≤ n} una partici´on de Ω, entonces para cualquier evento A ⊂ Ω, tenemos: P(A) =

n X

P(A|Hk ) · P(Hk )

k=1

El Teorema 1.3.1 se conoce como la ley de la probabilidad total, podemos ver que dada una partici´on de un espacio muestral y dado un evento A, este evento se puede ver como la intersecci´on del evento con los elementos de la partici´on, es por ello que la probabilidad de ´este puede ser expresada como una probabilidad condicional, por lo que, podemos calcular la probabilidad del evento A dado que ocurren los eventos Hk . Una vez visto esto enunciaremos la F´ormula de Bayes. Teorema 1.3.2 Sea {Hk , 1 ≤ k ≤ n} una partici´on de Ω. Entonces, para cualquier evento A ⊂ Ω, tenemos: P (Hk |A) =

P (A|Hk ) · P (Hk ) P (A)

(1.2)

Por 1.3.1 P (Hk |A) =

P (A|Hk ) · P (Hk ) n P

k=1

P (A|Hk ) · P (Hk )

(1.3)

CAP´ITULO 1

7

Notamos que en el Teorema 1.3.2 dada una partici´on y un evento cualquiera A, podemos calcular la probabilidad condicional de alg´ un elemento de la partici´on dado que ocurre el evento A, esta se puede expresar en funci´on de la probabilidad condicional del evento A dado Hk . Observando el denominador de la Ecuaci´on (1.2) aplicamos el Teorema 1.3.1 para llegar a la Ecuaci´on (1.3), que conocemos como f´ormula de Bayes. Para tener m´as claros estos teoremas as´ı como la definici´on de partici´on, consideraremos los siguientes ejemplos. El primero es un ejemplo que nos permite interpretar con detalle la importancia del Teorema 1.3.2, dicho ejemplo est´a relacionado con una encuesta realizada fuera de unas casillas durante las elecciones para gobernador de un estado [5]. Ejemplo 1.3.1 En las elecciones de un estado durante el a˜ no de 1982, una estaci´on de televisi´ on predijo con base en ´estas, que la persona Roberto ganar´ıa las elecciones. La encuesta consist´ıa en cuestionar a la gente al salir del lugar de la votaci´on. Cuando los votos fueron contados Roberto perdi´o ante Juan por un margen considerable. ¿Qu´e hizo que las encuestas fallaran? Sean H1 , H2 los eventos de que las personas que votaron por Roberto y las que votaron por Juan respectivamente y A el evento donde el votante se detiene a contestar la encuesta. Sabemos: P (H1) = 0,45 P (H2) = 0,55. Conociendo que el 40 % de los votantes de Roberto responde frente al 30 % de los votantes de Juan, esto es: P (A|H1 ) = 0,4 P (A|H2 ) = 0,3. Estamos interesados en conocer P (H1|A), esto es la fracci´on de los votantes de Roberto que contestaron la encuesta, para ello podemos ver que: P (H1 |A) P (A) P (H1 ∩ A) = P (H1 ∩ A) + P (H2 ∩ A)

P (H1 |A) =

Adem´as, sabemos que P (H1 ∩ A) = P (A|H1) · P (H1) y P (H2 ∩ A) = P (A|H2 ) · P (H2 ), aplicando la F´ormula de Bayes tenemos que: P (H1 ∩ A) P (H1 ∩ A) + P (H2 ∩ A) P (A|H1 ) · P (H1 ) = 2 P P (A|Hi ) · P (Hi )

P (H1|A) =

i=1

P (A|H1) · P (H1 ) P (A|H1) · P (H1 ) + P (A|H2) · P (H2 ) 0,18 (0,4)(0,45) = = 0,5217 = (0,4)(0,45) + (0,3)(0,55) 0,345

=

CAP´ITULO 1

8

Esto nos dice que el 52,17 % de los votantes de Roberto respondi´o a la encuesta sobre c´omo vot´o, lo que no implica que Roberto ganar´ıa la elecci´on. El siguiente ejemplo est´a relacionado con una enfermedad llamada Hemofilia, y el c´omo podemos usar la F´ormula (1.3) para calcular la probabilidad de que una persona posea la enfermedad dado otro evento [5], dicho esto analizamos el ejemplo. Ejemplo 1.3.2 Elena tiene un hermano con hemofilia, y sus padres no tienen la enfermedad. Ya que la hemofilia es causada por un alelo recesivo h en el cromosoma X, se puede inferir que su madre es portadora, mientras que su padre tiene el alelo sano en su u ´nico cromosoma X. Elena recibi´o un cromosoma X de su padre y el otro de su madre, hay un 50 % de probabilidad de que sus hijos tengan la enfermedad. Si ella tiene dos hijos sanos ¿Cu´al es la probabilidad de que ella sea portadora?

Figura 1.3: Diagrama de Hemofilia.

Al analizar la Figura 1.3 podemos ver el diagrama de c´omo se puede transmitir la hemofilia. Sean H1 , H2 los eventos, ella es portadora y ella no es portadora respectivamente, y A el evento tiene 2 hijos sanos. Podemos ver que: 1 , 2 1 . P (H2) = 2

P (H1) =

1 Debido que ella tiene dos hijos sanos, cuando es portadora la probabilidad es de , mientras que 4 1 es 1 cuando ella no lo sea, es decir P (A|H1 ) = y P (A|H2) = 1, estamos interesados en conocer 4

CAP´ITULO 1

9

la P (H1|A): P (H1|A) P (A) P (H1 ∩ A) . = P (H1 ∩ A) + P (H2 ∩ A)

P (H1 |A) =

Sabemos que P (H1 ∩ A) = P (A|H1 ) · P (H1) y P (H2 ∩ A) = P (A|H2) · P (H2 ), aplicando la f´ormula de Bayes tenemos que: P (H1 ∩ A) P (H1 ∩ A) + P (H2 ∩ A) P (A|H1) · P (H1 ) = 2 P P (A|Hi ) · P (Hi )

P (H1 |A) =

i=1

P (A|H1) · P (H1 ) P (A|H1) · P (H1 ) + P (A|H2) · P (H2 ) 1/8 1 (1/2)(1/4) = = . = (1/2)(1/4) + (1/2)(1) 5/8 5

=

Lo que nos dice que la probabilidad de que ella sea portadora, dado que tiene dos hijos sanos, es de 1/5. Ahora que ya hemos comprendido claramente la F´ormula de Bayes, podemos resolver cualquier problema de probabilidad condicional usando dicha f´ormula y una partici´on del espacio muestral. Con estos dos ejemplos y todos los conceptos anteriores podemos comenzar a analizar lo que realmente deseamos estudiar; los procesos estoc´asticos y algunos ejemplos. En los cap´ıtulos posteriores los estudiaremos a detalle mediante el uso de las Cadenas de Markov y analizaremos algunas aplicaciones de ´estas.

1.4.

Procesos Estoc´ asticos.

A continuaci´on definiremos qu´e son los procesos estoc´asticos. Para ello considere la posibilidad de un sistema que puede moverse sobre un conjunto de posibles valores (llamado espacio de estados, que definiremos en el siguiente cap´ıtulo), supongamos adem´as que el sistema cambia con alguna ley en especifico, sea Xt el sistema al tiempo t, si el sistema evoluciona de tal manera que no es determinista, sino que es provocada por alg´ un fen´omeno aleatorio, lo que nos lleva a pensar que Xt es una variable aleatoria [9]. Esto nos lleva a la siguiente definici´on. Definici´ on 1.4.1 Consideramos un espacio de probabilidad (Ω, ℑ, P) y S un espacio de estados. Un proceso estoc´ astico es una colecci´on de variables aleatorias {Xt : t ∈ T }, donde T es conocido como el espacio parametral. Observaci´ on 1.4.1 (a) T puede ser un subconjunto de los enteros no negativos, o un subconjunto de R, por ejemplo {0, 1, ..., n}, [0, t], [0, ∞].

CAP´ITULO 1

10

(b) Si T es de la forma {0, 1, ..., n} o los enteros no negativos, diremos que es un porceso a tiempo discreto. Mientras que si T es de la forma [0, t] o [0, ∞] diremos que el proceso es a tiempo continuo. (c) Para nuestros fines trabajaremos con espacios de estados finitos o a lo m´as numerables. Dicho esto analizamos un sencillo ejemplo de estos procesos, ya que en secciones posteriores tenemos un sin n´ umero de ejemplos. Ejemplo 1.4.1 Consideramos un proceso estoc´astico {Xt : t ∈ T }, donde T = {0, 1, . . . , n} y S = {0, 1} Esto es X0 = 0, X1 = 1, . . ., de esta manera, para cada n ∈ T Xn es 0 o´ 1. Para tener una mejor idea veamos la Figura 1.4. Ejemplos de este tipo de procesos son: las cadenas de Markov a

Figura 1.4: Proceso Estoc´astico.

tiempo discreto y a tiempo continuo, el proceso de Poisson, los martingales, los porcesos de Levy, los procesos Gausianos [9]. Sin m´as pre´ambulos estudiemos las cadenas de Markov a lo largo del siguiente cap´ıtulo, as´ı como el proceso de Poisson, que es un claro ejemplo de las cadenas a tiempo continuo.

Cap´ıtulo 2 Cadenas de Markov. Las cadenas de Markov forman una parte muy importante dentro de los procesos estoc´asticos y la teor´ıa de probabilidad, puesto que tienen una amplia teor´ıa y un sin n´ umero de aplicaciones [5]. Existen diferentes tipos de cadenas de Markov y nos enfocaremos en el estudio de las cadenas homog´eneas, donde ´estas no dependen del tiempo [8], dicho esto comenzaremos analizando la definici´on formal de cadena de Markov as´ı como sus diferentes componentes. Teniendo en cuenta que para el estudio de esta teor´ıa, como en el cap´ıtulo anterior, es necesario un espacio de probabilidad (Ω, ℑ, P), donde Ω es el espacio muestral, ℑ es la familia de todos los subconjuntos de Ω y P es una funci´on de probabilidad. De esta manera no necesitaremos mencionar a lo largo de este cap´ıtulo.

2.1.

Definici´ on y Propiedad de Markov.

Existen diferentes procesos que se pueden modelar mediante una cadena de Markov y gracias a ´estas podemos ver c´omo cambia nuestro modelo conforme avanza en tiempo. Algunos ejemplos cl´asicos de este tipo de modelos son: la ruina del jugador [1], el modelo de Wright-Fisher, la cadena de Ehrenfest [5], el tiempo de una determinada ciudad, aunque no se modela de una manera muy exacta podemos aproximarnos a su comportamiento mediante dicho concepto [7], existen un sin n´ umero de aplicaciones de este tipo de modelos, primero definiremos lo que es un estado, as´ı como un espacio de estados y posteriomente daremos la definici´on formal de una cadena de Markov. Definici´ on 2.1.1 Sean X una variable aleatoria y S un conjunto de n´ umeros, sea i ∈ S decimos que i es un estado, si la variable aleatoria X toma el valor de i, es decir, P(X = i) > 0, y el conjunto S es conocido como espacio de estados. De la Definici´on 2.1.1 podemos deducir que un estado es el posible valor que toma una variable aleatoria. Un espacio de estados es el conjunto de todos los posibles estados por los que puede pasar una variable aleatoria. Para fines pr´acticos consideraremos que nuestro espacio de estados sea finito o numerable, m´as a´ un tomaremos conjuntos de n´ umeros enteros, para que nuestras variables aleatorias sean discretas. De esta manera analizaremos la idea fundamental de este trabajo, esta es la definici´on formal de una cadena de Markov. Definici´ on 2.1.2 Sea {Xn , n ≥ 0}, una sucesi´on de variables aleatorias, S un espacio de estados, 11

CAP´ITULO 2

12

i0 , i1 , . . . , in−1 , i, j ∈ S, si: P(Xn+1 = j|Xn = i, Xn−1 = in−1 , . . . , X0 = i0 ) = P(Xn = j|Xn−1 = i)

(2.1)

Decimos que la sucesi´on {Xn , n ≥ 0}, es una cadena de Markov. La Ecuaci´on (2.1) es conocida como propiedad de Markov, ´esta nos dice que la probabilidad de un evento futuro s´olo depende del evento inmediato anterior y no de la evoluci´on del sistema, lo cual implica que las cadenas de Markov son procesos sin memoria [5]. Ahora que ya tenemos entendido lo que es una cadena de Markov, podemos enfocarnos en ciertas cadenas que ser´an objeto de nuestro estudio, lo que nos lleva a la siguiente definici´on: Definici´ on 2.1.3 Sea {Xn , n ≥ 0}, una cadena de Markov con espacio de estados S, decimos que {Xn , n ≥ 0}, es una cadena de Markov Homog´enea, si: P(Xn+1 = j|Xn = i) = P(X1 = j|X0 = i),

para i, j ∈ S

Dicho de otra manera la Definici´on 2.1.3 se refiere al hecho de que si una cadena de Markov no depende del tiempo, es decir, no depende de n, ´esta es considerada una cadena homog´enea [8], una vez que ya tenemos definido nuestro objeto de estudio, usaremos una funci´on para ver c´omo evoluciona o se mueve una cadena entre los diferentes estados. Esta es la funci´on de transici´on, y nos permitir´a verlo con mayor facilidad. Definici´ on 2.1.4 Sea {Xn , n ≥ 0} una cadena de Markov con espacio de estados S. Definimos la funci´on p(i, j) como: p(i, j) = P(Xn+1 = j|Xn = i). Donde p(i, j) es la funci´ on de transici´on del estado i al estado j, y cumple con las siguientes propiedades: (i) p(i, j) ≥ 0, para i, j ∈ S, P (ii) p(i, j) = 1, ya que cuando Xn = i, Xn+1 va a alg´ un j. j

Es necesario mencionar que p(i, j) es conocida como la transici´on en un s´olo paso del estado i al estado j. En otras palabras si estamos en el instante i y queremos llegar a j en un s´olo paso, lo denotamos por p(i, j), de la Definici´on 2.1.4 es claro ver que (i) es cierto puesto que p(i, j) es una probabilidad, mientras que la propiedad (ii) se refire a que la suma de las probabilidades de ir de i a j es uno [5], para tener un concepto m´as claro, consideremos un ejemplo bastante sencillo donde se muestra lo dicho hasta ahora. Ejemplo 2.1.1 Consideramos una cadena de Markov con dos estados, 1 y 2, de tal manera que podemos ir de 1 a 2 con probabilidad p y de 2 a 1 con probabilidad q, para ver el comportamiento de esta cadena veamos la figura 2.1.

CAP´ITULO 2

13

Figura 2.1: Din´amica de una cadena de Markov de dos estados para el Ejemplo 2.1.1.

De esta manera podemos notar que S = {1, 2} y: p(1, 2) = p , p(2, 1) = q p(1, 1) = 1 − p , p(2, 2) = 1 − q Visto de otra manera tenemos que: 1 2 1 1−p p 2 q 1−q Existen modelos que a simple vista no pueden modelarse mediante una cadena de Markov, como se mostrar´a en el siguiente ejemplo, sin embargo bajo ciertas condiciones podemos obtener una cadena que nos permita modelarlos. Para tener una idea m´as clara, pensemos en un jugador de baloncesto que hace dos lanzamientos libres, la probabilidad de que enceste los dos tiros no es precisamente una cadena de Markov [5], dicho esto veamos el ejemplo. Ejemplo 2.1.2 Consideramos un jugador de baloncesto, que hace un tiro libre con las siguientes probabilidades: 1/2 si fall´o los u ´ltimos dos tiros libres 2/3 si encest´o alguno de los dos anteriores 3/4 si encest´o los dos u ´ltimos tiros Para formular la cadena de Markov que modele los tiros libres es necesario notar que Xn+1 no s´olo depende de Xn tambi´en de Xn−1 , por lo que dejaremos que los estados de este proceso sean los resultados de sus u ´ ltimos dos tiros, S = {EE, EF, F E, F F }, donde E denota el hecho de que enceste y F que falle, de esta manera la probabilidad de transici´on es: EE EF F E F F EE 3/4 1/4 0 0 EF 0 0 2/3 1/3 F E 2/3 1/3 0 0 FF 0 0 1/2 1/2 Para explicar esto supongamos que estamos en el estado EF , es decir Xn−1 = E y Xn = F , en este caso el siguiente resultado sera H con probabilidad 2/3, cuando esto ocurre, el siguiente estado ser´a (Xn , Xn+1 ) = F E con probabilidad 2/3, y falla con probabilidad 1/3 esto es (Xn , Xn+1 ) = F F .

CAP´ITULO 2

2.2.

14

Matriz de Transici´ on.

Ahora que ya manejamos de una manera m´as f´acil la funci´on de transici´on, lo definiremos de una manera sencilla, esto es, ver c´omo podemos ir de un estado a otro, es decir, c´omo interact´ uan los estados de la cadena entre s´ı. Es por ello que nos basaremos en algunos conceptos de a´lgebra lineal para hacerlo posible, lo que nos lleva a la siguiente definici´on. Definici´ on 2.2.1 Sea p(i, j) la funci´on de transici´on de una cadena de Markov, diremos que p(i, j) es la ij−´esima entrada de la matriz P , y diremos que ´esta es la matriz de transici´ on de dicha cadena. Observaci´ on 2.2.1 Como P est´a formada por cada una de las transiciones de la cadena podemos afirmar que P es una matriz no negativa, lo que implica que cada una de sus entradas es positiva, esto es cierto por (i) de la definici´on 2.1.4. De lo anterior es f´acil deducir que a lo largo de este trabajo usaremos matrices no negativas, adem´as de ser no negativas, cada una de las filas de estas matrices suma 1, sabemos que las variables aleatorias pasan por diferentes estados conforme ´esta se mueve, pero qu´e suceder´ıa si la cadena llega a un estado espec´ıfico y no sale de ´este [5], el estado se convierte en un estado absorbente, lo que resulta en la siguiente definici´on. Definici´ on 2.2.2 Sea k ∈ S un estado de la cadena de Markov, diremos que k es un estado absorbente si p(k, k) = 1. Para que sea preciso el concepto antes analizado, consideremos los siguientes ejemplos que son cl´asicos en la teor´ıa de las cadenas de Markov, en los cuales hay estados absorbentes. Ejemplo 2.2.1 (Ruina del jugador) Cosideremos la posibilidad de un juego de casino, en que un jugador gana $1 cada turno con probabilidad p = 0,4 y pierde $1 con probabilidad 1 − p = 0,6. Con las siguientes condiciones, si el jugador llega a $N deja de jugar, mientras que si llega a 0, el casino lo obliga a dejar el juego. Sea Xn la cantidad de dinero que el jugador tiene en el n−´esimo juego, suponiendo que Xn tiene la propiedad de Markov, entonces para predecir el siguiente estado Xn+1 para esto debemos tener en cuenta que si el jugador sigue jugando entonces Xn = i con 0 < i < N, ya que 0 y N son estados absorbentes puesto que si llegamos a ellos autom´aticamente dejamos de jugar. De esta manera vemos que: p(i, i + 1) p(i, i − 1) p(0, 0) p(N, N)

= = = =

0,4 0,6 1 1

CAP´ITULO 2

15

Una forma de traducir lo anterior es: 0 1 2 3 .. . N

0 1 1 0 0.6 0 0 0.6 0 0 .. .. . . 0 0

2 3 ... N 0 0 ... 0 0.4 0 . . . 0 0 0.4 . . . 0 0.6 0 . . . 0 .. .. . .. . .. . . 0 0 ... 1

Para tener una visi´on m´as clara de la tabla anterior observemos la Figura 2.2.

Figura 2.2: Din´amica de una cadena de la ruina del jugador. Con base en la tabla anterior y a la Figura 2.2 ´este modelo es:  1 0  0,6 0   0 0,6  P = 0 0   .. ..  . . 0

0

podemos afirmar que la matriz de transici´on para  0 0 ... 0 0,4 0 . . . 0   0 0,4 . . . 0   0,6 0 . . . 0   .. . . ..  .. . .  . . 0 0 ... 1

Otro ejemplo bastante sencillo para comprender todos estos conceptos es el siguiente.

Ejemplo 2.2.2 (Modelo de Wright-Fisher) Consideremos una poblaci´on fija de n genes que pueden ser de dos tipos A ´o a. Estos tipos de genes se llaman alelos. La poblaci´on en el tiempo n + 1 se obtiene mediante la elaboraci´on con reemplazo de la poblaci´on en el estado n. En este caso si permitimos que Xn sea el n´ umero de alelos en el tiempo n, entonces Xn es una cadena de Markov con probabilidad de transici´on    j  n−j i i n p(i, j) = 1− 0 ≤ i, j ≤ n (2.2) j n n Donde el lado derecho de la Ecuaci´on (2.2) es la distribuci´on para n ensayos independientes con i probabilidad de ´exito . Tengamos en cuenta cuando i = 0, tenemos p(0, 0) = 1 y cuando i = n. n

CAP´ITULO 2

16

Entonces p(n, n) = 1. Considerando el caso en el que n = 4 tenemos: 0 1 2 3 4 0 1 0 0 0 0 1 81/256 27/64 27/128 3/64 1/256 2 1/16 1/4 3/8 1/4 1/16 3 1/256 3/64 27/128 27/64 81/256 4 0 0 0 0 1

Figura 2.3: Modelo Wright-Fisher.

Es claro ver que en este modelo los estados 0 y n son estados absorbentes, porque estando en ellos dificilmente salimos de ´estos, ya que eventualmente entra en alguno de los estados absorbentes. Para que este modelo sea m´as interesante y m´as realista, introduciremos la probabilidad de mutaciones: un alelo A que se dibuja termina siendo un alelo a en la siguiente generaci´on con probabilidad u, mientras que una a que se dibuja termina siendo una A en la proxima generaci´on con probabilidad v, en este caso la probabilidad de que una A sea generada por un sorteo dado es: ρi =

i n−i (1 − u) + v. n n

Es decir, podemos obtener una A dibujando una A y no tener una mutaci´on, o dibujamos una A que tiene una mutaci´on. Dado que los sorteos son independientes, la probabilidad de transici´on todav´ıa tiene la forma binomial:   n p(i, j) = (ρi )j (1 − ρi )n−j . j Aqu´ı observamos el paso de la biolog´ıa a las matem´aticas [5]. Ejemplo 2.2.3 (Cadena de Ehrenfest) Imaginemos dos vol´ umenes c´ ubicos conectados por un peque˜ no agujero. En su versi´on matem´atica, tenemos dos “urnas ”, es decir, dos contenedores usados en la teor´ıa de la probabilidad, en los que hay un total de N bolas. Se elige una de las n bolas al azar y se mueve a la otra urna (ver Figura 2.4). Sea Xn el n´ umero de bolas en la urna de la izquierda tras la n-´esima extracci´on, debe quedar claro que Xn tiene la propiedad de Markov, es decir, si queremos adivinar el estado en el tiempo

CAP´ITULO 2

17

Figura 2.4: Cadena de Ehrenfest.

n + 1, entonces el n´ umero actual en la urna de la izquierda, Xn , es la u ´ nica informaci´on relevante observada en la secuencia de estados Xn , Xn−1 ,. . .,X0 . Para comprobar esto observemos que: P(Xn+1 = i + 1|Xn = i, Xn−1 = in−1 , . . . , X0 = i0 ) =

n−i n

Ya que para aumentar el n´ umero de bolas tenemos que escoger una de las n − i bolas en la urna, i el n´ umero tambi´en puede disminuir en 1 con probabilidad . Y la probabilidad de transici´on n est´a dada por: n−i , n i p(i, i − 1) = . n p(i, i + 1) =

Para 0 ≤ i ≤ n. Con p(i, j) = 0 en otro caso, cuando n = 5, por ejemplo, la matriz de transici´on es: 0 1 2 3 4 5 0 0 5/5 0 0 0 0 1 1/5 0 4/5 0 0 0 2 0 2/5 0 3/5 0 0 3 0 0 3/5 0 2/5 0 4 0 0 0 4/5 0 1/5 5 0 0 0 0 5/5 0 Aqu´ı, hemos escrito al menos un 5/5 para enfatizar el patr´on en las diagonales de la matriz. Ejemplo 2.2.4 (Cadena de Tiempo.) Sea Xn el tiempo en n d´ıas en una determinada ciudad, supongamos que tenemos los siguientes estados 1 lluvioso, 2 nublado sin lluvia y 3 soleado, a pesar de que el clima no es exactamente una cadena de Markov, podemos proponerla como un sencillo modelo, cuya matriz de transici´on es:   0,2 0,5 0,3 P =  0,1 0,3 0,6  0,7 0,2 0,1

CAP´ITULO 2

18

Es indispensable ver que esta cadena no posee estados absorbentes, ya que para ning´ un estado p(i, i) = 1, podemos notar en la matriz de transici´on que despu´es de un d´ıa nublado sin lluvia (2) sigue un d´ıa lluvioso (3) es 0,6, es decir, p(2, 3) = 0,6, mientras que un d´ıa soleado (1) es seguido de un d´ıa lluvioso (3) con probabilidad 0,3, en otras palabras p(1, 3) = 0,3, por otra parte, que un d´ıa nublado (2) sea seguido de un d´ıa soleado (1) es p(2, 1) = 0,1.

2.3.

Transici´ on de m pasos.

A raz´on de que hemos visto esta parte de la teor´ıa, nos preguntamos ¿Qu´e otra utilidad tienen estas cadenas de Markov?, es decir, ahora que conocemos un poco de ´estas, qu´e m´as podemos saber de ellas aparte de la informaci´on que nos arroja cada modelo, nos dedicaremos a responder una sencilla cuesti´on ¿Qu´e pasa a largo plazo con dichas cadenas? [5], es f´acil de deducir esto ya que el modelo est´a dado en forma de matriz, relacionaremos esto con lo que ocurre en m´as de un paso. B´asicamente analizar la potencia de la matriz de transici´on [9]. Lo que nos lleva a la siguiente definici´on. Definici´ on 2.3.1 Sean {Xn , n ≥ 0}, una cadena de Markov, p(i, j) = P(Xn+1 = i|Xn = i) la probabilidad de ir de i a j en un paso, definimos la probabilidad de ir de i a j en m pasos, con m > 1, como: pm (i, j) = P(Xn+m = j|Xn = i)

Es necesario ver que esta propiedad s´ı es v´alida, supongamos que deseamos calcular: p2 (i, j) = P(Xn+2 = j|Xn = i) Vemos que para llegar a que Xn+2 = j pero Xn+1 debe pasar por alg´ un estado k, esto es: p2 (i, j) = P(Xn+2 = j|Xn = i) X = P(Xn+2 = j, Xn+1 = k|Xn = i) k

X P(Xn+2 = j, Xn+1 = k, Xn = i) = P(Xn = i) k X P(Xn+2 = j, Xn+1 = k, Xn = i) P(Xn+1 = k, Xn = i) = · P(X P(Xn+1 = k, Xn = i) n = i) k X P(Xn+2 = j, Xn+1 = k, Xn = i) P(Xn+1 = k, Xn = i) · = P(X P(Xn = i) n+1 = k, Xn = i) k X = P(Xn+2 = j|Xn+1 = k, Xn = i) · P(Xn+1 = k|Xn = i) k

=

X

p(i, k)p(k, j).

k

Podemos notar que el u ´ ltimo rengl´on es la (i, j)−´esima entrada de la matriz P 2 . Si se sigue por inducci´on matem´atica podemos concluir esto en lo siguiente.

CAP´ITULO 2

19

Teorema 2.3.1 La probabilidad de transici´on de m pasos: pm (i, j) = P(Xn+m = j|Xn = i) Es la m-´esima potencia de la matriz de transici´on P , es decir, P m = P · · P}. | ·{z m veces

Dicha demostraci´on se sigue por inducci´on, una vez establecido que para ir de i a j en m pasos se necesita calcular la m-´esima potencia de la matriz de transici´on, la importancia de esto es poder demostrar la ecuaci´on de Chapman-Kolmogorov [5], la cual est´a dada en la siguiente proposici´on. Proposici´ on 2.3.1 Sean n, m ∈ Z+ , entonces la probabilidad de ir de i a j en m + n pasos es pm+n (i, j) =

X

pm (i, k)pn (k, j).

(2.3)

k

A continuaci´on nos dedicaremos a demostrar que la Ecuaci´on (2.3) es correcta, es decir, mostraremos la veracidad de ´esta, tenemos que tener en cuenta que para ir de i a j en m + n pasos tenemos que ir de i a k en m pasos y de k a j en n pasos entonces [2]: P(Xn+m = j|X0 = i) =

X

P(Xm+n = j, Xm = k|X0 = i)

k

=

X

P(Xm+n = j, Xm = k|X0 = i)

k

X P(Xm+n = j, Xm = k, X0 = i) = P(X0 = i) k  X P(Xm+n = j, Xm = k, X0 = i) P(Xm = k, X0 = i)  = · P(X0 = i) P(Xm = k, X0 = i) k  X P(Xm+n = j, Xm = k, X0 = i) P(Xm = k, X0 = i)  = · P(Xm = k, X0 = i) P(X0 = i) k X = (P(Xm+n = j|Xm = k, X0 = i) · P(Xm = k|X0 = i)) k

=

X

pm (i, k)pn (k, j)

k

Para tener una idea m´as clara de esta demostraci´on para la ecuaci´on (2.3), tengamos en cuenta el an´alisis de la Figura 2.5, que b´asicamente nos explicar´a el por qu´e es necesario ir de i a k y de k a j. Como ya hemos demostramos el teorema y la ecuaci´on de Chapman-Kolmogorov, podemos estudiar con m´as detalle algunos ejemplos. Ejemplo 2.3.1 Consideremos la cadena de la movilidad social, sea Xn la clase social de una familia en la generaci´on n-´esima, supongamos que 1 es la clase baja, 2 es media baja, 3 es la

CAP´ITULO 2

20

Figura 2.5: Ecuaci´on de Chapman-Kolmogorov.

Clase media, 4 es la clase media alta y 5 es la clase alta, ahora consideremos los cambios entre los estados de la siguiente manera: 1 2 3 4 5 1 0,5 0,2 0,15 0,1 0,05 2 0,3 0,3 0,2 0,15 0,05 3 0,1 0,2 0,4 0,2 0,1 4 0,05 0,15 0,2 0,3 0,3 5 0,1 0,15 0,15 0,2 0,4 Supongamos que una familia comienza en la clase media en la generaci´on 0. ¿Cu´al es la probabilidad de que la generaci´on 1 se eleve a la clase alta y la generaci´on 2 caiga a la clase baja?, ¿Cu´ al es la probabilidad de que una familia que inicia en la clase media en la generaci´on 0 sea de clase baja en la generaci´on 2?. Responderemos a la primera cuesti´on de la siguente manera, puesto que necesitamos calcular lo siguiente: P(X2 = 1, X1 = 5|X0 = 3) = = = = = = = =

P(X2 = 1, X1 = 5, X0 = 3) P(X0 = 3) P(X2 = 1, X1 = 5, X0 = 3) P(X1 = 5, X0 = 3) · P(X0 = 3) P(X1 = 5, X0 = 3) P(X2 = 1, X1 = 5, X0 = 3) P(X1 = 5, X0 = 3) · P(X1 = 5, X0 = 3) P(X0 = 3) P(X2 = 1|X1 = 5, X0 = 3)P(X1 = 5|X0 = 3) P(X2 = 1|X1 = 5)P(X1 = 5|X0 = 3) p(3, 5)p(5, 1) (0,1)(0,1) 0,01

CAP´ITULO 2

21

Por otro lado para responder a la segunda pregunta tenemos que analizar: P(X2 = 1|X0 = 3) =

5 X

P(X2 = 1, X1 = k|X0 = 3)

k=1

=

5 X

p(3, k)p(k, 1)

k=1

= (0,1)(0,5) + (0,2)(0,3) + (0,4)(0,1) + (0,2)(0,05) + (0,1)(0,1) = 0,17 Con estos dos ejercicios simples podemos notar que es bastante tedioso estar calculando este tipo de procesos. Mencionamos en p´aginas anteriores que el u ´ ltimo c´alculo es una de las entradas de la matriz de transici´on elevada al cuadrado, para ello vemos que:   0,5 0,2 0,15 0,1 0,05  0,3 0,3 0,2 0,15 0,05     P =   0,1 0,2 0,4 0,2 0,1   0,05 0,15 0,2 0,3 0,3  0,1 0,15 0,15 0,2 0,4 Calculando P 2 :

P

2



  =   

0,335 0,2125 0,2025 0,15 0,1 0,2725 0,22 0,2225 0,17 0,115 0,17 0,205 0,27 0,2 0,155 0,135 0,185 0,2225 0,2175 0,24 0,16 0,185 0,205 0,2025 0,2475

     

Fij´andonos en la entrada que ´esta ubicada en la intersecci´on de la tercera fila y la primera columna, es la probabilidad de ir del estado 3 al estado 1 exactamente en 2 pasos. Que en esencia es el c´alculo que hicimos para resolver a la segunda cuesti´on de nuestro problema. Ejemplo 2.3.2 Consideremos la cadena de tiempo, estudiada en el Ejemplo 2.2.4, sabemos que tenemos la siguiente matriz de transici´on:   0,2 0,5 0,3 P =  0,1 0,3 0,6  0,7 0,2 0,1

¿Qu´e sucede a largo plazo?

Para entender qu´e es lo que deseamos calcular con la pregunta de este problema, usaremos el teorema anterior porque necesitamos calcular qu´e pasa con las diferentes transiciones conforme pasa el tiempo, esto es, calcular las diferentes potencias de la matriz de transici´on para ver el comportamiento de los estados, por ejemplo calculamos P 2 :   0,3 0,31 0,39 P 2 =  0,47 0,26 0,27  0,23 0,43 0,34

CAP´ITULO 2

22

Esta nos da la informaci´on necesaria para ir del estado i al estado j en dos pasos, si calculamos P 3 obtendremos el comportamiento de los estados en 3 estapas:   0,364 0,321 0,315 P 3 =  0,309 0,367 0,324  0,327 0,312 0,361 Multiplicando nuevamente por P tenemos:   0,3254 0,3413 0,3333 P 4 =  0,3253 0,3294 0,3453  0,3493 0,3293 0,3214

Aplicando la ecuaci´on de Chapman-Kolmogorov, es decir, P 4 · P 4 = P 8 :   0,33333174 0,33323893 0,33342933 P 8 =  0,33361973 0,33323654 0,33314373  0,33304853 0,33352453 0,33342694

An´alogamente tenemos:   0,3333332789589 0,33333336097561 0,33333336006549 P 16 =  0,33333335915538 0,33333327941396 0,33333336143066  0,33333336188572 0,33333335961044 0,33333327850385

Si continuamos con lo c´alculos podemos notar que mientras n crece entonces la matriz P n tiende a:   1/3 1/3 1/3  1/3 1/3 1/3  1/3 1/3 1/3

Por lo anterior podemos decir que nuestra matriz converge cuando n es lo suficientemente grande.

2.4.

Distribuci´ on Inicial.

Una vez que ya hemos analizado algunas cadenas y sus estados podemos preguntarnos qu´e suceder´ıa si nuestro primer estado es aleatorio, es decir, considerar la posibilidad de que el primer estado de nuestra cadena de Markov sea un estado generado aleatoriamente [5], si esto fuera tendremos en cuenta lo siguiente: X P(Xn = j) = P(X0 = i, Xn = j) i

=

X

P(X0 = i)P(Xn = j|X0 = i)

(2.4)

i

En la Ecuaci´on (2.4) podemos ver que P(Xn = j|X0 = i) = pn (i, j), suponiendo que P(X0 = i) = q(i) tenemos: X P(Xn = j) = q(i)pn (i, j) (2.5) i

CAP´ITULO 2

23

En otras palabras, la Ecuaci´on (2.5) nos dice que multipliquemos por la izquierda la matriz de transici´on por las probabilidades iniciales, dicho de otra manera, para que ´esta operaci´on est´e bien definida, como la matriz de transici´on es de tama˜ no k × k necesitamos multiplicar por una matriz de tama˜ no 1 × k (matriz fila), lo que nos lleva a la siguiente definici´on: Definici´ on 2.4.1 Sea {Xn , n ≥ 0}, una cadena de Markov, llamaremos distribuci´on inicial al vector fila, cuyas entradas son la probabilidad de que la variable aleatoria comience en un estado y ser´a denotada por π0 , es decir: π0 = (q(0), q(1), . . . , q(k)) P Donde 0, 1, . . . , k ∈ S, q(i) = P(X0 = i) y q(i) = 1.

(2.6)

i

Para tener una mejor idea podemos analizar los siguentes ejemplos, y as´ı comprender la importancia de esta definici´on. Ejemplo 2.4.1 Consideremos la cadena de tiempo estudiada en el Ejercicio 2.2.4, supongamos adem´as que la distribuci´ on inicial es q(1) = 0,3, q(2) = 0,5 y q(3) = 0,2. De esta manera podemos ver que: π0 · P = =



 0,2 0,5 0,3 0,3 0,5 0,2 ·  0,1 0,3 0,6  0,7 0,2 0,1
0,25 0,34 0,41


Donde 0,25 es la probabilidad de que la variable aleatoria X1 = 1, 0,34 es la probabilidad de que la variable aleatoria X1 = 2 y 0,41 es la probabilidad de que la variable aleatoria X1 = 3, dicho esto podemos observar que el producto de la distribuci´on inicial por la matriz de transici´on es la distribuci´on de la variable aleatoria X1 . Ejemplo 2.4.2 En la cadena de movilidad social estudiada en el Ejemplo 2.3.1, supongamos que la distribuci´ on inicial est´a dada por q(1) = 0,2, q(2) = 0,2, q(3) = 0,3, q(4) = 0,15 y q(5) = 0,15. Multiplicando la distribuci´on inicial por la matriz de trancisi´on tenemos:   0,5 0,2 0,15 0,1 0,05  
 0,3 0,3 0,2 0,15 0,05   0,2 0,2 0,3 0,15 0,15 ·  π0 · P =  0,1 0,2 0,4 0,2 0,1   0,05 0,15 0,2 0,3 0,3  0,1 0,15 0,15 0,2 0,4
0,2125 0,205 0,2425 0,185 0,155 =

2.5.

Distribuci´ on Estacionaria.

Es determinante ver que la distribuci´on inicial y la distribuci´on de la variable X1 no son iguales en los Ejemplos 2.4.1 y 2.4.2 que se analizaron. Ser´ıa interesante saber qu´e ocurre cuando la distribuci´on inicial es igual que la distribuci´on de la variable aleatoria X1 [5], lo que nos lleva a la siguiente definici´on:

CAP´ITULO 2

24

Definici´ on 2.5.1 Si la distribuci´on en el tiempo 0, es la misma que en el tiempo 1, la propiedad de Markov nos asegura que ser´a la distribuci´on en todo momento n, y ser´a llamada distribuci´ on estacionaria, es decir: π·P = π

Para tener una mejor idea realicemos algunos ejemplos y, de esta manera, despejaremos cualquier duda acerca de la distribuci´on estacionaria y tendremos una idea clara de c´omo calcularla. Ejemplo 2.5.1 Supongamos que tenemos una cadena de Markov de dos estados con matriz de transici´on:   1−a a P = b 1−b Calcule la distribuci´ on estacionaria para esta cadena. Sabemos que para que una distribuci´on sea estacionaria π · P = π, es decir:  

1−a a π1 π2 π1 π2 · = b 1−b Del cual obtendremos el siguiente sistema de ecuaciones:

−π1 a + π2 b = 0 π1 a − π2 b = 0 Que no nos aporta ninguna informaci´on acerca de c´omo son π1 y π2 , recordemos adem´as que la suma de las π’s es 1, de esta manera construimos el siguiente sistema: π1 + π2 = 1 π1 a − π2 b = 0 Del cual sabemos que las soluciones son π1 =

b a y π2 = , para comprobar esto vemos que: a+b a+b

a b − ba + ab b b (1 − a) + (b) = = a+b a+b a+b a+b b a ba + a − ab a (a) + (1 − b) = = a+b a+b a+b a+b Con estos c´alculos ya sabemos cu´al es la distribuci´on estacionaria, para cualquier cadena de Markov de dos estados. Ejemplo 2.5.2 Calcule la distribuci´on estacionaria para una cadena de Markov de tres estados.

CAP´ITULO 2

25

Considerando que es una cadena de tres estados, entonces su matriz de transici´on est´a dada por:   a b 1−a−b P =  c d 1−c−d  e f 1−e−f

De esta manera:

π · P = π a b 1−a−b (π1 π2 π3 ) ·  c d 1 − c − d  = (π1 π2 π3 ) e f 1−e−f 

De lo anterior obtenemos el siguente sistema de ecuaciones:

aπ1 + cπ2 + eπ3 = π1 bπ1 + dπ2 + f π3 = π2 (1 − a − b)π1 + (1 − c − d)π2 + (1 − e − f )π3 = π3 Sabemos que π1 + π2 + π3 = 1, por lo que reemplazaremos la tercera ecuaci´on del sistema anterior por esta u ´ ltima, de esta manera obtenemos: aπ1 + cπ2 + eπ3 = π1 bπ1 + dπ2 + f π3 = π2 π1 + π2 + π3 = 1 Usando alg´ un m´etodo para resolver sistemas de ecuaciones obtenemos: cf − e(d − 1) (a − 1)(d − 1) + e(b − d + 1) + f (c − a + 1) − bc be − f (a − 1) = (a − 1)(d − 1) + e(b − d + 1) + f (c − a + 1) − bc (a − 1)(d − 1) − bc = (a − 1)(d − 1) + e(b − d + 1) + f (c − a + 1) − bc

π1 = π2 π3

Con esto hemos calculado la distribuci´on estacionaria para cualquier cadena de Markov de tres estados, sin embargo, en los siguiente ejemplo no lo usaremos, puesto que deseamos que el lector se d´e cuenta de un detalle fino en los c´alculos para la distribuci´on estacionaria. Ejemplo 2.5.3 Calcule la distribuci´on estacionaria para la cadena de Markov de tres estados que tiene la siguiente matriz de transici´on: 

 0,8 0,1 0,1 P =  0,2 0,6 0,2  0,2 0,4 0,4

CAP´ITULO 2

26

De igual manera al ejercicio anterior vemos  0,8
π1 π2 π3 ·  0,2 0,2

Cuyo sistema de ecuaciones es:

que:  0,1 0,1 0,6 0,2  = 0,4 0,4

π1 π2 π3




0,8π1 + 0,2π2 + 0,2π3 = π1 0,1π1 + 0,6π2 + 0,4π3 = π2 0,1π1 + 0,2π2 + 0,4π3 = π3 El cual no nos aporta ninguna informaci´on sobre c´omo son nuestas π’s, debido a que si sumamos las tres ecuaciones obtendremos π1 + π2 + π3 = π1 + π2 + π3 , pero sabemos que π1 + π2 + π3 = 1 y reemplaz´andola por la tercera ecuaci´on del sistema anterior tendremos: −0,2π1 + 0,2π2 + 0,2π3 = 0 0,1π1 − 0,4π2 + 0,4π3 = 0 π1 + π2 + π3 = 1 De la tercera ecuaci´on vemos que π3 = 1 − π1 − π2 y sustituyendo en las dos primeras obtenemos: 0,5π1 + 0,1π2 = 0,3 0,2π1 + 0,7π2 = 0,3 Multiplicando la primera ecuaci´on por 0.7 y -0.1 por la segunda entonces: 1,8 = (0,35 − 0,02)π1 ´o π1 =

6 11

Multiplicando la primera ecuaci´on por 0.2 y multiplicando por -0.5 la segunda nos da: −0,09 = (0,02 − 0,35)π2 ´o π2 =

3 11

2 Dado que las tres suman 1, entonces π3 = . de esta manera la distribuci´on estacionaria est´a dada 11 por:   3 2 6 π = 11 11 11 Ejemplo 2.5.4 Consideremos la cadena de la movilidad social del Ejercicio 2.3.1 y calculemos su distribuci´ on estacionaria: 0,5 0,2 0,15 0,1 0,05 0,3 0,3 0,2 0,15 0,05 0,1 0,2 0,4 0,2 0,1 0,05 0,15 0,2 0,3 0,3 0,1 0,15 0,15 0,2 0,4

CAP´ITULO 2

27

Usando las primeras dos ecuaciones del sistema π · P = π y el hecho de que la suma de las π’s es 1, obtenemos el siguiente sistema: 0,5π1 + 0,2π2 + 0,15π3 + 0,1π4 + 0,05π5 0,3π1 + 0,3π2 + 0,2π3 + 0,15π4 + 0,05π5 0,1π1 + 0,2π2 + 0,4π3 + 0,2π4 + 0,1π5 0,05π1 + 0,15π2 + 0,2π3 + 0,3π4 + 0,3π5 π1 + π2 + π3 + π4 + π5

= = = = =

π1 π2 π3 π1 1

Esto se truduce como la distribuci´on estacionaria por una matriz A, igual a un vector que tiene de u ´ ltima coordenada un uno y puros ceros, es decir, π · A = (0 0 1) donde:   −0,5 0,2 0,15 0,1 1  0,3 −0,7 0,2 0,15 1     0,1 0,2 −0,6 0,2 1 A=    0,05 0,15 0,2 −0,7 1  0,1 0,15 0,15 0,2 1

Tengamos en cuenta que las dos primeras columnas de la matriz A consiste en las primeras dos columnas de la matriz de transici´on restando 1 de la diagonal, y la columna final es de unos. Es f´acil ver que el sistema π · A = (0 0 1) y se ve como π = (0 0 1) · A−1 . Calculando la inversa de A:   −1,716559 −0,100598 0,006381 0,196317 1,614459 −0,411028 −1,204932 −0,072821 0,112610 1,576171    −1  1,438411  A = −0,027401 −0,080328 −1,338188 0,007507   0,093842 0,001126 −0,074698 −1,1216005 1,1013306 0,218652 0,202623 0,225952 0,186670 0,1661004

De la u ´ ltima fila de esta matriz tenemos:


0,218652 0,202623 0,225952 0,186670 0,1661004

2.6.

Distribuci´ on L´ımite.

Como ya hemos visto a lo largo de las secciones anteriores, el comportamiento a largo plazo de una cadena de Markov es importante, porque que vemos c´omo se comportar´a dicha cadena. Al igual que la distribuci´on inicial podemos definir un vector fila para cada instante n de ´esta. El vector tiene como componentes la probabilidad de iniciar en uno de los estados en el instante n [9]: πn = (πn (1), . . . , πn (k)) Con πn (j) ≥ 0 ,

k X j=0

πn (j) = 1

CAP´ITULO 2

28

Lo que nos lleva a la siguiente relaci´on: πn (j) = P(Xn = j) k X = P(X0 = i)P(Xn = j|X0 = i) =

i=1 k X

π0 (i)P(Xn = j|X0 = i)

i=1

Si usamos la teor´ıa de matrices para los c´alculos de distribuciones, podemos ver lo anterior de la siguiente manera: πn = π0 P n Como ya se mencion´o, toda matriz de transici´on P determina una sucesi´on de distribuciones π0 , π1 , . . . sobre el espacio de estados S [9], y ´esta est´a dada por: πn = πn−1 P = . . . = π0 P n , n ≥ 1

(2.7)

Bajo determinadas condiciones la sucesi´on anterior es convergente a una distribuci´on de probabilidad π, supongamos entoces que: π = l´ım πn n→∞

Dicho esto analizaremos las propiedades de la distribuci´on π, tomando el l´ımite cuando n → ∞ en la igualdad (2.7) tendremos: π = πP

(2.8)

y π = π0



l´ım P n

n→∞

Esto nos lleva al an´alisis de varios resultados intuitivos: Observaci´ on 2.6.1 estacionaria.



(2.9)

(i) La Ecuaci´on (2.8) nos dice que la distribuci´on l´ımite es una distribuci´ on

(ii) (2.8) indica que la distribuci´on l´ımite no depende de la distribuci´on inicial. (iii) (2.9) implica que la distribuci´on l´ımite est´a dada por la n−´esima potencia de la matriz P . (iv) A partir de (2.9) el l´ımite de las potencias de P es una matriz con todas sus filas iguales y las entradas de dicha matriz ser´an los elementos de la distribuci´on l´ımite. Dicho todo esto analizaremos entonces la definici´on formal de la distribuci´on l´ımite.

CAP´ITULO 2

29

Definici´ on 2.6.1 Consideremos una cadena de Markov con matriz de transici´on P y distribuci´ on inicial π0 . Llamaremos distribuci´on l´ımite de esta cadena a la matriz fila: π = l´ım π0 P n = l´ım π0 pn (i, j) n→∞

n→∞

Para tener una idea m´as precisa de esto analizaremos algunos ejemplos, en los cuales quedar´a resuelta la gran mayor´ıa de nuestras dudas acerca de lo estudiado hasta este momento en esta secci´on. Ejemplo 2.6.1 Consideremos la cadena de tiempo y distribuci´on estacionaria estudiadas en el Ejemplo 2.4.1: 0,3 0,5 0,2

π0 = 




 0,2 0,5 0,3 P =  0,1 0,3 0,6  0,7 0,2 0,1

Como ya vimos en el Ejemplo 2.4.1: π1 = π0 P =

 0,2 0,5 0,3

0,3 0,5 0,2 ·  0,1 0,3 0,6  = 0,25 0,34 0,41 0,7 0,2 0,1 

Si continuamos con los c´alculos tenemos que:   0,3 0,31 0,39

0,3 0,5 0,2 · 0,47 0,26 0,27 = 0,371 0,309 0,32 π2 = π0 P 2 = 0,23 0,43 0,34 Continuando con el proceso: π4 = π0 P 4 = Similarmente:

π8 = π0 P 8 = = De esta manera:



 0,3254 0,3413 0,3333
0,3 0,5 0,2 · 0,3253 0,3294 0,3453 = 0,33013 0,33295 0,33692 0,3493 0,3293 0,3214


  0,33333174 0,33323893 0,33342933
0,3 0,5 0,2 · 0,33361973 0,33323654 0,33314373 0,33304853 0,33352453 0,33342694
0,333419093 0,333294855 0,333286052 l´ım πn =

n→∞



1 3

1 3

1 3



CAP´ITULO 2

2.7.

30

Periodicidad.

Comenzaremos esta secci´on analizando la cadena de Ehrenfest estudiada en el Ejemplo 2.2.3 para el caso en el que n = 5. Ejemplo 2.7.1 La matriz de trancisi´on est´a dada por: 

   P =    

0 1 0 0 0 0 1/5 0 4/5 0 0 0 0 2/5 0 3/5 0 0 0 0 3/5 0 2/5 0 0 0 0 4/5 0 1/5 0 0 0 0 1 0

       

Por lo que: 

   A =     Calculando la inversa tenemos:  −1,33333  −0,36458   −0,16145 −1 A =   −0,07812   −0,03125 0,03125

−1 1 0 0 0 1 0,2 −1 0,8 0 0 1 0 0,4 −1 0,6 0 1 0 0 0,6 −1 0,4 1 0 0 0 0,8 −1 1 0 0 0 0 1 1

−1,66667 −1,82291 −0,80729 −0,39062 −0,15625 0,15625

       

−0,83333 0,83333 1,66667 1,33333 −1,14583 0,52083 1,51041 1,30208 −1,61458 0,05208 1,27604 1,25520 −0,78125 −0,78125 0,85937 1,17187 −0,31250 −0,31250 −0,15625 0,96875 0,31250 0,31250 0,15625 0,03125

Donde la u ´ ltima fila de esta matriz est´a dada por:

Que converge a:


0,03125 0,15625 0,31250 0,31250 0,15625 0,03125 

1 32

5 32

10 32

10 32

5 32

Con base en esto podemos decir:   n k π(k) = 2n

1 32



       

CAP´ITULO 2

31

Para comprobar que es correcto observemos que para 0 < k < n, podemos terminar en el estado k s´olo si subimos de k − 1 ´o por bajando de k + 1, por lo que:     n n k−1 k+1 n−k+1 k+1 π(k − 1)p(k − 1, k) + π(k + 1)p(k + 1, k) = · + · n n n 2 n 2 1 (n + 1)! (n − 1)! = n + 2 (k − 1)!(n − k)! (k)!(n − k + 1)!    k n−k 1 n = π(k) + = n k 2 n n La u ´ nica manera de terminar en 0 es porque bajamos de 1, entonces: n 1 π(1)p(1, 0) = n · = π(0) 2 n Del mismo modo, la u ´ nica manera de terminar en n es porque subimos de n − 1, esto es: n 1 π(n − 1)p(n − 1, n) = n · = π(0) 2 n Sin embargo si consideramos esta cadena con n = 3 tenemos que la matriz de transici´on para este caso es:   0 1 0 0 1/3 0 2/3 0   Q =   0 2/3 0 1/3 0 0 1 0

Calculando la trancisi´on en dos pasos tendremos:   1/3 0 2/3 0  0 7/9 0 2/9  Q2 =  2/9 0 7/9 0  0 2/3 0 1/3

Podemos ver que el patr´on se desplaz´o, si continuamos con la transici´on de tres pasos obtenemos:   0 7/9 0 2/9 7/27 0 20/27 0   Q3 =   0 20/27 0 7/27 2/9 0 7/9 0 Continuando con Q4 tenemos:

Q4

 7/27 0 20/27 0  0 61/81 0 20/81  =  20/81 0 61/81 0  0 20/27 0 7/27 

Hemos visto que el patr´on efectivamente se desplaz´o, adem´as, es f´acil ver que en Q2n tenemos q 2n (i, j) > 0 si i + j es par y q 2n+1 (i, j) = 0 si i + j es impar. Caso contrario en Q2n+1 pues q 2n+1 (i, j) > 0 si i + j es impar y q 2n+1 (i, j) = 0 si i + j es par. Lo que hace muy dif´ıcil notar la convergencia de Qn cuando n → ∞. Lo que nos lleva a las siguientes definiciones:

CAP´ITULO 2

32

Definici´ on 2.7.1 Sea {Xn , n ≥ 0}, una cadena de Markov con matriz de transici´on P , decimos que P es irreducible, si para cada i y j se puede llegar de i a j, es decir, pm (i, j) > 0 para alg´ un m ≥ 1. Definici´ on 2.7.2 Sea i un estado de una cadena de Markov, diremos que i es una estado aperi´ odin co, si el m´aximo com´ un divisor de Ji = {n ≥ 1 : p (i, i) > 0} es 1, es decir: gcd(Ji ) = 1 Supongamos que el m´aximo com´ un divisor de Ji es k, en otras palabras, k = gcd(Ji ) diremos que k es el periodo del estado i. Consideremos el siguiente ejemplo para tener una idea m´as clara de lo que sucede con estas definiciones. Ejemplo 2.7.2 (Tri´angulo y cuadrado.) Consideremos el espacio de estados S = {−2, −1, 0, 1, 2, 3} y la probabilidad de transici´on es: −2 −1 0 1 2 3

−2 −1 0 1 2 3 0 0 1 0 0 0 1 0 0 0 0 0 0 1/2 0 1/2 0 0 0 0 0 0 1 0 0 0 0 0 0 1 0 0 1 0 0 0

Es decir, 0 → −1 → −2 → 0 es un tri´angulo y 0 → 1 → 2 → 3 → 0 es un cuadrado. (ver Figura 2.6)

Figura 2.6: Cadena tri´angulo y cuadrado. Pongamos nuestra atenci´on en el estado 0, es claro que tenemos la misma probabilidad de ir a 1 ´o -1, m´as a´ un p3 (0, 0) > 0 puesto que p3 (0, 0) = p(0, −1)p(−1, −2)p(−2, 0) y p4 (0, 0) > 0 ya que p4 (0, 0) = p(0, 1)p(1, 2)p(2, 3)p(3, 0), dicho esto sabemos que 3, 4 ∈ J0 , por lo que: J0 = {3, 4, 6, 7, 8, 9, 10, . . .}

CAP´ITULO 2

33

Podemos ver que 5 ∈ / J0 pues no hay forma de llegar a 0 en 5 pasos, y despu´es de 6 el resto de los n´ umeros estan en J0 . Observemos que J0 es cerrado bajo la suma, dicho esto no es dif´ıcil concluir que el m´aximo com´ un divisor de J0 es 1, por lo tanto 0 es un estado aperi´odico. Ejemplo 2.7.3 Consideremos una cadena de Markov con espacio de estados S = {1, 2, 3, 4} y matriz de transici´on:   0,5 0,5 0 0  0,3 0,7 0 0   P =   0 0 0,2 0,8  0 0 0,8 0,2 La din´amica de cadena de Markov se puede ver de una manera m´as gr´afica en la Figura 2.7.

Figura 2.7: Din´amica de la cadena de Markov con espacio de estados S = {1, 2, 3, 4}. Veamos que si la cadena comienza en 1 ´o 2 se queda en esos dos estados, de manera muy similar si comienza en los estados 3 ´o 4, por lo que la cadena es reducible. Para ver que esto es cierto, tengamos en cuenta que si la cadena comienza en 1 ´o 2, ´esta se comporta como una cadena de Markov con espacio de estados S1 = {1, 2} y matriz de transici´on:   0,5 0,5 P1 = 0,3 0,7 Sucede lo mismo si comienza en 3 ´o 4, esto puede ser un ejemplo muy sencillo que nos muestre c´omo es el comportamiento de una cadena de Markov reducible, pues en ´estas se puede analizar el comportamiento a largo plazo reduciendo la cadena en subcadenas con espacios de estados m´as peque˜ nos.

CAP´ITULO 2

2.8.

34

Teorema de la Convergencia.

Teorema 2.8.1 Si P es irreducible y tiene un estado aperi´odico, entonces hay una u ´nica distribuci´on estacionaria π para cualquier i y j, es decir: l´ım pn (i, j) = π(j)

(2.10)

n→∞

Demostraci´on. Sea {Yn , n ≥ 0}, una cadena de Markov independiente de la cadena {Xn , n ≥ 0}, pero con la misma matriz de transici´on. De esta manera definimos {Zn , n ≥ 0}, como Zn = (Xn , Yn ) es una cadena de Markov con probabilidad de transici´on: P(Zn = (xn+1 , yn+1)|Zn = (xn , yn )) = p(xn , xn+1 )p(yn , yn+1 ) Podemos verificar f´acilmente que Zn tiene distribuci´on estacionaria, es decir: πZ = πX πY Para ver que efectivamente esto es cierto, tomemos (x0 , y0 ) ∈ S ′ , donde S ′ es el espacio de estados de {Zn , n ≥ 0}, de esta manera: X

πZ ((x0 , y0))p((x0 , y0 ), (x, y)) =

XX

=

πX (x0 )πY (y0 )p(x0 , x)p(y0 , y)

y0

x0

(x0 ,y0 )

X

πX (x0 )p(x0 , x)

x0

!

X

πY (y0 )p(y0 , y)

y0

!

= πX (x)πY (y) = πZ ((x, y))

Veamos que, como P es irreducible entonces existe un natural n0 , tal que: pn (x0 , x) > 0 y pn (y0 , y) > 0

para toda n ≥ n0

Por lo que: pn ((x0 , y0), (x, y)) = pn (x0 , x)pn (y0 , y)

para toda n ≥ n0

Lo anterior es cierto debido a que Xn y Yn son aperi´odicas, por lo que Zn es recurrente positiva y en particular es recurrente. Sea j un estado de la cadena original (Xn ), definimos el primer momento en el que la cadena Zn , n ≥ 0, visita por primera vez el estado (j, j) como τj = m´ın {n ≥ 1 : Zn = (j, j)}, sea τ = m´ın {n ≥ 1 : Xn = Yn }, y τ ser´a el primer momento en el que coinciden las dos cadenas, como

CAP´ITULO 2

35

Zn , n ≥ 0, es recurrente entoces P(τ < ∞) = 1, adem´as τ ≤ τj , por la propiedad de Markov P(Xn = x, τ ≤ n) =

n XX

r=1 n XX

P(Xn = x, Xr = j, τ = r)

j

= =

r=1 n XX

P(Xn = x|Xr = j, τ = r)P(Xr = j, τ = r)

j

r=1 n XX

P(Yn = x|Yr = j, τ = r)P(Yr = j, τ = r)

j

=

j

P(Yn = x|Yr = j)P(Yr = j, τ = r)

r=1

= P(Yn = x, τ ≤ n) Es decir, sobre el evento (τ ≤ n), las variables aleatorias Xn y Yn tienen la misma distribuci´on de probabilidad, por otra parte: P(Xn = j) = P(Xn = j, τ ≤ n) + P(Xn = j, τ > n) = P(Yn = x, τ ≤ n) + P(Xn = j, τ > n) ≤ P(Yn = j) + P(τ > n)

(2.11)

P(Yn = j) = P(Yn = j, τ ≤ n) + P(Yn = j, τ > n) = P(Xn = x, τ ≤ n) + P(Yn = j, τ > n) ≤ P(Xn = j) + P(τ > n)

(2.12)

Mientras que:

De (2.11) y (2.12) concluimos que: |P(Xn = j) − P(Yn = j)| ≤ P(τ > n) → 0 Cuando n → ∞. Tomando X0 = i con probabilidad uno, tenemos: P(Xn = j) = P(Xn = j|X0 = i)P(X0 = i) = pn (i, j)P(X0 = i) = pn (i, j) Si tomamos Y0 con la distribuci´on estacionaria π, entonces: X P(Yn = j) = P(Yn = j|Y0 = i)π(i) i

=

X

π(i)pn (i, j)

i

= π(j)

(2.13)

CAP´ITULO 2

36

Sustituyendo en (2.13) podemos concluir que: |pn (i, j) − π(j)| → 0 El Teorema 2.8.1 es conocido como Teorema de la Convergencia, y como consecuencia inmediata a ´este, tenemos el siguiente resultado [9]. Corolario 2.8.1 Si para alg´ un n, pn (i, j) > 0 para todo i y j entoces hay una u ´nica distribuci´ on estacionaria π, y: l´ım pn (i, j) = π(j)

n→∞

Demostraci´on. Como P es irreducible, entonces podemos llegar a cualquier estado en n pasos, es decir, pn (i, j) > 0, como i y j son arbitrarios, entoces todos los estados son aperi´odicos, de esta manera pn+1 (i, j) > 0 por lo que n, n + 1 ∈ Ji asi gcd Ji = 1. Haciendo n = 1 en el corolario, es f´acil ver que se puede aplicar el teorema de la convergencia a la cadena de tiempo, mientras que este teorema no es aplicable a la cadena de la ruina del jugador, porque en ´este u ´ ltimo tenemos estados absorbentes y, por lo tanto no son irreducibles. Ademas como vimos en la cadena de Ehrenfest con n = 3 todos los estados tienen periodo 2, por lo que ahora analizaremos otro modelo conocido como la cadena de inventario [5]. Veamos el siguiente ejemplo en el cual podemos apreciar c´omo aplicar los dos resultados anteriores. Ejemplo 2.8.1 Una tienda vende un determinado producto, si al final del d´ıa el n´ umero de unidades que posee la tienda es 0 ´o 1, se adquiere m´as producto, teniendo en cuenta que el l´ımite de productos que puede tener es 5. Suponiendo que la nueva mercanc´ıa llega antes de abrir la tienda, al d´ıa siguiente, sea Xn , n ≥ 0, el n´ umero de unidades en el inventario al final del n−´esimo d´ıa, si suponemos que el n´ umero de clientes que compran el producto cada d´ıa es 0, 1, 2, 3 con probabilidad 0,3, 0,4, 0,2 y 0,1 respectivamente, obtenemos las siguiente matriz de trancisi´ on:  0 0 0,1 0,2 0,4 0,3 0 0 0,1 0,2 0,4 0,3   0,3 0,4 0,3 0 0 0   P =   0,1 0,2 0,4 0,3 0 0    0 0,1 0,2 0,4 0,3 0  0 0 0,1 0,2 0,4 0,3 

Primero comprobaremos la irreducibilidad, observamos que a partir de 0, 1 o´ 5, se puede llegar a 2, 3, 4 y 5 en un solo paso, y en 0 y 1 en dos etapas pasando por 2 o´ 3. A partir de 2 o´ 3 podemos llegar a 0, 1 y 2 en un solo paso y en 3, 4 y 5 en dos etapas pasando por 0. Por u ´ ltimo a partir de 4 podemos llegar a 1, 2, 3 y 4 en un solo paso y en 0 ´o 5 en dos etapas a trav´es de 2 ´o 1 respectivamente. Para comprobar aperiodicidad, observemos que p(5, 5) > 0, por lo que 5 es

CAP´ITULO 2

37

aperi´odico. Para ver que efectivamente esto es  0,05 0,12  0,05 0,12   0,09 0,12 2 P =   0,15 0,22   0,10 0,19 0,05 0,12

verdad calculamos P 2 : 0,22 0,22 0,16 0,27 0,29 0,22

0,28 0,28 0,14 0,15 0,26 0,28

0,24 0,24 0,28 0,12 0,13 0,24

0,09 0,09 0,21 0,09 0,03 0,09

       

Como todas las entradas son positivas en P 2 podemos aplicar el corolario anterior para afirmar que esta cadena es irreducible y tiene distribuci´on estacionaria u ´ nica.

2.9.

Cadenas doblemente estoc´ asticas.

Ya que analizamos bastantes conceptos fundamentales de las cadenas de Markov, ahora introduciremos una idea nueva, aunque relacionada con las anteriores y con base en ´esta veremos si las diferentes propiedades que ya tenemos se siguen cumpliendo. P Definici´ on 2.9.1 Sea {Xn , n ≥ 0}, una cadena de Markov, donde p(i, j) = 1, suponiendo j P adem´as que la cadena cumple con la condici´on de que p(i, j) = 1, diremos que Xn , n ≥ 0, es una cadena de Markov doblemente estoc´astica.

i

Proposici´ on 2.9.1 Si {Xn , n ≥ 0}, es una cadena doblemente estoc´astica, si la cadena tiene N 1 estados entonces la distribuci´on estacionaria es π(i) = , ya que: N X 1 π(i)p(i, j) = (2.14) N i P 1 1 1 P Para ver que (2.14) es v´alida, como π(i) = p(i, j) y por la tenemos que p(i, j) = N N i i N P Definici´on 2.9.1 sabemos que p(i, j) = 1 lo que nos lleva a afirmar que (2.14) es cierta. Una vez i

que ya definimos c´omo es una cadena doblemente estoc´astica, analizaremos un ejemplo bastante sencillo para tener una idea m´as clara y precisa acerca de este tema.

Ejemplo 2.9.1 (Juego de mesa Tiny.)Considere un juego de mesa circular con s´olo seis espacios {0, 1, 2, 3, 4, 5}. En cada turno decidimos hasta d´onde nos desplazamos lanzando dos monedas, y luego moviendo un espacio por cada cara obtenida. En este caso la matriz de transici´on es: 

   P =    

1/4 1/2 1/4 0 0 0 0 1/4 1/2 1/4 0 0 0 0 1/4 1/2 1/4 0 0 0 0 1/4 1/2 1/4 1/4 0 0 0 1/4 1/2 1/2 1/4 0 0 0 1/4

       

CAP´ITULO 2

38

Aqu´ı consideremos que el 5 est´a junto a 0, por lo que si estamos ah´ı y obtenemos dos caras el resultado es 5 + 2 m´od (6) = 1, donde i + k m´od (6) es lo que queda al dividir i + k por 6. Es claro ver que la sumas de las columnas de la matriz P es 1, por lo que la distribuci´on estacionaria es uniforme, para comprobar la hip´otesis del teorema de la convergencia, se observa que despu´es de tres turnos nos habremos movido entre 0 y 6 espacios por lo que, p3 (i, j) > 0. Para comprobar ´esto calculemos P 2 y P 3 :   1/16 1/4 3/8 1/4 1/16 0  0 1/16 1/4 3/8 1/4 1/16    1/16 0 1/16 1/4 3/8 1/4  2   P =   1/4 1/16 0 1/16 1/4 3/8    3/8 1/4 1/16 0 1/16 1/4  1/4 3/8 1/4 1/16 0 1/16 y

P3

 1/32 3/32 15/64 5/16 15/64 3/32  3/32 1/32 3/32 15/64 5/16 15/64   15/64 3/32 1/32 3/32 15/64 5/16   =   5/16 15/64 3/32 1/32 3/32 15/64   15/64 5/16 15/64 3/32 1/32 3/32  3/32 15/64 5/16 15/64 3/32 1/32 

Podemos observar que las entradas en P 3 son todas positivas, adem´as de que P es irreducible. Aplicando el corolario anterior podemos concluir que tenemos una distribuci´on estacionaria u ´ nica, que en efecto ya conoc´ıamos por el hecho de que la cadena es doblemente estoc´astica.

2.10.

Cadenas de Tiempo Continuo.

A lo largo de este trabajo hemos discutido las cadenas de Markov en las que los cambios entre los diferentes estados se dan de manera discreta, esto es en un periodo de tiempo fijo. A estas cadenas se les conoces como cadenas de tiempo discreto, sin embargo, en general los periodos de tiempo no necesariamente son fijos, es decir, existe la posibilidad de que los cambios se den continuamente en el tiempo, en cuyo caso lo denominaremos proceso de Markov. Tambi´en existe la posibilidad de que los periodos sean variables aleatorias continuas. A este tipo de procesos los denominaremos Cadenas de Markov de Tiempo Continuo. Estas cadenas son bastante u ´ tiles para resolver modelos de sistemas de gesti´on de colas, sistemas de manofactura y sistemas de re-manofactura [7]. Para tener una idea mas clara de esto, consideraremos el estudio de un proceso que es un claro ejemplo de una cadena de Markov de tiempo continuo, dicho proceso es conocido como Proceso de Poisson.

2.10.1.

Proceso de Poisson.

A continuaci´on estudiaremos uno de los procesos m´as importantes dentro de la teor´ıa de las cadenas de Markov de tiempo continuo. Primero analizaremos la definici´on de un proceso de Pois-

CAP´ITULO 2

39

son, dicho esto daremos las caracter´ısticas principales del proceso de Poisson [7]. Un proceso se denomina proceso de Poisson, si: (A1) La probabilidad de ocurrencia de un evento en el intervalo de tiempo (t, t + δt) es λδt + o(δt). Donde λ es una constante positiva y o(δt) es tal que: o(δt) = 0 δt→0 δt l´ım

(A2) La probabilidad de ocurrencia de ning´ un evento en el tiempo (t, t + δt) es 1 − λt + o(δt). (A3) La probabilidad de ocurrencia de m ´as de un evento es o(δt). De esta manera un evento de este proceso puede describir la llegada de un autob´ us o un cambio de cliente [7]. A partir de A1, A2 y A3, podemos observar la distribuci´on de Poisson. Sea Pn (t) la probabilidad de que el evento n ocurra en el intervalo [0, t], supangamos que Pn (t) es diferenciable, entonces, podemos obtener una relacion entre Pn (t) y Pn−1 (t) como: Pn (t + δt) = Pn (t)(1 − λδt − o(δt)) + Pn−1 (t)(λδt + o(δt)) + o(δt) Reoordenando los t´erminos podemos ver que: o(δt) Pn (t + δt) − Pn (t) = −λPn (t) + λPn−1 (t) + (Pn−1 (t) + Pn (t)) δt δt Tomando el l´ımite cuando δt → 0 tenemos: o(δt) Pn (t + δt) − Pn (t) = −λPn (t) + λPn−1 (t) + l´ım (Pn−1 (t) + Pn (t)) δt→0 δt→0 δt δt = −λPn (t) + λPn−1 (t) + 0 l´ım

Por lo que obtenemos una ecuaci´on diferencial: dPn (t) = −λPn (t) + λPn−1 (t) , n = 0, 1, 2, . . . dt

(2.15)

Haciendo n = 0 en (2.15) dado que P−1 (t) = 0 obtenemos la siguiente ecuaci´on diferencial para P0 (t): (

dPo (t) = −λP0 (t) dt P0 (0) = 1

Donde P0 (0) es la probabilidad de que ning´ un evento se prudujo en el intervalo [0, 0] es por eso que debe de ser 1, resolviendo la ecuaci´on para P0 (t) obtenemos: P0 (t) = e−λt

(2.16)

CAP´ITULO 2

40

Veamos que (2.16) que es la probabilidad de que ning´ un evento se produzca en el intervalo [0, t]. De esta manera: 1 − P0 (t) = 1 − e−λt

(2.17)

(2.17) es la probabilidad de que al menos un evento se produjo en el intervalo de tiempo [0, t], por lo que la distribuci´on de densidad de probabilidad f (t), para el tiempo de espera y que el primer evento ocurra, est´a dada por la distribuci´on exponencial, bien conocida como:
d 1 − e−λt = λe−λt , t ≥ 0 f (t) = dt Cabe mencionar que:  dPn (t)   = −λPn (t) + λPn−1 (t), n = 1, 2, . . . dt P (t) = e−λt   0 Pn (0) = 0, n = 1, 2, . . .

Comenzaremos resolviendo esta ecuaci´on diferencial para n = 1, en este caso tenemos: d(P1 (t)) + λP1 (t) = λP0 (t) dt d(P1 (t)) + λP1 (t) = λe−λt dt Multiplicando ambos lados por eλt obtendremos: eλt

De esta manera:

d(P1 (t)) + λeλt P1 (t) = λ dt Z Z
d λt e P1 (t) dt = λ tdt dt P1 (t) = λte−λt

Continuando para n = 2, as´ı: d(P2 (t)) + λP2 (t) = λP1 (t) dt
d(P2 (t)) + λP2 (t) = λ λte−λt dt d(P2 (t)) + λP2 (t) = λ2 te−λt dt De nuevo si multiplicamos ambos lados de la ecuaci´on anterior, tenemos: eλt

d(P2 (t)) + λeλt P2 (t) = λ2 t dt

CAP´ITULO 2

41

De esta forma podemos ver que: P2 (t) =

λ2 t2 −λt e 2

Para n = 3: d(P3(t)) + λP3 (t) = λP2 (t) dt  2 2 −λt  d(P3(t)) λte + λP3 (t) = λ dt 2 3 2 λ t −λt d(P3(t)) + λP3 (t) = e dt 2 Multicamos por eλt : eλt

λ3 t2 d(P3 (t)) + λeλt P3 (t) = dt 2

Que tiene por soluci´on a: P3 (t) =

λ3 t3 −λt (λt)3 e = 6 3!

En general: Pn (t) =

(λt)n −λt e n!

Con esto podemos decir que el proceso de Poisson, la distribuci´on de Poisson y la distribuci´on exponencial est´an relacionados entre s´ı, lo que nos lleva a la siguiente proposici´on [7]. Proposici´ on 2.10.1 Las siguientes afirmaciones son equivalentes entre s´ı: (B1) El proceso de llegada de un proceso de Poisson con tasa λ. (B2) Sea N(t) el n´ umero de llegadas en el intervalo de tiempo [0, t], entoces: P (N(t) = n) =

(λt)n −λt e , n = 0, 1, 2, . . . n!

(B3) El tiempo de llegadas sigue la distribuci´on exponencial con media −λ Con todo esto podemos concluir que el Proceso de Poisson es un claro ejemplo de una cadena de Markov de tiempo Continuo.

CAP´ITULO 2

2.10.2.

42

Una Cadena de Markov Continua de dos Estados.

Consideremos un sistema de colas de un servidos que tiene dos posibles estados: 0 (inactivo) y 1 (ocupado). Supongamos que el proceso de llegada de los clientes es un proceso de Poisson con tasa media λ y el tiempo del servidor sigue la distribuci´on exponencial con tasa media µ. Sea P0 (t) la probabilidad de que el servidor est´e inactivo en el tiempo t, y P1 (t) la probabilidad de que el servidor est´e ocupado al tiempo t. Si usamos el mismo argumento que en el proceso de Poisson [7], tenemos:  P0 (t + δt) = (1 − λδt − o(δt)) P0 (t) + (µδt + o(δt)) P1 (t) + o(δt) P1 (t + δt) = (1 − µδt − o(δt)) P1 (t) + (λδt + o(δt)) P0 (t) + o(δt) Reoordenando los t´erminos de las ecuaciones anteriores, tenemos:    P0 (t + δt) − P0 (t) = −λP0 (t) + µP1 (t) + (P1 (t) − P0 (t)) o(δt) δt δt   P1 (t + δt) − P1 (t) = λP0 (t) − µP1 (t) + (P0 (t) − P1 (t)) o(δt) δt δt

Si tomamos el l´ımite cuando δt tiende a 0, entonces:    dP0 (t) = −λP0 (t) + µP1 (t) dt dP 1 (t)   = λP0 (t) − µP0 (t) dt

Lo que nos lleva a un sistema de ecuaciones diferenciales, resolviendo para P1 (0) = 1, obtenemos  ′     P0 (t) −λ µ P0 (t) = P1′ (t) λ −µ P1 (t) Donde: A =



−λ µ λ −µ



Calculando los valores propios para A, as´ı: det(A − πI) = 0 −λ − π µ = 0 λ −µ − π

π 2 + (λ + µ)π = 0

Resolviendo π 2 + (λ + µ)π = 0, vemos que los valores propios son π1 = 0 y π2 = −(λ + µ), ahora calcularemos los vectores propios respectivos a cada uno de los valores propios, de esta maner para π1 = 0, tenemos: (A − 0I) X = 0      −λ µ x1 0 = λ −µ x2 0

CAP´ITULO 2

43

As´ı obtenemos: 

−λ µ λ −µ



→

µ! λ → λ −µ 1 −

µ Por lo que x1 = x2 si hacemos x2 = λ vemos que v1 = λ para π2 = −(λ + µ), entoces:

µ! λ 0

1 − 0

  µ , ahora calculemos el vector propio λ

(A + (λ + µ)I) X = 0      0 x1 µ µ = 0 x2 λ λ As´ı: 

µ µ λ λ



→



 1 1 0 0

Como x1 = −x2 , haciendo x2 = −1, de esta forma π2 = −(λ + µ) obtenemos: v2 = manera podemos afirmar que la soluci´on del sistema es:       P0 (t) µ 1 = C1 + C2 e−(λ+µ)t P1 (t) λ −1



 1 . De esta −1

Dado que P1 (0) = 1, tenemos:       µ 1 0 C1 + C2 = λ −1 1 Donde C1 =

1 µ y C2 = − , por lo que: λ+µ λ+µ µ −(λ+µ)t µ − e λ+µ λ+µ λ µ −(λ+µ)t P1 (t) = + e λ+µ λ+µ P0 (t) =

Debido a que las probabilidades de los estados estables est´an dadas por: µ t→∞ λ+µ λ l´ım P1 (t) = t→∞ λ+µ l´ım P0 (t) =

Con esto podemos decir que no es necesario resolver el sistema de ecuaciones diferenciales para encontrar la distribuci´on de probabilidad del estado estable, podemos ver que tanto P0 (t) como

CAP´ITULO 2

44

P1 (t) cuando t → ∞ son constantes, es decir no depende de t, si tomamos P0 (t) = p0 y P1 (t) = p1 , tenemos que: P0 (t) dp0 = =0 dt dt dp1 P1 (t) = =0 dt dt Reducimos el problema a calcular el siguiente sistema de ecuaciones lineal para calcular la probabilidad del estado estable, es decir:      −λ µ p0 0 = λ −µ p1 0 Teniendo en cuenta que p0 + p1 = 1, tenemos: 

−λ µ 0 1 1 1



µ  λ+µ   → ... →  λ  0 1 λ+µ 

1 0

µ λ y p1 = . Con esto podemos afirmar que la distribuci´on del estado λ+µ λ+µ estable de la cadena de Markov se debe a que los indicadores del sistema, tales como el n´ umero esperado de clientes, y el tiempo medio de espera, los podemos escribir en t´erminos de la distribuci´on de probabilidad del estado estable [7]. Por lo que p0 =

Cap´ıtulo 3 Aplicaciones. 3.1.

Cadena del Monopoly.

Esta secci´on est´a dedicada al juego de mesa conocido como Monopoly. Este juego se juega en un tablero que consiste en 40 casillas (ver Figura 3.1), cada casilla tiene su nombre. Para fines pr´acticos nosotros consideraremos etiquetarlas del 0 al 39, el juego en s´ı es muy sencillo pues se juega con dos dados y avanzamos alrededor del tablero sumando el n´ umero en la cara de los dados despu´es de lanzarlos. Para este trabajo omitiremos algunos peque˜ nos detalles para facilitar la construcci´on de la cadena de Markov para este juego: Primero omitiremos el hecho de que si una persona cae en la c´arcel se quede en ella hasta obtener pares, o que pasen tres turnos. Segundo, consideraremos las casillas de Arca Comunal y Fortuna como casillas comunes, como el resto de las d´emas.

Figura 3.1: Tablero del Monopoly.

45

CAP´ITULO 3

46

Lo primero que tenemos que notar es que la cadena que modelaremos tiene como espacio de estados S = {0, 1, 2, 3, 4, . . . , 38, 39}, tomemos en cuenta que, como jugamos con dos dados, la suma m´ınima que se puede obtener al lanzar un par de estos es 2, mientras que el m´aximo de casillas que podemos avanzar es 12, por lo que llamaremos a rk la probabilidad de que la suma de los dados sea k, en otras palabras, r2 = 1/36, r3 = 2/36, . . . , r11 = 2/36, r12 = 1/36. Es f´acil 12 P ver que rk = 1, de esta manera consideremos que Xn , n ≥ 0, sea la probabilidad de que un k=2

jugador se encuentre en la casilla n en el n−´esimo turno, Xn , n ≥ 0 es una cadena de Markov. Ahora definiremos la probabilidad de transici´on, es decir, la probabilidad de pasar de estar en la casilla i a la casilla j en un turno, con i, j ∈ S, y la definiremos de la siguiente manera: p(i, j) = rk

3.1.1.

si

j =i+k

m´od (40)

Matriz de Transici´ on.

Para tener una idea de esta funci´on de distribuci´on, supongamos que estamos en la casilla n´ umero 38, y al lanzar un dado obtenemos un 8, de esta manera 38 + 8 = 46 y 46 m´od (40) = 6, por lo que p(38, 6) = r8 = 5/36. De esta manera la matriz de transici´on est´a dada por: 

0 0 0 .. .

0 0 0 .. .

0,028 0 0 .. .

... ... ... .. .

0 0 0 .. .

0 0 0 .. .

0 0 0 .. .



          P =     0,056 0,083 0,111 . . . 0 0 0,028   0,028 0,056 0,083 . . . 0 0 0  0 0,028 0,056 . . . 0 0 0 Para ver que es una cadena de Markov, tengamos en cuenta que

P

p(i, j) = 1, para cada i, adem´as

i

de que p(i, j) ≥ 0 para todos i, j ∈ S, lo interesante de una cadena de Markov es ver c´omo se comporta a largo plazo. Con la ayuda de Python haremos los c´alculos necesarios para ver c´omo se comporta dicha cadena, usando los comandos necesarios para evitar hacer los c´alculos a mano, puesto que la matriz de transici´on tiene tama˜ no 40 × 40, de esta manera calculando P 2 , vemos que: 

P2

0 0 0 ... 0 0 0 ...  0 0 0 ...   .. . . .. .. .. = . .   0 0,000784 0,003136 . . .  0 0 0,000784 . . . 0. 0 0. ...

 0 0  0  ..  .  0 0 0  0 0 0 0 0 0

0 0 0 .. .

0 0 0 .. .

CAP´ITULO 3 Nuevamente con la ayuda del software, calculamos  3,62e−3 1,96e−3 1,00e−3 6,18e−3 3,59e−3 1,98e−3  9,94e−3 6,15e−3 3,62e−3   .. .. P 4 =  ... . .  4,63e−4 1,89e−4 6,87e−5  1,00e−3 4,57e−4 1,90e−4 1,98e−3 9,92e−4 4,61e−4

47 P 4: . . . 1,50e−2 . . . 2,16e−2 . . . 2,97e−2 .. .. . . . . . 3,59e−3 . . . 6,15e−3 . . . 9,89e−3

 9,89e−3 6,15e−3 1,50e−2 9,89e−3   2,16e−2 1,50e−2   .. ..  . .   −3 1,96e 9,92e−4   3,59e−3 1,96e−3  6,15e−3 3,59e−3

A partir de P 4 podemos ver que todas las entradas de la matriz de transici´on son positivas. Con esto podemos concluir que P es irreducible y aperi´odica, esto es a´ un m´as f´acil de ver ya que la suma m´axima de las caras de los dados es 12, si lanzamos 4 veces los dados, lo m´ınimo que podemos avanzar son 8 casillas, mientras que el m´aximo de casillas que se puede avanzar es 48, y b´asicamente con 4 lanzamientos podemos dar una vuelta completa al tablero. En el caso de que en los cuatro lanzamientos obtuvimos cantidades muy pr´oximas a 12, continuando con los c´alculos para ver el comportamiento a largo plazo, venemos que:   0,0038 0,0053 0,0073 . . . 0,0016 0,0020 0,0027 0,0027 0,0038 0,0054 . . . 0,0014 0,0016 0,0020   0,0020 0,0027 0,0038 . . . 0,0015 0,0014 0,0016     .. . . . . . 8 . . . . . . . P =  .  . . . . . .   0,0098 0,0128 0,0164 . . . 0,0038 0,0053 0,0073   0,0073 0,0098 0,0128 . . . 0,0027 0,0038 0,0053 0,0054 0,0073 0,0098 . . . 0,0020 0,0027 0,0038

Elevando al cuadrado la matriz anterior tenemos:  0,0293 0,0268 0,0245 0,0317 0,0293 0,0269  0,0340 0,0317 0,0294   .. .. P 16 =  ... . .  0,0220 0,0196 0,0175  0,0244 0,0219 0,0197 0,0269 0,0244 0,0220 Despu´es de 16 etapas, o turnos, calcularemos para a la ecuaci´on de Chapman-Kolmogorov:  0,0210 0,0206 0,0204 0,0215 0,0210 0,0206  0,0221 0,0214 0,0210   .. .. P 32 =  ... . .  0,0202 0,0201 0,0202  0,0203 0,0201 0,0201 0,0206 0,0203 0,0202

 . . . 0,0359 0,0339 0,0317 . . . 0,0377 0,0359 0,0339  . . . 0,0391 0,0377 0,0359  .. .. ..  .. . . . .   . . . 0,0293 0,0268 0,0244  . . . 0,0317 0,0293 0,0268 . . . 0,0339 0,0317 0,0293

32, y todo lo anterior es posible hacerlo gracias  . . . 0,0227 0,0220 0,02149 . . . 0,0234 0,0227 0,02207  . . . 0,0241 0,0234 0,02272  .. .. ..  .. . . . .   . . . 0,0210 0,0206 0,02034  . . . 0,0214 0,0210 0,02062 . . . 0,0220 0,0214 0,02101

CAP´ITULO 3

48

Si continuamos elevando al cuadrado, podemos ver  0,0253 0,0253 0,0255 0,0252 0,0253 0,0254  0,0251 0,0252 0,0253   .. .. 64 P =  ... . .  0,0255 0,0255 0,0256  0,0254 0,0255 0,0256 0,0254 0,0254 0,0255

3.1.2.

que:  . . . 0,0250 0,0251 0,0252 . . . 0,0250 0,0250 0,0251  . . . 0,0249 0,0250 0,0250  .. .. ..  .. . . . .   . . . 0,0253 0,0253 0,0254  . . . 0,0252 0,0253 0,0253 . . . 0,0251 0,0252 0,0253

Distribuci´ on Estacionaria.

Es f´acil ver que cada entrada de nuestra matriz tiende a 0,025, ahora calcularemos la distribuci´on estacionaria. Como notamos que la matriz es irreducible y aperi´odica, podemos afirmar por el Teorema de la Convergencia, que para la cadena del Monopoly, existe la distribuci´on estacionaria. Haremos dicho c´alculo tomando las primeras 39 columnas de la matriz P y restaremos 1 de la diagonal y reemplazaremos la u ´ ltima columna por una columna que consta u ´ nicamente de unos, de esta manera tenemos:   −1 0 0,028 . . . 0 0 1  0 −1 0 ... 0 0 1    0  0 −1 . . . 0 0 1    .. .. .. .. ..  .. A =  ... . . . . . .   0,056 0,083 0,111 . . . −1 0 1   0,028 0,056 0,083 . . . 0 −1 1 0 0,028 0,056 . . . 0 0 1 Calculando la inversa nuevamente con la ayuda de Python, vemos que:  −1,0035 0,0244 0,0244 . . . −0,0036 −0,0035 −0,0070 −0,9791 0,0488 . . . −0,0072 −0,0071  −0,0106 0,0173 −0,9547 . . . −0,0108 −0,0108   .. .. .. .. .. .. A−1 =  . . . . . .  −0,0488 −0,0486 −0,0509 . . . −0,9928 0,0070  −0,0244 −0,0244 −0,0241 . . . 0,0035 −0,9964 0,0250 0,0249 0,0250 . . . 0,0250 0,0250

 0,9964 0,9929  0,9893  ..  .   0,9790  1,0035 0,0249

Si nos fijamos en la u ´ ltima fila de la matriz A−1 , tenemos: π =


0,0250 0,0249 0,0250 . . . 0,0250 0,0250 0,0249

Que se aproxima mucho a:

π =



1 40

1 40

1 1 ... 40 40

1 40

1 40



CAP´ITULO 3

3.1.3.

49

Distribuci´ on L´ımite.

Consideremos ahora el vector fila de tama˜ no 1 × 40 donde la primera entrada es un 1, y el resto de las entradas son 0, y diremos que ser´a la distribuci´on inicial, puesto que en este juego todos los jugadores comienzan en la casilla de salida, entonces:
π0 = 1 0 0 . . . 0 0 0

Es interesante ver qu´e sucede con la distribuci´on de esta cadena de Markov, si comenzamos con la distribuci´on inicial anterior, dicho esto calcularemos la distribuci´on l´ımite para esta cadena, notemos que:
π1 = π0 P = 0 0 0,028 0,056 0,083 . . . 0 0

Calculando π2 = πi P = π0 P P = π0 P 2:

π2 = π0 P 2 = 0 0 0 0 0,000784 0,003136 0,007784 . . . 0 0 An´alogamente para n = 4:




π4 = π0 P 4 = 3,62354e − 03 1,96513e − 03 1,00042e − 03 . . . 6,15312e − 03 Para n = 8:





π8 = π0 P 8 = 0,003891 0,00539 0,00737 0,00984 0,01286 . . . 0,002042 0,002789

Si contimuamos con el proceso podemos ver que:


π16 = π0 P 16 = 0,02939 0,02688 0,02450 0,02198 0,01965 . . . 0,03396 0,031732

Para n = 32 podemos ver ya hacia d´onde se dirige la distribuci´on l´ımite:


π32 = π0 P 32 = 0,02103486 0,02062202 0,02040682 0,02018032 0,02013923 . . . 0,02149927 Una idea m´as clara de lo anterior se ve en el siguiente c´alculo:


π64 = π0 P 64 = 0,0253434 0,02538735 0,02552678 0,0255072 0,02555667 . . . 0,02524536

Con los c´alculos realizados anteriormente podemos afirmar que:   1 1 1 1 1 1 l´ım πn = ... n→∞ 40 40 40 40 40 40 Que es la distribuci´on estacionaria. Es claro que llegar´ıamos a la distribuci´on estacionaria, esto lo podemos afirmar por el Teorema de la Convergencia.

3.2.

Cadena de Tiempo (Clima).

En esta secci´on simularemos una cadena de Markov usando EXCEL, esto para ver c´omo se comporta la cadena y c´omo evoluciona, es decir, ver qu´e estados visita. Consideremos la cadena de tiempo estudiada en el cap´ıtulo anterior, recordemos que su espacio de estados es S = {1, 2, 3} donde, 1 es lluvioso, 2 es nublado sin lluvia y 3 es soleado, sabemos que esta cadena tiene matriz de transici´on P , dada por:   0,2 0,5 0,3 0,1 0,3 0,6 0,7 0,2 0,1

CAP´ITULO 3

3.2.1.

50

Funci´ on de Transici´ on para Xn .

Supongamos que X0 = 1, el objetivo de esta simulaci´on es construir la sucesi´on {Xn , n ≥ 1}, para generar dicha sucesi´on tenemos tres posibilidades: 1. Si Xn = 1, entonces: P (Xn+1 = 1) = 0,2 P (Xn+1 = 2) = 0,5 P (Xn+1 = 3) = 0,3 2. Si Xn = 2, entonces: P (Xn+1 = 1) = 0,1 P (Xn+1 = 2) = 0,3 P (Xn+1 = 3) = 0,6 3. Si Xn = 3, entonces: P (Xn+1 = 1) = 0,7 P (Xn+1 = 2) = 0,2 P (Xn+1 = 3) = 0,6

3.2.2.

Distribuci´ on de Xn .

En EXCEL podemos generar n´ umeros aleatorios en [0, 1] con el comando U=ALEATORIO(), de esta manera generaremos la distribuci´on de la variable aleatoria para el caso 1, de la siguiente manera [7]:   1 si U ∈ [0, 0,2) 2 si U ∈ [0,2, 0,7) Xn+1 =  3 si U ∈ [0,7, 1] De manera similar la distribuci´on para el caso   1 Xn+1 = 2  3

2:

si si si

U ∈ [0, 0,1) U ∈ [0,1, 0,4) U ∈ [0,4, 1]

si si si

U ∈ [0, 0,7) U ∈ [0,7, 0,9) U ∈ [0,9, 1]

An´alogamente lo hacemos para el caso 3: Xn+1

  1 2 =  3

CAP´ITULO 3

3.2.3.

51

Simulaci´ on en EXCEL.

En la siguiente tabla explicamos la funci´on que realizar´a cada celda en EXCEL para simular nuestra cadena de Markov, para ser m´as espec´ıficos, nuestro modelo nos dir´a c´omo evoluciona nuestra cadena a lo largo de 40 etapas, esto es, Xn , n = 0, 1, 2, . . . , 40. Dicho esto veamos c´omo funciona dicho programa en EXCEL [7]. Q2 B3 C3 D3 E3 F3 G3 H3 I3 J3 K3 L3 M3 N3 O3 P3 Q3

1,2,3 = ALEAT ORIO() = SI(B3 < 0,2, 1, −1) = SI(Y (B3 > 0,2, B3 < 0,5), 2, −1) = SI(B3 > 0,5, 3, −1) = MAX(C3, D3, E3) = ALEAT ORIO() = SI(G3 < 0,2, 1, −1) = SI(Y (G3 > 0,2, G3 < 0,5), 2, −1) = SI(G3 > 0,5, 3, −1) = MAX(H3, I3, J3) = ALEAT ORIO() = SI(L3 < 0,2, 1, −1) = SI(Y (L3 > 0,2, L3 < 0,5), 2, −1) = SI(L3 > 0,5, 3, −1) = MAX(M3, N3, O3) = MAX(SI(Q2 = 1, F 3, −1), SI(Q2 = 2, K3, −1), SI(Q2 = 3, P 3, −1))

En la tabla podemos observar que Q2 es X0 , esto implica que la cadena puede comenzar en 1,2 o 3, de B3 − Q3 ser´a la simulaci´on para X1 , tendremos que hacer cada uno de los pasos de la tabla hasta Bi − Qi, i = 3, 5, 6, . . . , 42 que sera el valor 1, 2 ´o 3 que toma la cadena en los 40 pasos. As´ı mostramos c´omo queda nuestra simulaci´on. Para ello analicemos la Figura 3.2, en ella se muestra c´omo queda nuestra simulaci´on, para el caso en el que X0 = 1 y la Figura 3.5 nos muestra una gr´afica de dicha simulaci´on, mientras que las Figuras 3.3 y 3.6 nos muestran el caso en el que X0 = 2 del mismo modo que las Figuras 3.4 y 3.7 nos muestran lo que sucede cuando X0 = 3.

CAP´ITULO 3

52

Figura 3.2: Simulaci´on de una cadena de Markov en EXCEL cuando X0 = 1. Podemos ver que tendremos exactamente 18 d´ıas con lluvia, 9 d´ıas nublados sin lluvia, y 14 d´ıas soleados.

CAP´ITULO 3

53

Figura 3.3: Simulaci´on de una cadena de Markov en EXCEL cuando X0 = 2. Podemos ver que tendremos exactamente 17 d´ıas con lluvia, 8 d´ıas nublados sin lluvia, y 16 d´ıas soleados.

CAP´ITULO 3

54

Figura 3.4: Simulaci´on de una cadena de Markov en EXCEL cuando X0 = 2. Podemos ver que tendremos exactamente 14 d´ıas con lluvia, 13 d´ıas nublados sin lluvia, y 14 d´ıas soleados.

CAP´ITULO 3

55

Figura 3.5: Simulaci´on de una cadena de Markov en EXCEL cuando X0 = 1. Podemos ver que tendremos exactamente 18 d´ıas con lluvia, 9 d´ıas nublados sin lluvia, y 14 d´ıas soleados.

Figura 3.6: Simulaci´on de una cadena de Markov en EXCEL cuando X0 = 2. Podemos ver que tendremos exactamente 17 dias con lluv´ıa, 8 d´ıas nublados sin lluvia, y 16 d´ıas soleados.

Figura 3.7: Simulaci´on de una cadena de Markov en EXCEL cuando X0 = 3. Podemos ver que tendremos exactamente 14 d´ıas con lluvia, 13 d´ıas nublados sin lluvia, y 14 d´ıas soleados.

CAP´ITULO 3

56

Conclusiones. A lo largo de este trabajo se analizaron conceptos b´asicos de la teor´ıa de la probabilidad, como la probabilidad condicional, la propiedad de la probabilidad total y la F´ormula de Bayes. Tambi´en analizamos el concepto de proceso estoc´astico. Adem´as estudiamos las cadenas de Markov homog´eneas, usando algunos conceptos y reafirmando estos mediante ejemplos claros y precisos, la parte m´as importante de este trabajo consisti´o en analizar cadena de Markov a tiempo discreto y cadena a tiempo continuo relacionada con los procesos de Markov, demostramos el Teorema de la Convergencia y para ello estudiamos conceptos importantes como lo fueron: la funci´on de transici´ n, la distribuci´on l´ımite, las cadenas reducibles e irreducibles, finalmente vimos la distribuci´on estacionaria y la periodicidad, estudiamos adem´as las cadenas a tiempo continuo como lo es el proceso de Poisson, en ´este u ´ ltimo analizamos un ejemplo sencillo de un proceso de dos estados, es decir, una cadena a tiempo continuo de dos estados. Con la ayuda de Phyton calculamos la distribuci´on lmite ´ y la distribuci´on estacionaria de la cadena del juego Monopoly, como la cadena tiene distribuci´on l´ımite y distribuci´on estacionaria, nuestra cadena es irreducible. Adem´as, con la ayuda de Excel simulamos una cadena de tiempo (clima), esta nos permiti´o ver el comportamiento de la cadena a lo largo de 40 etapas. Esto nos hace pensar en el sin fin de aplicaciones que tienen la cadenas de Markov, as´ı como la importancia que ´estas nos brindan haciendo un an´alisis m´as detallado. Posteriormente podemos segir estudiando las siguientes l´ıneas de investigaci´on relacionadas con las cadenas de Markov, particularmente en la teor´ıa de colas, cadenas de markov a tiempo continuo un poco m´as complejas, mientras que en la parte de las cadenas de tiempo discreto, se podria seguir estudiando procesos como las martingales, cadenas de nacimiento y muerte, cadenas de Markov absorbentes. M´as a´ un podremos adentrarnos en el estudio de los Procesos de Decisi´on de Markov, un poco de c´alculo estoc´astico, sistemas de manofactura y re-manofactura (que estan relacionados ˜ de colas y los procesos a tiempo continuo), cadenas de Markov de ampliamente con la teorAa ˜ o mero de teor´ıas en las que se podria continuar este trabajo. Sin Monte Carlo, en fin un sin nA embargo, es facil ver que este tipo de problemas ser´ıa analizarlos de una manera m´as interesante en estudios posteriores.

57

BIBLIOGRAF´IA

58

Bibliograf´ıa [1] M.E. Caballero, V.M. Rivero, Cadenas de Markov. Un enfoque elemental. Sociedad Matem´atica Mexicana. 2004. [2] P.G. Hoel, S.C. Port, Introduction to Stochastic Processes. University of California. 1972. [3] R. Durrett. Probability. Theory and Examples. Thomson. 2005. [4] P.G. Hoel, S.c. Port. Introduction to Probability Theory. University of California. 1971. [5] R. Durrett. Elementary Probability for Applications. Cambrige. 2009. [6] M.A. Garcia, Introducci´on a la teor´ıa de la Probabilidad, Primer Curso. Fondo de Cultura Econ´omica. Mexico. 2005. [7] W. Ching, X. Huang, Markov Chains: Models, Algorithms and Applications. Springer. 2013. [8] O. H¨aggstr¨ong. Finite Markov Chains and Algorithmic Applications. Cambrige University Press. 2003. [9] L. Rincon. Introducci´on a los Procesos Estoc´asticos. Depto. de Matem´aticas, UNAM. 2011.

59