6.3. ESTIMADORES INSESGADOS DE VARIANZA UNIFORMEMENTE M´INIMA

6.3.

Carlos Erwin Rodr´ıguez

Estimadores Insesgados de Varianza Uniformemente M´ınima

El objetivo en esta parte ser´a encontrar al mejor estimador de τ (θ), bajo alg´ un criterio. Primero que nada podr´ıamos pensar en encontrar al estimador T (X) = T (X1 , X2 , . . . , Xn ) que tenga el menor error cuadr´ atico medio(ECMτ (θ) (T (X))) para estimar τ (θ), sin embargo aqu´ı surgen dos problemas, el primero es que tenemos un espacio muy grande de estimadores para τ (θ) y el segundo es que ECMτ (θ) (T (X)) = V ar(T (X)) + (E(T (X)) − τ (θ))2

(6.1)

y por lo tanto tendr´ıamos que encontrar estimadores que controlen su sesgo y su varianza, lo cual resulta muy dif´ıcil. Entonces lo que se decide hacer es limitar la b´ usqueda de estimadores para τ (θ), s´ olo a los que son insesgados para τ (θ) y dentro de esta clase, de 6.1, podemos ver que lo que tenemos que hacer es encontrar al estimador que tenga la menor varianza, formalmente lo que buscamos es:

Definici´ on (UMVUE) Sea X1 , X2 , . . . , Xn una m.a. de fX (x|θ). Un estimador insesgado T (X) = T (X1 , X2 , . . . , Xn ) de τ (θ) es un UMVUE para τ (θ) si y s´ olo si 1. E(T (X)) = τ (θ) (T (X) es un estimador insesgado para τ (θ)) 2. V ar(T (X)) ≤ V ar(W (X)) para cualquier otro estimador W (X) de τ (θ) que cumpla que E(W (X)) = τ (θ) A los estimadores que cumplan con la definici´on anterior les llamaremos estimadores insesgados de varianza uniformemente m´ınima, en ingl´es esto suele abreviarse como UMVUE (uniformly minimum-variance unbiased estimator) y a lo largo de estas notas nos referiremos a ellos con esta abreviaci´ on. Es claro que si buscamos el mejor estimador insesgado para τ (θ), el UMVUE es lo que debemos encontrar. Entonces lo que haremos en esta secci´on ser´a dirigir nuestros esfuerzos para encontrar UMVUE’s. Observaci´ on: A lo largo de estas notas X = (X1 , X2 , . . . , Xn ) ser´a un vector de variables aleatorias y x = (x1 , x2 , . . . , xn ) ser´an los valores observados para esas variables aleatorias. Es importante hacer ´enfasis en este punto pues es f´acil perderse y no saber con respecto a quien hay que calcular una probabilidad, una esperanza o varianza.

6.3.1.

Cota Inferior de Cr´ amer-Rao

Encontrar UMVUE’s no es f´acil, sin embargo tendremos varias herramientas a nuestra disposici´on para tal empresa, la primera de ellas es el siguiente Teorema 1 (Cota Inferior de Cr´ amer-Rao) Sea X1 , X2 , . . . , Xn una m.a. de fX (x|θ) y sea T (X) = T (X1 , X2 , . . . , Xn ) cualquier estimador insesgado de τ (θ), si se cumplen ciertas condiciones de regularidad (las veremos m´ as adelante), entonces 

V ar(T (X)) ≥ −nE



∂τ (θ) ∂θ

 ∂2 log f (X|θ) X ∂θ2

y la igualdad se da si y s´ olo si existe una funci´ on k(θ, n) tal que

1

2

(6.2)

6.3. ESTIMADORES INSESGADOS DE VARIANZA UNIFORMEMENTE M´INIMA

Carlos Erwin Rodr´ıguez

∂ log L(θ|x) = k(θ, n)(T (x) − τ (θ)) (6.3) ∂θ Observaci´ on: La notaci´ on en el Teorema 1 juega un papel importante, hay que poner atenci´on en que X siempre representa una v.a. de esta forma no debe quedar ninguna duda sobre respecto a quien calcular  2  ∂ E log fX (X|θ) . ∂θ2 A la cantidad que esta del lado derecho de la desigualdad 6.2 se le conoce como cota inferior de Cr´ amer-Rao (CICR). Este teorema nos ser´a u ´til en dos sentidos. Primero, mediante 6.2 tenemos una cota inferior para la varianza de cualquier estimador insesgado de τ (θ), entonces si estamos buscando el UMVUE para τ (θ) y encontramos un estimador insesgado de τ (θ) cuya varianza coincida con la CICR, hemos encontrado lo que est´ abamos buscando. Segundo, mediante 6.3 tambi´en tenemos condiciones claras sobre las cuales la varianza del estimador T (X) alcanza la CICR, entonces si logramos obtener una factorizaci´ on como la que muestra 6.3 para nuestro τ (θ) de inter´es, tambi´en habremos encontrado el UMVUE para τ (θ). Las condiciones de regularidad para poder aplicar el Teorema 1 son las siguientes:   ∂E(T (X)) ∂T (X) = E ∂θ ∂θ V ar(T (X)) < ∞      Z ∂ ∂ ∂ ∂ E log L(θ|X) = log fX (x|θ) fX (x|θ) dx ∂θ ∂θ ∂θ Ω ∂θ Es claro que verificar las condiciones anteriores puede resultar muy dif´ıcil, sin embargo, podemos decir que estas siempre se cumplir´an para una familia muy ampl´ıa de distribuciones; la familia exponencial, que describiremos al final de la parte de estimaci´on puntual, pero por el momento diremos que incluye a las distribuciones: binomial, exponencial, gamma, poisson, normal y muchas otras. Otro comentario importante es cuando no se puede aplicar el Teorema 1, en general no ser´a aplicable cuando el dominio de fX (x|θ) dependa de θ, por ejemplo para las variables uniformes continuas la cota inferior de Cramer-Rao no se podr´a aplicar. e−λ λx con x = 0, 1, 2, . . . Supongamos que nos interesa x! encontrar el UMVUE para τ (λ) = λ. Primero encontraremos la CICR utilizando la ecuaci´on 6.2 y luego utilizaremos la ecuaci´ on 6.3 para tratar de encontrar el estimador insesgado cuya varianza alcanza la CICR.

Ejemplo: Sea X1 , X2 , . . . , Xn una m.a. de fX (x|λ) =

∂τ (λ) = 1 y que ∂λ log fX (X|λ) = −λ + X log(λ) − log(X!) X ∂ log fX (X|λ) = −1 + ⇒ ∂λ λ ∂2 X ⇒ log fX (X|λ) = − 2 ∂λ2 λ ∂2 1 λ 1 ⇒ E log fX (X|λ) = − 2 E(X) = − 2 = − ∂λ2 λ λ λ

Se puede ver f´acilmente que

Entonces para cualquier estimador insesgado T (X) de τ (λ) se tiene que 

V ar(T (X)) ≥ −nE



∂τ (λ) ∂λ

2

λ 1 = n = n ∂ log fX (X|λ) λ ∂λ2 2

2

6.3. ESTIMADORES INSESGADOS DE VARIANZA UNIFORMEMENTE M´INIMA

Carlos Erwin Rodr´ıguez

Ahora vamos a utilizar la ecuaci´ on 6.3

L(λ|x)

=

n Y e−λ λxi

i=1

⇒

xi !

Pn

e−nλ λ n Y

i=1

xi

xi !

i=1

⇒

log L(λ|x) = −nλ +

n X

xi log λ − log

i=1

n Y

xi !

i=1

Entonces para este problema la ecuaci´ on 6.3 queda como Pn xi n ∂ log L(λ|x) = −n + i=1 = (¯ x − λ) ∂λ λ λ n En donde k(λ, n) = , T (x) = x ¯ y τ (λ) = λ, por lo tanto el estimador insesgado que alcanza la varianza λ ¯ Entonces T (X) = X ¯ es el UMVUE para τ (λ) = λ  establecida por la CICR ser´ıa T (X) = X.

6.3.2.

Estad´ısticas Suficientes y Completas

La cota inferior de Cr´ amer-Rao es una herramienta poderosa para encontrar UMVUE’s, sin embargo, hay muchos casos en los que el UMVUE de τ (θ) existe y sin embargo su varianza es estrictamente mayor que la cota inferior de Cr´ amer-Rao. Adem´ as, existen varias funciones de distribuci´ on para las cuales no podemos aplicar la cota inferior de Cr´ amer-Rao pues no cumplen las condiciones de regularidad, en particular tenemos la distribuci´ on uniforme continua. Entonces necesitamos desarrollar m´etodos m´as robustas y generales para encontrar UMVUE’s, la herramienta de m´as alcance para este fin ser´a el teorema de Lehmann-Scheffe que enunciaremos en esta secci´on, sin embargo, antes de este teorema necesitamos la siguiente:

Definici´ on (estad´ıstica completa) Sea X1 , X2 , . . . , Xn una m.a. de fX (x|θ) y sea T (X) = T (X1 , X2 , . . . , Xn ) una estad´ıstica, entonces diremos que T (X) es completa si y s´ olo si E(g(T (X)) = 0 ⇒ P (g(T (X)) = 0) = 1 ∀ θ

(6.4)

en donde g(T (X)) es cualquier funci´on de T (X). Esta definici´on puede parecer irrelevante y fuera de lugar, pero m´as adelante explicaremos su importancia, primero vamos a entender lo que dice. La definici´on establece que una estad´ıstica T (X) es llamada completa si para cualquier funci´on de T (X) denotada como g(T (X)) se tiene que su valor esperado es cero (E(g(T (X)) = 0) entonces con probabilidad uno y para cualquier valor del par´ ametro θ esa funci´on tiene que ser cero, g(T (X)) = 0. Observaci´ on: Para saber que forma tiene E(g(T (X)) e igualar a cero, necesitamos conocer la distribuci´ on de T (X), pues recordemos que  X  g(y)PY (Y = y) si Y es una v.a. discreta   y Z ∞ E(g(Y )) =   g(y)fY (y)dy si Y es una v.a. continua  −∞

3

6.3. ESTIMADORES INSESGADOS DE VARIANZA UNIFORMEMENTE M´INIMA

Carlos Erwin Rodr´ıguez

Para la definici´on de estad´ıstica completa se tiene que Y = T (X) ⇒ g(Y ) = g(T (X)). Ejemplo: Sea X1 , X2 , . . . , Xn una m.a. de una Bernoulli(p) con 0 < p < 1, entonces sabemos que T (X) =

n X

Xi ∼ Bin(n, p)

i=1

Pn vamos a probar que T (X) = i=1 Xi es una estad´ıstica completa y para hacer las cosas m´as sencillas, renombraremos a la variable aleatoria como en la observaci´ on anterior, entonces sea Y = T (X) =

n X

Xi ⇒ Y ∼ Bin(n, p)

i=1

as´ı hay que probar que si E(g(Y )) = 0 entonces P (g(Y ) = 0) = 1 para 0 < p < 1 y cualquier funci´on g. E(g(Y ))

=

0 n X

  n y g(y) p (1 − p)n−y = 0 ⇒ y y=0 y   n X n p =0 ⇔ (1 − p)n g(y) 1−p y y=0   n X n y g(y) r =0 ⇔ y y=0 p para cualquier p en (0, 1) entonces 0 < r < ∞. Para ver esto piensen a r en la u ´ltima igualdad r = 1−p como funci´on de p en (0, 1), entonces r(p) es una funci´on continua en (0, 1), y si p −→ 0 ⇒ r −→ 0 y si
p −→ 1 ⇒ r −→ ∞. Entonces tenemos un polinomio de grado n con variable r > 0 y coeficientes g(y) ny para y = 0, 1, . . . , n que siempre es igual a cero, sin importar el grado del polinomio ni el valor de r. Como
claramente para cualquier y tenemos que ny ≥ 1 entonces se tiene que tener g(y) = 0 para y = 0, 1, . . . , n, de donde P (g(Y ) = 0) = 1 para cualquier p en (0, 1). Podr´ Pıan pensarse
que puede haber una combinaci´on de g(y) para y = 0, 1, . . . , n positivos y negativos de forma que y=0 g(y) ny ry = 0 sin embargo esto podr´ıa ser posible para cierta r fija pero el hecho de que se cumpla para cualquier r con r > 0 asegura la afirmaci´on anterior acerca de g(Y ) 

Teorema 2 (Lehmann-Scheffe) Sea X1 , X2 , . . . , Xn una m.a. de fX (x|θ) si 1. S(X) es una estad´ıstica suficiente para θ y completa. 2. Sea T ∗ (X) = T ∗ (S(X)) otra estad´ıstica que es funci´ on de S(X) y tal que E(T ∗ (X)) = τ (θ) ⇒ T ∗ (X) es un UMVUE para τ (θ) y es u ´nico Ejemplo:(Importante) Sea X1 , X2 , . . . , Xn una m.a. de fX (x|θ) = UMVUE para τ (θ) = θ.

1 1(0,θ) (x) con θ > 0. Vamos a encontrar un θ

El dominio de fX (x|θ) depende de θ por lo que no podemos aplicar la cota inferior de Cramer-Rao, entonces vamos a emplear el Teorema 2. Utilizando el teorema de factorizaci´ on encontraremos una estad´ıstica suficiente. 4

6.3. ESTIMADORES INSESGADOS DE VARIANZA UNIFORMEMENTE M´INIMA

L(θ|x)

Carlos Erwin Rodr´ıguez

n Y

=

fXi (xi |θ) =

n Y 1

i=1

i=1

θ

1(0,θ) (xi )

n 1 Y 1(0,θ) (xi ) θn i=1

=

(6.6)

1 1 (x ) 1(0,x(n) ) (x(1) ) n (0,θ) (n) θ {z } {z }| |

=

g(x(n) |θ)

(6.5)

(6.7)

h(x1 ,x2 ,...,xn )

Entonces ya tenemos g(x(n) |θ) y h(x1 , x2 , . . . , xn ) de donde, por el teorema de factorizaci´on, la estad´ıstica suficiente para θ es S(X) = X(n) . Ahora la pregunta es ¿c´omo llegamos de 6.6 a 6.7? Estamos obteniendo una m.a. de una distribuci´ on uniforme continua (0, θ) pensemos que n > 1 ⇒ ⇔

xi ∈ (0, θ) ∀ i = 1, 2, . . . , n 0 < x(1) < x(n) y 0 < x(n) < θ

En donde x(1) y x(n) son la observaci´ on m´as chica y m´as grande respectivamente de la muestra observada. Ahora necesitamos saber si S(X) = X(n) es una estad´ıstica completa. Para esto necesitamos conocer la fdp de X(n) , que viene dada por   x n−1  1 1 (x) fX(n) (x) = nFX (x)n−1 fX (x) = n (0,θ) θ θ Entonces si E(g(X(n) ))

= ⇔

0 Z

(6.8) θ

0

⇔

Z

 n 1 n−1 dx = 0 g(x)nx θ

(6.9)

θ

g(x)xn−1 dx = 0

(6.10)

0

⇔ ⇔

Z θ ∂ ∂ g(x)xn−1 dx = 0=0 ∂θ 0 ∂θ g(θ)θn−1 = 0 ∀ θ > 0

(6.11) (6.12)

En 6.9 simplemente ocupamos la f´ormula para el c´alculo de la esperanza de g(X(n) ) e igualamos a cero, pues queremos saber si X(n) es una estad´ıstica completa. Como tenemos una expresi´ on igualada a cero y la integral
n y n salen de la integral y despejamos, esto es lo que sucede de 6.9 a 6.10. De es respecto a x, entonces θ1 6.11 a 6.12 derivamos con respecto a θ de los dos lados de la igualdad, y ocupamos el Teorema Fundamental del C´alculo. Todos los pasos han sido v´ alidos y llegamos a que g(θ)θn−1 = 0 ∀ θ > 0, pero esto sucede si y s´ olo si g(θ) = 0 ∀ θ > 0, de donde obtenemos que P (g(X(n) ) = 0) = 1 ∀ θ > 0, por lo que X(n) es una estad´ıstica completa. Hemos encontrado que X(n) es una estad´ıstica suficiente para θ y completa entonces estamos a un paso de encontrar el UMVUE de τ (θ) = θ, s´ olo tenemos que encontrar una funci´on de X(n) que sea insesgada para τ (θ). Esta es la parte m´as sencilla, observemos que

E(X(n) ) =

Z

0

θ



x nx 5

n−1

 n  1 dx θ

6.3. ESTIMADORES INSESGADOS DE VARIANZA UNIFORMEMENTE M´INIMA

Carlos Erwin Rodr´ıguez

= =

Z θ n xn dx θn 0 n θ n+1

De donde n+1 on de una estad´ıstica suficiente para θ y n X(n) es un estimador insesgado de τ (θ) = θ que es funci´ completa, entonces por el teorema 2 es un UMVUE para τ (θ) = θ  El ejemplo anterior es cl´ asico para mostrar como se aplica el teorema de Lehmann-Scheffe, un ejercicio extra que vale la pena realizar es calcular V ar( n+1 n X(n) ) y encontrar la cota inferior de Cramer-Rao (que por supuesto sabemos que no es aplicable en este caso) y compararlas. Observaci´ on: Demostrar que se tiene una estad´ıstica completa para poder usar el teorema 2 no es nada f´acil, pero es un paso muy importante como se ver´ a a continuaci´on. Supongamos que tenemos una estad´ıstica T (X) insesgada para τ (θ) y quisi´eramos saber si es un UMVUE de τ (θ). Bajo ciertas condiciones, de forma muy sencilla, podemos construir un estimador φa (X) insesgado de τ (θ) tal que V ar(φa (X)) < V ar(T (X)) esto por supuesto acabar´ıa con nuestras esperanzas de encontrar el UMVUE de τ (θ). Vamos a mostrar como a partir de T (X) podemos hallar φa (X). Sea T (X) un estimador insesgado de τ (θ) y sea W (X) un estimador tal que E(W (X)) = 0, entonces hagamos φa (X) = T (X) − aW (X) con a ∈ R

(6.13)

De la construcci´on anterior es inmediato que E(φa (X)) = τ (θ) y V ar(φa (X)) = V ar(T (X)) + a2 V ar(W (X)) + 2aCov(T (X), W (X))

(6.14)

Para ciertos valores de τ (θ) y la elecci´ on indicada de a, podemos hacer que a2 V ar(W (X)) + 2aCov(T (X), W (X)) < 0 entonces de 6.14 se tiene que V ar(φa (X)) < V ar(T (X)) Esta posibilidad para cada estimador T (X) insesgado de τ (θ) acabar´ıa con nuestras esperanzas de encontrar un UMVUE, la forma de evitar este problema es pedir que la estad´ıstica T (X) sea completa. Vamos a ver como funciona la completes, supongamos que T (X) es una estad´ıstica completa, entonces por definici´on, para cualquier funci´on g tal que se cumpla E(g(T (X))) = 0 va a implicar que con probabilidad uno g(T (X)) = 0 para cualquier valor de θ. Si observamos detenidamente 6.13 nos daremos cuenta que el estad´ıstico W (X) tal que E(W (X)) = 0 necesariamente tiene que ser funci´on de T (X), pero como T (X) es completa entonces W (X) = 0 con probabilidad uno para cualquier valor de θ, de donde en 6.14, Cov(T (X), 0) = 0. En resumen si la estad´ıstica es completa, la posibilidad de que el problema anterior sucede es eliminada y por lo tanto estaremos un paso m´as cerca de encontrar el UMVUE para τ (θ).

6