REGRESIÓN LINEAL SIMPLE El análisis de regresión es una técnica estadística para investigar la relación funcional entre dos o más variables, ajustando algún modelo matemático. La regresión lineal simple utiliza una sola variable de regresión y el caso más sencillo es el modelo de línea recta. Supóngase que se tiene un conjunto de n pares de observaciones (xi,yi), se busca encontrar una recta que describa de la mejor manera cada uno de esos pares observados. SI yi 18.5 20 21.1 22.4 21.2 15 18 18.8 15.7 14.4 15.5 17.2 19 17.2 16.8 270.8

Preparado por: Irene P. Valdez y Alfaro

24 22 Variable respuest

CP xi 2.95 3.2 3.4 3.6 3.2 2.85 3.1 2.85 3.05 2.7 2.75 3.1 3.15 2.95 2.75 45.6

y = 8.1185x - 6.6269 2 R = 0.7185

20 18 16 14 12 10 2.6 2.7 2.8 2.9

3

3.1 3.2 3.3 3.4 3.5 3.6

Xi (variable independiente o regresiva)

Se considera que la variable X es la variable independiente o regresiva y se mide sin error, mientras que Y es la variable respuesta para cada valor específico xi de X; y además Y es una variable aleatoria con alguna función de densidad para cada nivel de X.

f (Y xi )

E (Y xi ) Preparado por: Irene P. Valdez y Alfaro

yi

Y xi

Regresión Lineal Simple yi = β 0 + β1 xi + ε i

f (Y xi )

E (Y xi ) = β 0 + β1 xi

x

1

xi

xn

Si la recta de regresión es: Y = β 0 + β1 X Cada valor yi observado para un xi puede considerarse como el valor esperado de Y dado xi más un error:

Modelo lineal simple : yi = β 0 + β1 xi + ε i Los εi se suponen errores aleatorios con distribución normal, media cero y varianza σ2 ; β0 y β1 son constantes desconocidas (parámetros del modelo de regresión)

Preparado por: Irene P. Valdez y Alfaro

Método de Mínimos Cuadrados para obtener estimadores de β0 y β1 Consiste en determinar aquellos estimadores de β0 y β1 que minimizan la suma de cuadrados de los errores εi ; es decir, los estimadores βˆ0 y βˆ1 de β0 y β1 respectivamente deben ser tales que: n 2

∑εi

i =1

sea mínima.

Del modelo lineal simple: yi = β 0 + β1 xi + ε i de donde:

ε i = yi − β 0 − β1 x n

elevando al cuadrado:

Preparado por: Irene P. Valdez y Alfaro

2

n

2 ∑ ε i = ∑ ( yi − β 0 − β1 x)

i =1

i =1

Según el método de mínimos cuadrados, los estimadores de β0 y β1 debe satisfacer las ecuaciones:

∂ n 2 ∑ ( yi − β 0 − β1 x) = 0 ∂β 0 i =1 ∂ n 2 ∑ ( yi − β 0 − β1 x) = 0 ∂β1 i =1 Cuya solución es:

Al derivar se obtiene un sistema de dos ecuaciones denominadas “ecuaciones normales”:

n

n

i =1

i =1

∑ yi = nβ 0 + β1 ∑ xi n

β 0 ∑ xi + β i =1

n

2 x ∑ i 1 i =1

βˆ0 = y − βˆ1 x  n y  n x   ∑ i  ∑ i  n  i =1  i =1  ∑ xi yi − n βˆ1 = i =1 2 n  x ∑ i  n 2   ∑ x i − i =1 n i =1

Ahora, el modelo de regresión lineal simple ajustado (o recta estimada) es: 0 1

yˆ = βˆ + βˆ x

Preparado por: Irene P. Valdez y Alfaro

n

= ∑ xi yi i =1

Con respecto al numerador y denominador de B1 suelen expresarse como Sxy y Sxx respectivamente:  n y  n x   ∑ i  ∑ i  n  i =1  i =1  ∑ xi yi − n βˆ1 = i =1 2 n  x ∑ i  n 2  i =1  ∑ xi − n i =1

βˆ1 =

y

Preparado por: Irene P. Valdez y Alfaro

S xx

2

 x ∑ i  n n 2 2  i =1  S xx = ∑ x i − = ∑ (xi − x ) n i =1 i =1 n

Puede demostrarse que:

S xy

 n y  n x   ∑ i  ∑ i  n n S xy = ∑ xi yi −  i =1  i =1  = ∑ ( xi − x ) yi n i =1 i =1

Por otro lado puede demostrarse que los estimadores de β0 y β1 son insesgados con varianzas:

1 x 2  V (βˆ0 ) = σ  +  n S xx   2

y

2 σ V (βˆ1 ) = S xx

respectivamente.

Como σ2 (la varianza de los errores εi) es en general desconocida, para estimarla definimos el residuo como: ei = yi − yˆ i y la suma de cuadrados del error como: n n

SS E = ∑ ( yi − yˆ i )

SS E = ∑ ei2

2

i =1

i =1

que al sustituir yˆ i también puede expresarse como: SS E = S yy − βˆ1S xy n

donde: S yy = ∑ ( yi − y )

2

i =1

n

Sea MS E =

∑ ( yi − yˆ i )

i =1

2

n−2

Preparado por: Irene P. Valdez y Alfaro

SS E 2 E MS = σ ( ) Entonces: = E n−2

σˆ 2 = MS E

Con lo anterior, las varianzas estimadas de βˆ0 son respectivamente:

1 x 2  Vˆ (βˆ0 ) = MS E  +  n S xx  

y

y βˆ1

MS E Vˆ (βˆ1 ) = S xx

Además, si se cumplen los supuestos de que los εi se distribuyen normalemte con media cero y varianza σ2, entonces, los estadísticos T=

βˆ0 − β 0 1 x 2  MS E  +   n S xx 

y

T=

βˆ1 − β1 MS E S xx

tienen cada uno distribución t de Student con n-2 grados de libertad. Lo que permite efectuar pruebas de hipótes y calcular intervalos de confianza sobre los parámetros de regresión β0 y β1 .

Preparado por: Irene P. Valdez y Alfaro

Un caso de particular interés es probar la hipótesis:

H 0 : β1 = 0 H1 : β1 ≠ 0

Ya que si la pendiente es igual cero, entonces puede significar o que la variación de X no influye en la variación de Y, o que no hay regresión lineal entre X y Y. Por otro lado, si la pendiente es diferente de cero, entonces existirá algún grado de asociación lineal entre las dos variables, es decir, la variabilidad de X explica en cierta forma la variabiliad de Y (aunque no implica que no pueda obtenerse un mejor ajuste con algún polinomio de mayor grado en X). Nota: si se utilizara en lugar de una recta, una curva con grado mayor a 1 en X pero grado 1 en los coeficientes de X, la regresión sigue siendo lineal, βo+β β1x+β β2x2 ya que es lineal en los parámetros de regresión p.ej. Y=β

Preparado por: Irene P. Valdez y Alfaro

Estimación de intervalos de confianza en torno a la línea de regresión: BANDAS DE CONFIANZA

Recta estimada de regresión

Para un punto específico x0 yˆ 0 = Eˆ (Y x0 ) = βˆ0 + βˆ1 x0

x Preparado por: Irene P. Valdez y Alfaro

1

xi

x0

xn

Estimación de la respuesta media para un x0 específico:

µˆ yˆ 0 = yˆ 0 = Eˆ (Y x0 ) = βˆ0 + βˆ1 x0

 1 (xo − x )  V ( yˆ 0 ) = σ  +  S xx  n 2

yˆ 0

2

 1 (xo − x )2  Vˆ ( yˆ 0 ) = MS E  +  n S xx  

tiene distribución normal, por lo que:

yˆ 0 − µ yˆ 0 Vˆ ( yo )

tiene distribución T de Student con n-2 grados de libertad, por lo que los límites de confianza superior e inferior para la respuesta media dado x0 están dados por: yˆ 0 ± tα / 2, n − 2 Vˆ ( yo ) Graficando los limites de confianza superior e inferior de µ yˆ 0 para cada punto xi de X pueden dibujarse las bandas de confianza para la recta de regresión. Puede observarse que la amplitud del intervalo de confianza es mínima cuando mientras que es mayor en los extremos de los valores observados de X. Preparado por: Irene P. Valdez y Alfaro

x0 = x

Predicción de nuevas observaciones Nótese que yˆ 0 es la respuesta media para los valores de xi seleccionados para encontrar la recta de regresión; sin embargo, frecuentemente es de interés predecir la respuesta futura para un xa dado seleccionado posteriormente. Sea Ya la observación futura en x = xa ., ; Ya es una variable aleatoria con varianza σ2 y por otro lado, la varianza de yˆ a = βˆ0 + βˆ1 xa es Vˆ (yˆ a ) = MSE 1 + 1n + (xaS− x )  2



Preparado por: Irene P. Valdez y Alfaro

xx

