3. Correlación

3-1

Tema 3 Correlación Introducción Introducción Coeficiente Coeficiente de de correlación correlación lineal lineal de de Pearson Pearson Coeficiente Coeficiente de de correlación correlación poblacional poblacional Contraste Contraste paramétrico paramétrico clásico clásico Transformación Transformación de de Fisher Fisher Correlación Correlación bayesiana bayesiana Test Test no no paramétrico: paramétrico: Spearman Spearman Test Test no no paramétrico: paramétrico: Kendall Kendall Test Test de de permutaciones permutaciones Correlaciones Correlaciones parciales parciales Conclusiones Conclusiones Ejemplo: Ejemplo: ley ley de de Hubble Hubble

3. Correlación

3-2

Introducción ¿Para qué queremos buscar correlaciones? Para Para comprobar comprobar que que nuestras nuestras medidas, medidas, oo las las de de otros, otros, son son razonables. razonables. Para Para contrastar contrastar una una hipótesis. hipótesis. Para Para intentar intentar descubrir descubrir algo algo nuevo nuevo (salir (salir aa pescar). pescar).

Primera lecci ón: lección: Hacer siempre el diagrama de dispersión. Si no vemos nada, no seguir.

3. Correlación

3-3

Ejemplo: ley de Hubble D (Mpc) 0.03 0.04 0.19 0.25 0.26 0.27 0.42 0.5 0.5 0.63 0.79 0.88 0.89 0.89 0.91 1.01 1.1 1.11 1.42 1.7 2.01 2.02 2.02 2.02

V (km/s) -83.3 111.1 97.2 27.8 -208.3 -69.4 819.4 819.4 958.3 666.7 777.8 888.9 194.4 430.6 1222.2 1736.1 1472.2 1166.7 1263.9 2111.1 1611.1 1111.1 1763.9 2250

3. Correlación

3-4

Ejemplo: ley de Hubble

2

10

10

2 2

Procedimiento no paramétrico para “ver” rápidamente correlaciones: dividir el diagrama por las medianas y contar el número de puntos en cada uno de los cuatro cuadrantes.

D (Mpc) 0.03 0.04 0.19 0.25 0.26 0.27 0.42 0.5 0.5 0.63 0.79 0.88 0.89 0.89 0.91 1.01 1.1 1.11 1.42 1.7 2.01 2.02 2.02 2.02

V (km/s) -83.3 111.1 97.2 27.8 -208.3 -69.4 819.4 819.4 958.3 666.7 777.8 888.9 194.4 430.6 1222.2 1736.1 1472.2 1166.7 1263.9 2111.1 1611.1 1111.1 1763.9 2250

3. Correlación

3-5

Introducción Los peligros de salir a pescar: La La correlación correlación podría podría deberse deberse aa efectos efectos de de selección. selección.

Ejemplo: Luminosidades radio de radiofuentes 3CR en función del módulo de distancias (Sandage 1972)

La curva representa el límite de detección Si la función de luminosidad decrece para objetos brillantes, no esperamos encontrar objetos cercanos brillantes.

3. Correlación

3-6

Introducción Los peligros de salir a pescar: La La correlación correlación podría podría deberse deberse aa efectos efectos de de selección. selección. Cuidado Cuidado con con los los outliers outliers (regla (regla del del pulgar) pulgar) r = 0.88

r = 0.26

r = 0.41

r = 0.08

r = 0.68

r = 0.94

3. Correlación

3-7

Introducción Los peligros de salir a pescar: La La correlación correlación podría podría deberse deberse aa efectos efectos de de selección. selección. Cuidado Cuidado con con los los outliers outliers (regla (regla del del pulgar) pulgar) Cuidado Cuidado con con mezclar mezclar grupos grupos de de medidas medidas no no homogéneas homogéneas

r = 0.90

r = 0.04

r = -0.20

3. Correlación

3-8

Introducción Los peligros de salir a pescar: La La correlación correlación podría podría deberse deberse aa efectos efectos de de selección. selección. Cuidado Cuidado con con los los outliers outliers (regla (regla del del pulgar). pulgar). Cuidado Cuidado con con mezclar mezclar grupos grupos de de medidas medidas no no homogéneas. homogéneas. Podría Podría existir existir una una correlación correlación no no lineal. lineal.

r = -0.32

3. Correlación

3-9

Introducción Los peligros de salir a pescar: La La correlación correlación podría podría deberse deberse aa efectos efectos de de selección. selección. Cuidado Cuidado con con los los outliers outliers (regla (regla del del pulgar). pulgar). Cuidado Cuidado con con mezclar mezclar grupos grupos de de medidas medidas no no homogéneas. homogéneas. Podría Podría existir existir una una correlación correlación no no lineal. lineal.

Una Una correlación correlación no no implica implica una una relación relación causal causal (terceras (terceras variables). variables).

3. Correlación

3-10

Coeficiente de correlación lineal de Pearson La covarianza es una medida de la dependencia (o correlación) entre dos variables Coeficiente Coeficiente de de correlación correlación productoproductomomento momento de de Pearson Pearson

Cálculo:

Relación con el coeficiente de regresión (pendiente de la recta):

Relación con la varianza residual

Coeficiente de determinación r2: tanto por ciento de la variación total de los datos que explica la recta de regresión

−1 ≤ r ≤ 1

3. Correlación

3-11

Coeficiente de correlación poblacional Se supone que X e Y son variables aleatorias normales:

La función de densidad conjunta de X e Y sigue una distribución normal bivariada:

ρρ :: coeficiente coeficiente de de correlación correlación poblacional poblacional

X e Y son independientes Para estimar ρ se usa el coeficiente de correlación muestral r Pero sólo es válido si tanto X como Y son variables normales X e Y no están correlacionados Si

Tienen distribuciones con colas que caen rápido N es grande (>500)

3. Correlación

3-12

Contraste paramétrico clásico Se usa r para estimar ρ

(test de Fisher)

La desviación típica de r es:

Bajo la hipótesis nula:

sigue una distribución t de Student con N - 2 grados de libertad

H0 se acepta si:

O se determina el nivel de significación p para poder rechazar H0 (probabilidad de que, si no hay correlación, se obtenga un valor de |r| igual o mayor al observado)

Para Para poder poder aplicar aplicar este este método: método: •• Datos Datos en en una una escala escala continua continua •• La La relación relación entre entre X X ee Y Y ha ha de de ser ser lineal lineal •• Ambas Ambas variables variables siguen siguen distribuciones distribuciones normales normales

3. Correlación

3-13

Transformación de Fisher Para muestras grandes (N ≥ 25)

es aprox. normal con:

Hip´ otesis :

½

H0 : H1 :

ρ = ρ0 ρ 6= ρ0

Contraste para un valor determinado de ρ

H0 se acepta si:

Hip´otesis :

½

H0 : H1 :

ρ1 = ρ2 ρ1 6= ρ2

H0 se acepta si:

Comparación de dos correlaciones

3. Correlación

3-14

Ejemplo: ley de Hubble VV

Scatterplot: vs. Scatterplot: DD vs. VV == 44,173 + 918,52 44,173 + 918,52 ** DD Correl Correlation: ation: rr== ,83708 ,83708

2400 2400 2200 2200 2000 2000 1800 1800 1600 1600 1400 1400

VV

1200 1200 1000 1000 800 800 600 600 400 400 200 200 00 -200 -200 -400 -400 -0,2 -0,2

0,0 0,0

0,2 0,2

0,4 0,4

0,6 0,6

0,8 0,8

1,0 1,0

1,2 1,2

1,4 1,4

1,6 1,6

1,8 1,8

DD HiHistog stograramm: :DD K-S K-Sd=,1 d=,1305 3052,2,p> p>.20; .20;LiLil lil liefors eforspp>>.2.200 EExp xpected ectedNorm Normalal

10 10

66

77 66

No.ofofobs. obs. No.

No.ofofobs. obs. No.

HiHistog stograramm: :VV K-S K-Sdd=,121 =,12192, 92,p> p>.20; .20;LiLilllli efors i eforsp> p>.20 .20 Exp Expected ectedNorm Normalal

77

88

55 44 33

55 44 33 22

22

11

11 00

2,2 2,2

95% 95% confi confidence dence

88

99

2,0 2,0

-0-0,5,5

00,0,0

0,5 0,5

1,0 1,0

11,5,5

XX