MÉTODOS AVANZADOS EN APRENDIZAJE ARTIFICIAL: TEORÍA Í Y APLICACIONES A PROBLEMAS DE PREDICCIÓN Ó Manuel Sánchez-Montañés Luis Lago Ana González Escuela Politécnica Superior Universidad Autónoma de Madrid

Repaso de conceptos de álgebra lineal •

Notación vectorial y matricial

•

V t Vectores

•

Matrices

•

Espacios de vectores

•

Transformaciones lineales

•

Autovalores y autovectores

Notación vectorial y matricial •

Un vector columna x de d dimensiones y su transpuesta se escriben así:

y

•

Una matriz rectangular de n x d dimensiones y su transpuesta se escriben así:

y

•

El producto de dos matrices es:

donde

Vectores (1) •

El producto interno de dos vectores (o “producto producto escalar”) escalar ) se define por:

•

La norma de un vector (o “magnitud” magnitud , “longitud”) longitud ) es:

•

La proyección ortogonal del vector y sobre el vector x es:

Donde el vector ux tiene norma 1 y la misma dirección que x •

El ángulo entre los vectores x e y está definido por:

•

Dos vectores x e y son: Ortogonales si xT y = 0 Ortonormales si xT y = 0 y |x| = |y| = 1

Vectores (2) •

Un conjunto de vectores x1, x2, …, xn son linealmente dependientes si existe un conjunto de coeficientes a1, a2, …, an (con al menos uno diferente de cero) tales que

Intuitivamente, esto quiere decir que hay por lo menos un vector “redundante”, que podemos expresar como combinación de los otros. Por ejemplo, si a1 ≠ 0:

x1 = c2 x2 + c3 x3 + … + cn xn con

ck = - ak / a1 •

Alternativamente un conjunto de vectores x1, x2, …, xn son linealmente independientes si Alternativamente,

Matrices •

El determinante de una matriz cuadrada A de d x d dimensiones es:

- donde

Aik es el “menor”, matriz formada cogiendo A y eliminando su fila i y su columna k - El determinante de una matriz es igual al de su transpuesta: |A| = |AT| •

La traza de una matriz cuadrada A de d x d dimensiones es la suma de los elementos de su diagonal:

• •

El rango de una matriz es el número de filas (o columnas) linealmente independientes Se dice de una matriz cuadrada que es no singular si y sólo si su rango es igual al número de filas (o columnas) - El determinante de una matriz no singular es distinto de 0

•

Se dice de una matriz cuadrada que es ortonormal si AAT = ATA = I

Matrices •

Dado una matriz cuadrada A: - Si xT A x > 0 para todo x ≠ 0, entonces se dice que A es definida positiva (ejemplo: matriz de correlación) - Si xT A x ≥ 0 para todo d x ≠ 0, 0 entonces se dice di que A es semidefinida id fi id positiva

•

•

La inversa de una matriz cuadrada A se denomina A-1, y es una matriz tal que A-1 A = A A-1 = I - La inversa de A existe si y sólo si A es no singular (su determinante no es cero) En algunos problemas cuando la inversa de A no existe (porque A no es cuadrada o es singular) cuadrada, singular), se utiliza la pseudoinversa A†, que se define como: A† = [AT A]-1 AT con A† A = I (notad que en general A A† ≠ I )

Espacios de vectores •

El espacio n-dimensional en el cual todos los vectores de n dimensiones residen se denomina un “espacio espacio de vectores” vectores

•

Se dice que un conjunto de vectores { u1, u2, …, un } es una base de un espacio vectorial si cualquier vector x puede ser expresado como una combinación lineal de los { ui }

- Los coeficientes { a1, a2, …, an } se denominan

componentes del vector x con respecto a la base { ui }

- Para ser una base,, es necesario y suficiente que q los n vectores { ui } sean linealmente independientes • •

Se dice que una base { ui } es ortogonal si Se dice que una base { ui } es ortonormal si

- Por ejemplo la base cartesiana de coordenadas es una base ortonormal

Espacios de vectores •

Dados n vectores {v1, v2, …, vn} linealmente independientes, podemos construir una base ortonormal {w1, w2, …, wn } por el procedimiento de ortonormalización de Gram Gram-Schmidt Schmidt

w1 = v1

j −i

wj = v j − ∑ i =1

•

v j wi wi

2

wi

La distancia entre dos puntos en un espacio vectorial se define como la norma del vector diferencia entre los dos puntos:

Transformaciones lineales •

Una transformación lineal es un n mapeo del espacio vectorial ectorial XN al espacio vectorial ectorial YM, y se representa por una matriz - Dado un vector x Є XN, el correspondiente vector y de YM se calcula así:

- Notad que la dimensión de los dos espacios no tiene por qué ser la misma - Para problemas de reconocimiento de patrones típicamente tendremos M < N (proyección en un espacio de menor dimensión) •

Se dice que una transformación lineal representada por la matriz cuadrada A es ortonormal cuando AAT = ATA = I - Esto implica que AT = A-1 - Las transformaciones ortonormales preservan la norma de los vectores:

- Las transformaciones ortonormales se pueden ver como rotaciones del sistema de ejes de referencia - Los vectores fila de una transformación ortonormal forman una base de vectores ortonormales

con

Autovectores y autovalores (1) •

Dada una matriz cuadrada A de N x N dimensiones, decimos que v es un autovector si existe un escalar λ tal que Av=λ v Entonces, se dice que λ es autovalor de A

•

Cál l d Cálculo de llos autovectores t t solución trivial solución no trivial

“ecuación característica”

•

La matriz formada por los autovectores columna se denomina matriz modal M L matriz La t i Λ es la l forma f canónica ó i de d A: A una matriz t i di diagonall con llos autovalores t l en su diagonal

0 0

Autovectores y autovalores (2) •

Propiedades - Si A es no singular Todos los autovalores son diferentes de cero - Si A es reall y simétrica i é i Todos los autovalores son reales g entre sí Dos autovectores asociados a diferentes autovalores son ortogonales - Si A es definida positiva Todos los autovalores son positivos - Si A es semidefinida positiva Todos los autovalores son mayor o igual que cero

Interpretación de los autovectores y autovalores (1) •

Si consideramos la matriz A como una transformación lineal, lineal entonces un autovector representa una dirección invariante en el espacio vectorial Cualquier punto en la dirección de v es transformado por A en otro punto que está en la misma dirección, dirección y su módulo es multiplicado por el correspondiente autovalor λ

•

Por ejemplo, la transformación que rota los vectores de 3 dimensiones en torno al eje Z tiene un solo autovector, que es [0 0 1]T, siendo 1 es su autovalor correspondiente

Repaso de conceptos de probabilidad y estadística •

Definición y propiedades de la probabilidad

•

Variables aleatorias - Definición de variable aleatoria - Función de distribución acumulada - Función de densidad de probabilidad - Caracterización estadística de variables aleatorias

•

Vectores aleatorios - Vector promedio - Matriz de covarianzas

•

Distribución de probabilidad gaussiana

Variables aleatorias •

Cuando consideramos un proceso aleatorio, normalmente nos interesa saber alguna medida o atributo numérico que genera una secuencia de valores modelizables.

Ejemplos: •

Cuando muestreamos una población nos puede interesar por ejemplo el peso y la altura

•

Cuando calculamos el rendimiento de dos ordenadores nos interesa el tiempo de ejecución de un programa de test

•

Cuando tratamos de reconocer un avión intruso, nos puede interesar medir los parámetros que caracterizan la forma del avión

Variables aleatorias Definimos una variable aleatoria X que puede tomar un conjunto de valores {xi} como una función X( · ) que asigna un número real x a cada resultado ζ en el espacio de muestreo de un experimento aleatorio x= X( ζ ). - Esta función X(·) realiza un mapeo de todos los posibles elementos en el espacio de muestreo a la recta real (números reales). - La función X(·) X( ) que asigna valores a cada resultado es fija y determinista - La aleatoriedad en los valores observados se debe a la aleatoriedad del argumento de la función X(·) , es decir, el resultado ζ del experimento -

Las variables aleatorias pueden ser: -

- Discretas: por ejemplo, el resultado en el lanzamiento de un dado Continuas: por ejemplo, el peso de un individuo escogido al azar

map

Función de distribución acumulada (fda) •

Fx((x)) = P[X [ < x]]

•

1 lb = 0.454 0 454 Kg

Dada una variable aleatoria X X, se define su función de distribución acumulada Fx(x) como la probabilidad del evento {X < x} para p - ∞ < x < +∞

De manera intuitiva, Fx(b) representa la proporción de veces en la q que X(( ζ ) < b fda del peso de una persona

•

Propiedades de la función de distribución acumulada

Función acotada y monótonamente creciente

si a ≤ b fd del fda d l resultado lt d de d un dado d d

Función de densidad de probabilidad (fdp) 1 lb = 0.454 Kg

La función de densidad de probabilidad de una variable aleatoria continua X, si existe, se define como la derivada de Fx(x) fdp p

•

fdp del peso de una persona

El equivalente a la fdp para variables aleatorias discretas es la función de masa de probabilidad ( fmp ):

fmp

•

f fmp del d l resultado lt d de d un dado d d

Función de densidad de probabilidad (fdp) •

Propiedades de la función de densidad de probabilidad

donde

si

Densidad de probabilidad versus probabilidad •

¿ Cuál es la probabilidad de que alguien pese 200 libras =90.8 Kg ?

- De acuerdo a la fdp fdp, es cerca de 0 0.62 62 - Suena razonable, ¿ no ?

fdp p

•

Ahora, ¿ cuál es la probabilidad de que alguien pese 124.876 libras = 56.70 Kg? - De D acuerdo d a lla fd fdp, es cerca d de 0 0.43 43 - Pero, intuitivamente, la probabilidad debería ser cero Î Probabilidad en un punto es cero.

fdp del peso de una persona

•

¿ Cómo explicamos esta paradoja ? - La L fd fdp no d define fi una probabilidad, b bilid d sino i una DENSIDAD de d probabilidad! b bilid d! - Para obtener una verdadera probabilidad, debemos integrar en un intervalo - La pregunta original es incorrecta, nos deberían haber preguntado: ¿ Cuál es la probabilidad de que alguien pese 124.876 libras, más / menos 2 libras ?

Caracterización estadística de variables aleatorias •

La fdp o fmp son SUFICIENTES para caracterizar completamente una variable aleatoria aleatoria. Sin embargo, una variable aleatoria puede ser PARCIALMENTE caracterizada por otras medidas •

Valor esperado (media) •

•

Varianza •

•

Representa la dispersión alrededor de la media

Desviación estándar •

•

Representa el centro de masa de la densidad

Es la raíz cuadrada de la varianza, por lo que tiene las mismas unidades que la variable aleatoria

Momento de orden N

Vectores aleatorios •

La noción de vector aleatorio es una extensión de la noción de variable aleatoria - Una variable vectorial aleatoria X es una función que asigna un número real a cada posible valor ζ del espacio de muestreo S - Consideraremos siempre a un vector aleatorio como un vector columna

•

Las nociones de fda y fdp se sustituyen por “fda conjunta” y “fdp conjunta” - Dado un vector aleatorio X = [x1 x2 … xN]T definimos - La función de distribución acumulada conjunta como:

- La función de distribución de probabilidad conjunta como:

⎛ x1 ⎞ ⎜ ⎟ ⎜ x2 ⎟ ⎜x ⎟ ⎝ 3⎠

Vectores aleatorios •

El término “fdp fdp marginal marginal” se usa para representar la fdp de un subconjunto de los componentes del vector - Se obtiene integrando la fdp en las componentes que no son de interés - Por ejemplo, si tenemos un vector X = [x1 x2]T , la fdp marginal de x1, dado la fdp conjunta fx1 x2 (x1, x2) es:

Caracterización estadística de vectores aleatorios •

Al igual que en el caso escalar escalar, un vector aleatorio está completamente caracterizado por su fda conjunta o su fdp conjunta

•

Alternativamente, podemos describir parcialmente un vector aleatorio por medio de medidas para el caso escalar similares a las definidas p •

Vector promedio T

•

Matriz de covarianza

Matriz de covarianza •

La matriz de covarianza indica la tendencia de cada par de atributos (las componentes del vector aleatorio) de variar juntas, es decir, co-variar

•

La matriz de covarianza C tiene varias propiedades importantes: - Si

xi y xk tienden a aumentar juntas, entonces cik > 0

- Si xi tiende a disminuir cuando xk aumenta, entonces cik < 0 - Si xi y xk no están correlacionadas, entonces cik = 0 - |cik| ≤ σi σk donde σi es la desviación estándar de xi - cii = σi2 = VAR(xi)

Matriz de covarianza •

Los componentes p de la matriz de covarianza se p pueden escribir como: cii = σi2 y cik = ρik σi σk - donde ρik es el llamado coeficiente de correlación

Correlación versus independencia •

Se dice que dos variables aleatorias xi y xk no están correlacionadas si

E [xi · xk] = E [xi] · E [xk] - En este caso también se dice que estas variables aleatorias son linealmente independientes (no confundir con la noción de independencia lineal de vectores).

•

Se dice que dos variables aleatorias xi y xk son independientes, independientes su distribución conjunta será el producto de las marginales.

P [x [ i , xk] = P [[xi] · P [x [ k]

La distribución Gaussiana o “Normal” Normal (1) •

La distribución multivariable “Normal” Normal o “Gaussiana” N(μ , Σ) se define como

•

En una sola dimensión, esta expresión se reduce a

La distribución Gaussiana o “Normal” Normal (2) •

Las distribuciones gaussianas son muy utilizadas ya que: - Los parámetros (μ , Σ) son suficientes para caracterizar completamente la distribución gaussiana - Si llos atributos t ib t no están tá correlacionados l i d ( cik = 0 ), ) entonces t son también t bié independientes Î La matriz de covarianza es entonces diagonal, con las varianzas individuales en la diagonal - Las densidades marginales y condicionadas son también Gaussianas - Cualquier transformación lineal de N variables conjuntamente Gaussianas, nos da un vector t cuya distribución di t ib ió es también t bié Gaussiana G i - Si la distribución del vector X = [X1 X2 … XN]T es Gaussiana, y A es una matriz, entonces la distribución de Y=AX es también Gaussiana. Para el caso particular de que A sea una matriz invertible, entonces:

La distribución Gaussiana o “Normal” Normal (3) •

Dada la matriz de covarianza Σ de una distribución gaussiana - Los autovectores de Σ son las direcciones principales de la distribución - Los autovalores son las varianzas de las correspondientes direcciones principales

•

La transformación lineal definida por los autovectores de Σ lleva a componentes que están descorrelacionadas, independientemente de la forma de la distribución En el caso particular de que la distribución sea gaussiana, entonces las variables transformadas serán estadísticamente independientes con

y

Estadísticamente Independientes

El Teorema Central del Límite •

El teorema dice q que si y = Σ xk , siendo xk N variables aleatorias independientes p con distribuciones individuales arbitrarias, entonces la distribución de y tiende a ser Gaussiana según se va haciendo mayor N. En el límite N→

•

p ∞ , termina siendo una Gaussiana perfecta.

•

En otras palabras, cualquier variable que sea la contribución de muchos factores aleatorios independientes tiende a ser Gaussiana.

•

Ejemplos: ruido en aparatos medidores, …

Ejemplo numérico: calculamos un histograma a partir de 500 valores de y generados con y = Σ xk