REDES NEURONALES ARTIFICIALES • Introducción De la prehistoria al futuro que tal vez Babbage nunca soñó. El desarrollo de máquinas que puedan imitar la capacidad de aprendizaje del hombre es actualmente un desafío en el que pone sus miras buena parte de la comunidad científica. Con esta amplia Introducción a las redes neuronales, pretendemos dar a conocer los elementos básicos de lo que comúnmente se denomina Inteligencia Artificial, para así comprender de qué modo pueden llegar a «pensar» y «aprender» las máquinas. El hombre se ha caracterizado siempre por una búsqueda constante de nuevas vías para mejorar sus condiciones de vida. Estos esfuerzos le han servido para reducir el trabajo en aquellas operaciones en las que la fuerza juega un papel primordial. Los progresos obtenidos han permitido dirigir estos esfuerzos a otros campos, como por ejemplo, a la construcción de máquinas calculadoras que ayuden a resolver de forma automática y rápida determinadas operaciones que resultan tediosas cuando se realizan a mano. Uno de los primeros en acometer esta empresa fue Charles Babbage, quien trató infructuosamente de construir una máquina capaz de resolver problemas matemáticos. Posteriormente otros tantos intentaron construir máquinas similares, pero no fue hasta la Segunda Guerra Mundial, cuando ya se disponía de instrumentos electrónicos, que se empezaron a recoger los primeros frutos. En 1946 se construyó la primera computadora electrónica, ENIAC. Desde entonces los desarrollos en este campo han tenido un auge espectacular. Estas máquinas permiten implementar fácilmente algoritmos para resolver multitud de problemas que antes resultaban engorrosos de resolver. Sin embargo, se observa una limitación importante: ¿qué ocurre cuando el problema que se quiere resolver no admite un tratamiento algorítmico, como es el caso, por ejemplo, de la clasificación de objetos por rasgos comunes?. Este ejemplo demuestra que la construcción de nuevas máquinas más versátiles requiere un enfoque del problema desde otro punto de vista. Los desarrollos actuales de los científicos se dirigen al estudio de las capacidades humanas como una fuente de nuevas ideas para el diseño de las nuevas máquinas. Así, la inteligencia artificial es un intento por descubrir y describir aspectos de la inteligencia humana que pueden ser simulados mediante máquinas. Esta disciplina se ha desarrollado fuertemente en los últimos años teniendo aplicación en algunos campos como visión artificial, demostración de teoremas, procesamiento de información expresada mediante lenguajes humanos... etc. Una Red Neuronal es el resultado de los intentos por reproducir mediante computadoras el funcionamiento del cerebro humano. El cerebro está compuesto por miles de millones de neuronas, interconectadas de forma variable y compleja. Su peculiar forma de trabajo le convierte en el dispositivo más eficaz para procesar información del mundo real. Cada neurona recibe impulsos procedentes de otras neuronas, que procesa individualmente dándole un peso determinado. Después transmite la señal resultante a otras neuronas, siguiendo una configuración variable para cada caso. Las redes neuronales tratan de simular este proceso en un equipo computacional. El papel de las neuronas es tomado por los nodos, que son pequeñas unidades inteligentes con capacidad de almacenar y procesar señales. Al igual que las neuronas en el cerebro humano, cada nodo recibe unas señales que proceden del exterior de la red o de otros nodos, las procesa dando distinto peso a cada una y genera una única señal de salida que se transmite a otros nodos. Desde el punto de vista práctico, un nodo debe poseer los medios para almacenar señales y procesarlas según 1

pesos o funciones. Por lo mismo, los nodos deben ser circuitos electrónicos, computadoras o fragmentos de programas. Para simplificar el diseño de las redes, los especialistas realizan topologías sencillas de distribución de nodos, disponiéndolos en capas sucesivas. Una de las más utilizadas, sitúa los nodos en tres niveles (entrada, intermedio, salida) en los que cada nodo actúa con las señales de la misma forma. La topología es sencilla de llevar a la práctica (mediante un programa) y produce redes neuronales que aprenden por sí mismas. En los inicios de la revolución tecnológica, cuando se querían obtener diferentes señales de salida de un sistema, dependiendo de los tipos y niveles de estímulo presentes en su entrada, era necesario dotarle de una relación matemática entre dichas entradas y salidas. Con la aparición de las redes neuronales, el sistema se autorregula, deduciendo los pesos que debe de dar a las distintas señales y la forma de conectar los nodos. Tras esta regulación, puede trabajar en situaciones para las que aún no se hayan establecido reglas de funcionamiento. Una red neuronal nueva establece las conexiones de cada nodo de forma convencional. Su proceso de aprendizaje empieza al darle una pareja de datos de entrada y salida. La red va haciendo pruebas mediante la determinación de los pasos más convenientes y de las conexiones entre nodos más adecuadas. Al cabo de varios intentos, repetidos con varias parejas de datos de entrada y salida conocidos, el sistema está ya educado, es decir, en condiciones de trabajar; la información que almacena una red se halla dispersa por todos sus nodos, lo que le confiere características distintas a las de una computadora convencional y le hace menos propensa a fallos. Es fácil suponer que una de las primeras aplicaciones es la simulación del cerebro humano y sus cientos de miles de millones de neuronas. Hasta la fecha sólo se ha logrado simular unas 10,000, lo que no esta mal, pero quedó lejos del órgano original. En esas simulaciones se han empleado grandes computadoras, que han necesitado horas para repetir procesos que el cerebro realiza en segundos. Se sigue intentando desarrollar un modelo donde experimentar los efectos de nuevas medicinas, el comportamiento ante estímulos, etc. En el campo tecnológico las aplicaciones se refieren, sobre todo, a situaciones donde hay que tratar datos difusos, desarrollar modelos o pronosticar situaciones complejas. Se conocen cinco aplicaciones tecnológicas aplicadas: • Reconocimiento de textos manuscritos • Reconocimiento del habla • Simulación de centrales de producción de energía • Detección de explosivos • Identificación de blancos de radares Las redes neuronales son otra forma de emular otra de las características propias de los humanos: la capacidad de memorizar y asociar hechos. Si examinamos con atención aquellos problemas que no pueden expresarse a través de un algoritmo nos daremos cuenta de que todos ellos tienen una característica común: la experiencia. El hombre es capaz de resolver estas situaciones acudiendo a la experiencia acumulada. Así, parece claro que una forma de aproximarse al problema consista en la construcción de sistemas que sean capaces de reproducir esta característica humana. En definitiva, las redes neuronales no son más que un modelo artificial y simplificado del cerebro humano, que es el ejemplo más perfecto del que disponemos de sistema que es capaz 2

de adquirir conocimiento a través de la experiencia. Una red neuronal es «un nuevo sistema para el tratamiento de la información cuya unidad básica de procesamiento está inspirada en la célula fundamental del sistema nervioso humano, la neurona». 2. La neurona y la sinapsis El cerebro humano contiene aproximadamente 12 billones de células nerviosas o neuronas. Cada neurona tiene de 5.600 a 60.000 conexiones dendríticas provenientes de otras neuronas (figura 1). Estas conexiones transportan los impulsos enviados desde otras neuronas y están conectadas a la membrana de la neurona. Cada neurona tiene una salida denominada axón. El contacto de cada axón con una dendrita se realiza a través de la sinapsis. Tanto el axón como las dendritas transmiten la señal en una única dirección. La sinapsis (figura 2) consta de un extremo presináptico de un axón conectado a un extremo postsináptico de una dendrita, existiendo normalmente entre éstos un espacio denominado espacio sináptico.

Figura 1

3

Figura 2 Las neuronas son eléctricamente activas e interactúan entre ellas mediante un flujo de corrientes eléctricas locales. Estas corrientes se deben a diferencias de potencial entre las membranas celulares de las neuronas. Un impulso nervioso es un cambio de voltaje que ocurre en una zona localizada de la membrana celular. El impulso se transmite a través del axón hasta llegar a la sinapsis, produciendo la liberación de una sustancia química denominada neurotransmisor que se esparce por el fluido existente en el espacio sináptico. Cuando este fluido alcanza el otro extremo transmite la señal a la dendrita. Los impulsos recibidos desde la sinapsis se suman o restan a la magnitud de las variaciones del potencial de la membrana. Si las contribuciones totales alcanzan un valor determinado (alrededor de 10 milivoltios) se disparan uno o más impulsos que se propagarán a lo largo del axón. Aunque todavía no está del todo claro, parece que este impulso se inicia en la conexión entre el axón y la membrana. Su amplitud y velocidad dependen del diámetro del axón y su frecuencia del número de disparos que se efectúen. Las redes neuronales artificiales basan su funcionamiento en las redes neuronales reales, estando formadas por un conjunto de unidades de procesamiento conectadas entre sí. Por analogía con el cerebro humano se denomina «neurona» a cada una de estas unidades de procesamiento. Cada neurona recibe muchas señales de entrada y envía una única señal de salida (como ocurre en las neuronas reales). 3. El modelo de McCulloch−Pitts Uno de los primeros modelos matemáticos de una neurona fue el propuesto por McCulloch y Pitts en 1943 y es en el que se basan las redes neuronales actuales. En este modelo (figura 3) cada neurona consta de un conjunto de entradas, Si, y una sola salida Sj. Cada entrada i está afectada por un coeficiente que se denomina peso y que se representa por la letra wij (gráficamente suele representarse como una media luna).

4

Figura 3 El subíndice i refleja que el peso afecta a la entrada i, y el subíndice j que se trata de la neurona j. La cantidad calculada como la suma del producto de cada entrada multiplicada por su respectivo peso se denomina activación de la neurona, xj. La salida, Sj, de la neurona es una función de la activación de ésta. Es decir: xj = Sum Si wij + Qj i Sj = f(xj) donde el término Qj es un valor «umbral», y f(xj) es una función de la activación de la neurona. Por ejemplo, en una de las primeras arquitecturas neuronales, el «Perceptrón», se utiliza la siguiente función de salida: Sj = 0 si xj < h Sj = 1 si xj >= h donde la constante h se denomina umbral. Esta es una función de salida de tipo binaria, y existen otras de tipo lineal puro, lineal con umbral, y sigmoidea, entre otras. En este modelo tan sencillo puede verse que la activación de la neurona depende del valor que tomen los pesos y las entradas, de forma que la variación de éstos origina distintas salidas para la misma entrada a la neurona. En la práctica, los pesos de las neuronas se modifican sometiendo a la red a un entrenamiento, permitiendo que la red realice una función determinada. Esta es la característica que diferencia a una red neuronal de una máquina algorítmica clásica: una red neuronal no se programa, se «educa». La red es capaz de retener y asociar el conocimiento a través de la adaptación de los pesos de las neuronas siguiendo una regla de aprendizaje. Estas reglas son ecuaciones expresadas en función de las entradas y salidas de las neuronas y describen la forma de variación de los pesos. En definitiva, son el instrumento empleado por las neuronas para adaptarse a la información que se le presenta. El aprendizaje de una red se puede producir de tres formas:

5

• Aprendizaje supervisado: consiste en introducir una serie de patrones de entrada a la red y a su vez mostrar la salida que se quiere tener. La red es capaz de ajustar los pesos de las neuronas de forma que a la presentación posterior de esos patrones de entrada la red responde con salida memorizada. • Aprendizaje no supervisado: se presentan los patrones de entrada a la red y ésta los clasifica en categorías según sus rasgos más sobresalientes. • Aprendizaje autosupervisado: la propia red corrige los errores en la interpretación empleando una realimentación. Una de las primeras reglas de aprendizaje fue propuesta por Donald Hebb en 1949, y se basa en un hecho biológico constatado: cuando dos neuronas se activan simultáneamente su conexión se refuerza. Esta idea se expresa matemáticamente como: dwij −−−− = alpha Si xj dt 4. Desarrollo histórico de las redes neuronales Partiendo de que las redes neuronales se fundamentan en el sistema nervioso humano deberíamos remontarnos a los tiempos de Galeno en los que ya se tenía un conocimiento considerable de éste. Sin embargo, los verdaderos avances en neurología se produjeron a partir de la segunda mitad del siglo XIX. Investigadores ilustres de esta época son Jackson, Ramón y Cajal y Golgi entre otros. Fue en 1943 cuando Warren McCulloch y Walter Pitts propusieron el clásico modelo de neurona en el que se basan las redes neuronales actuales. Seis años después, en 1949, en su libro The Organization of Behavior, Donald Hebb presentaba su conocida regla de aprendizaje. En 1957, Frank Rosenblatt presentó el Perceptrón, una red neuronal con aprendizaje supervisado cuya regla de aprendizaje era una modificación de la propuesta por Hebb. El Perceptrón trabaja con patrones de entrada binarios, y su funcionamiento, por tratarse de una red supervisada, se realiza en dos fases: una primera en la que se presentan las entradas y la salidas deseadas; en esta fase la red aprende la salida que debe dar para cada entrada. La principal aportación del Perceptrón es que la adaptación de los pesos se realiza teniendo en cuenta el error entre la salida que da la red y la salida que se desea. En la fase siguiente, de operación, la red «es capaz» de responder adecuadamente cuando se le vuelven a presentar los patrones de entrada. Se crearon grandes expectativas sobre sus aplicaciones, que posteriormente se tornaron en gran decepción cuando en 1969 Minsky y Papert demostraron las grandes limitaciones de esta red. En los años 60 se propusieron otros dos modelos, también supervisados, basados en el Perceptrón de Rosenblatt denominados Adaline y Madaline. En estos, la adaptación de los pesos se realiza teniendo en cuenta el error, calculado como la diferencia entre la salida deseada y la dada por la red, al igual que en el Perceptrón. Sin embargo, la regla de aprendizaje empleada es distinta. Se define una función error para cada neurona que da cuenta del error cometido para cada valor posible de los pesos cuando se presenta una entrada a la neurona. Así, la regla de aprendizaje hace que la variación de los pesos se produzca en la dirección y sentido contrario del vector gradiente del error. A esta regla de aprendizaje se la denomina Delta. La era moderna de las redes neuronales artificiales surge con la técnica de aprendizaje de propagación hacia atrás o Back Propagation. La estructura de las redes citadas anteriormente (Perceptrón, Adaline y Madaline) consta de dos capas: una capa primera formada por unidades que dejan pasar la entrada y que no tienen 6

aprendizaje, y una segunda capa formada por una o varias neuronas en el caso del Madaline. La contribución de Minsky y Papert fue la de demostrar que una red del tipo Perceptrón no es capaz de aprender todas las posibles combinaciones entre entradas y salidas. La solución del problema consiste en añadir capas intermedias de neuronas, introduciendo de esta forma el problema de cómo enseñar a estas capas intermedias. Aquí es donde tiene importancia el algoritmo de propagación hacia atrás. En éste se compara la salida real con la salida deseada. La diferencia entre ambas constituye un error que se propaga hacia atrás desde la capa de salida hasta la de entrada permitiendo así la adaptación de los pesos de las neuronas intermedias mediante una regla de aprendizaje Delta. Sin embargo, también tiene sus limitaciones. Posteriormente se han desarrollado otros modelos que permiten un aprendizaje no supervisado como el mapa auto−organizativo de Kohonen, los basados en la Teoría de Resonancia Adaptativa (ART) de Grossberg y Carpenter, o los modelos de control motor de Bullock, Gaudiano y Grossberg, entre otros. 5. El Perceptrón A continuación se mostrará el funcionamiento de una de las redes neuronales clásicas, el Perceptrón de Rosenblatt. Su importancia es más bien histórica puesto que las limitaciones que presenta hacen que en la actualidad no se emplee en aplicaciones prácticas. Se verá en primer lugar la estructura del Perceptrón, a continuación se detallará su funcionamiento y por último se mostrará el código fuente en C de un programa que realiza una simulación por ordenador de un Perceptrón, donde puede verse cómo es capaz de aprender funciones lógicas de tipo OR y AND. 5.1 Estructura Un Perceptrón consta de dos niveles o capas (figura 4). El primer nivel está compuesto por un número de unidades de entrada, denominadas unidades sensoriales, que en nuestro ejemplo son dos. El segundo nivel está compuesto por un número de unidades de salida, denominadas unidades de asociación, cuyas entradas son las salidas de las unidades de entrada ponderadas por unos pesos. En el ejemplo sólo se empleará una neurona en la capa de salida. Las unidades de entrada tienen una sola entrada correspondiente a una de las entradas a la red, y una sola salida. Estas unidades transmiten la señal que aparece en su entrada.

Figura 4 5.2 Funcionamiento El Perceptrón se diseñó para trabajar con patrones de entrada y salida de tipo binario. Así, la salida será 1 cuando la activación de la neurona alcance un valor y 0 en caso contrario. Según lo expuesto, la activación de la neurona del segundo nivel para un 7

umbral 0 se calcula, en el ejemplo, como: xj = S1 w1j + S2 w2j donde S1 y S2 son las entradas, y w1j y w2j sus correspondientes pesos. La función de salida vendrá determinada por: Sj = { 1 si xj > h ; 0 si xj <= h } donde h es el umbral. La regla de aprendizaje que se emplea para la adaptación de los pesos está basada en el error. Durante la fase de aprendizaje se presentan a la red los patrones de entrada y la salida bj deseada para > h cada entrada. El error viene dado por la diferencia entre la salida deseada bj, y la salida real de la neurona, Sj. Es decir: dj = bj − Sj 5.3 Mecanismo de variación de los pesos: • Si la entrada fue correctamente categorizada (es decir, que la salida de la neurona corresponde con la salida deseada), entonces no se hace ningún cambio. • Si la salida es 1 cuando debería ser 0, entonces los pesos y el umbral se modifican de la siguiente manera: en primer lugar se incrementa el umbral en una unidad, para hacer menos probable la activación de la neurona. Si la entrada ii es 0, entonces no se hace ningún cambio en su peso, puesto que esta entrada no ha contribuido a activar la neurona. Por el contrario, si la entrada ii es 1, se decrementa su peso wi en una unidad. En el otro caso en el que la salida es 1 cuando debiera ser un 0, los cambios que deben hacerse son los opuestos. El método requiere que cada patrón de entrada y salida se presente a la red las veces necesarias hasta que ni los pesos ni el umbral varíen. Por otro lado, el cambio en el umbral y en los pesos se expresa matemáticamente como: Incremento h = −dj Incremento wi = djii Esta regla de aprendizaje, que Rosenblatt denominó back coupled error correction, tiene la propiedad de converger siempre al valor correcto de los pesos siempre que este valor exista. En uno de los apartados siguientes veremos que hay determinadas combinaciones de entradas y salidas que el Perceptrón no puede aprender. 6. Conclusiones El Perceptrón aprende bien las funciones OR y AND, sin embargo no ocurre lo mismo con la función XOR. Esto es debido a que a medida que se van presentando los patrones de entrada y su correspondiente salida, la red va adaptando los pesos, pudiendo ocurrir (como en el caso del XOR) que la diferencia entre las entradas y la salida sea muy grande provocando un cambio grande en el valor de los pesos y haciendo que se borre lo aprendido anteriormente. Este problema en el que la red «va olvidando» lo aprendido a medida que aprende nuevas cosas ya ha sido 8

resuelto en otras redes neuronales más modernas. En algunos casos el problema se soluciona presentando las entradas en un orden distinto. Sin embargo, en el caso del Perceptrón se ha demostrado que no puede aprender determinadas combinaciones de entrada y salida. En este sentido, en 1969 Minsky y Papert demostraron en su libro Perceptróns que este tipo de redes no puede clasificar patrones de entrada que no sean linealmente separables. Unos patrones de entrada/salida se consideran linealmente separables cuando en una representación geométrica en el plano pueden separarse por una línea recta los grupos de entradas/salidas del mismo tipo. Por ejemplo, en el caso de la función OR, la figura 6 muestra cómo pueden ser separados por una línea recta los patrones de entrada clasificados con una salida 0 de los clasificados con una salida 1. Sin embargo, en el caso del XOR, véase la figura 7, no es posible hacer una separación de este tipo.

Figura 6 Figura 7 Veamos que esto es así. Para que el Perceptrón aprenda una función XOR deben cumplirse las siguientes cuatro desigualdades: 0 w1 + 0 w2 < h => 0 < h 1 w1 + 0 w2 < h => w1 > h 0 w1 + 1 w2 < h => w2 > h 1 w1 + 1 w2 < h => w1 + w2 < h Sin embargo, si w1 y w2 son mayores que el umbral h, su suma nunca podrá ser menor que éste, y por tanto no hay ninguna combinación de estos valores que cumpla simultáneamente las cuatro desigualdades. Para ilustrar estas ideas puede representarse en el espacio de los pesos la superficie del error para cada función. Así, puede tomarse una función de error del tipo: n Ej = Sum (djp)² p=1 donde djp es el error de la neurona j para cada patrón p de entrada. Es decir, la función de error Ej da el error total en la neurona j para un valor dado de los pesos y para un grupo de entradas y salidas. El error se calcula como la suma de los errores elevados al cuadrado cuando se presentan las n entradas a la neurona. En el ejemplo que nos ocupa n=4, puesto que hay cuatro patrones de entrada distintos.

9

La función de error definida de esta manera toma un valor para cada par de valores que tengan los pesos w1j y w2j. De esta forma, en el espacio de los pesos la función de error es una superficie donde podrá observarse qué combinaciones de los pesos hacen mínimo el error. Las figuras 8, 9 y 10 muestran las superficies del error, con un umbral de valor 1, para las funciones OR, AND y XOR, respectivamente. Se ha representado en color más oscuro las porciones de superficie de error 0 en cada caso. Además, los bordes de la función de error se han unido al plano de error 0 para mayor claridad.

Figura 8

10

Figura 9 Como puede observarse hay infinitas combinaciones de los pesos que hacen que hacen el error 0 para la función OR. Igualmente puede verse que hay una única combinación de los pesos que hace que valga 0 en el caso de la función AND. Y por último, que no hay ningún valor de los pesos que haga nulo el error cuando se trata de una función XOR, como era de esperar. Una solución al problema, ya conocida por Minsky y Papert, consiste en introducir una capa adicional de neuronas entre la capa de entrada y la capa de salida. Sin embargo, esta solución implica modificar la regla de aprendizaje para poder enseñar también a las neuronas de la capa intermedia.

11

Figura 10 7. Aplicaciones al control automático Por último, se muestran algunas de las múltiples aplicaciones que pueden darse a las redes neuronales en este campo. • Visión artificial: Se emplean modelos de redes neuronales que son capaces de emular características del funcionamiento visual humano permitiendo, por ejemplo, el reconocimiento de imágenes texturadas en color, el aprendizaje para determinar posiciones a partir de la información proveniente de dos cámaras, y representación de la visión binocular. • Reconocimiento y categorización de patrones: Estas redes emplean las arquitecturas de la Teoría de la Resonancia Adaptativa o ART. Entre otras aplicaciones se encuentran el reconocimiento de caracteres manuscritos, autorización de descubiertos bancarios y clasificación de cromosomas. • Procesos químicos: Dos aplicaciones posibles son: el control de la temperatura en un reactor químico y el control de procesos químico−orgánicos no lineales. • Control motor: Permiten resolver el problema cinemático inverso en manipuladores y robótica móvil, consistente en determinar la secuencia de movimientos que deben realizar las distintas partes del robot 12

para alcanzar una posición deseada. También permiten el aprendizaje de la dinámica del manipulador, es decir, de la generación de las fuerzas y pares que hay que aplicar para producir un movimiento determinado. • Otros campos, como la predicción económica y problemas de gestión, aprendizaje preventivo, etc... 8. El futuro de las redes neuronales Las redes neuronales alcanzan cada vez mayor auge, teniendo multitud de aplicaciones en campos diversos y dando soluciones sencillas a problemas cuya resolución resulta complicada cuando se emplean máquinas algorítmicas. Aún así, el futuro de las redes neuronales no está todavía claro y será en los próximos años cuando se determine su evolución.

13