Brain Project

Brain Project

Conceptos Clásicos del Control de la Prensión de Objetos

Michael Arbib El Sistema Neuronal Espejo para la Prensión de Objetos en colaboración con Erhan Oztop (Modelado) Giacomo Rizzolatti (Neurofisiología) Preconfiguración de la mano durante la extensión del brazo para asir un objeto Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Brain Project

Activación de la extensión

1

Programa clásico de Control Coordinado para la prensión de objetos

Criterio de reconocimiento

Activación de býsqueda visual

Santiago de Chile - Noviembre 2000

Entrada visual Entrada visual

Entrada visual

Ubicación Visual

Reconocimiento Posición del Reconocimiento de la Orientación del Tamaño objetivo tamaño orientación entrada Entrada visual visual, cinemática y cinemática y táctil Fase de Movimiento rápido

Fase de Movimiento lento Extensión de la mano

Preconfiguración de la mano

Rotación de la mano

Prensión del objeto

Esquemas Perceptivos

Esquemas Motores

Prensión

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

(Arbib 1981) Santiago de Chile - Noviembre 2000

3

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Brain Project

Santiago de Chile - Noviembre 2000

Jeannerod & Biguer 1979 2

Espacios de Oposición y Dedos Virtuales

El éxito de la extensión, preconfiguración y prensión de un objeto estriba en ajustar el eje de oposición definido por los dedos virtuales con el eje de oposición definido por la permisibilidad (“affordance”) del objeto (Iberall and Arbib 1990)

oposición dactilar ("pad opposition")

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

oposición palmar ("palm opposition") o asimiento fuerte ("power grip")

oposición lateral ("side opposition”) Santiago de Chile - Noviembre 2000

4

Brain Project

Estado de la Mano

Nuestra representación del estado de la mano define una trayectoria hepta-dimensional F(t) con las siguientes componentes a tiempo t

F(t) = (d(t), v(t), a(t), o1(t), o2(t), o3(t), o4(t)): d(t): Distancia al objetivo v(t): Velocidad tangencial de la muñeca. a(t): Apertura de los dedos virtuales involucrados en la prensión o1(t): Angulo entre el eje del objeto y el vector que une la punta del dedo pulgar con la punta del índice [relevante para las oposiciones dactilar y palmar] o2(t): Angulo entre el eje del objeto y el vector que une el nudillo del dedo índice con la punta del pulgar [relevante para la oposición lateral] o3(t), o4(t): Los dos ángulos que definen cuán próximo el dedo pulgar está del resto de la mano, medido relativo al lateral de la mano y a la palma. Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Brain Project

Santiago de Chile - Noviembre 2000

Mecanismos Neuronales Básicos en el Control de la Prensión de Objetos

Brain Project

5

Especialización de neuronas de F5 en distintas formas de asir

agarre tipo pinza

Control Visual de la Prensión del Objetos en el Mono Macaco

Un aspecto fundamental en la coordinación visuomotora: permisibilidades parietales (AIP) rigen los esquemas motrices frontales (F5)

cIPS Hideo Sakata cIPS

AIP permisibilidades (“affordances”) de asir, codificadas en la corteza parietal Hideo Sakata

F5 - órdenes de asir en la corteza premotora Giacomo Rizzolatti

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Brain Project

Santiago de Chile - Noviembre 2000

6

FARS (Fagg-Arbib-Rizzolatti-Sakata) Visión General del Modelo AIP AIP

AIP extrae permisibilidades = Propiedades del objeto relevantes para la interacción física con él. Corteza Prefrontal proporciona el ‘contexto’ que permite a F5 determinar la Formas de asir opción adecuada

Flujo Dorsal: dorsal/ventral Permisibilidades streams

esta ‘cosa’

Asimiento fuerte Restricciones de la Tarea (F6) Memoria de Trabajo Working Memory (46) (46?) Estímulos Instructores Instruction Stimuli (F2) (F2) Task Constraints (F6)

(Datos de Rizzolatti et al.)

CPF Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Santiago de Chile - Noviembre 2000

7

Flujo Ventral: Reconocimiento

F5

F5

“Es una taza”

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

IT Fagg and Arbib,1998

Santiago de Chile - Noviembre 2000

8

Brain Project

Neuronas Espejo

Brain Project

Modelo FARS: Reconocer las permisibilidades de un objeto y determinar la forma correcta de asirlo.

Rizzolatti, Fadiga, Gallese, and Fogassi, 1995: Premotor cortex and the recognition of motor actions

Las neuronas espejo constituyen el subconjunto de neuronas premotoras de F5 relacionadas con la acción de asir, que descargan cuando el mono observa un movimiento significativo de la mano realizado por él

Modelo del Sistema Neuronal Espejo (SNE): Debemos incorporar el reconocimiento de: la trayectoria la preconfiguración de la mano las permisibilidades del objeto y asegurar que los tres son congruentes entre sí.

experimentador u otro mono. F5 está provista de un sistema que casa observación con ejecución

[Las neuronas de F5 relacionadas con la acción de asir que no tienen un comportamiento espejo, son conocidas como neuronas canónicas de F5.] Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Brain Project

¿Existen otros sistemas parietales además de AIP adaptados a esta tarea? Santiago de Chile - Noviembre 2000

9

Otras Regiones Cerebrales Involucradas

10

Criterio fundamental para la Activación de una Neurona Espejo cuando se observa una acción de asir

Desafíos enfrentados en el modelado: i) Lograr que las neuronas espejo se auto-organicen para aprender a reconocer las distintas formas de asir en el repertorio del mono. ii) Aprender a activar las neuronas espejo a partir de un número cada vez menor de imágenes a lo largo de una trayectoria.

PF (7b)

AIP → F5 canónico Hipótesis: STS → PF → F5 espejo Santiago de Chile - Noviembre 2000

Santiago de Chile - Noviembre 2000

a) ¿Corresponde la preconfiguración adoptada por la mano con el tipo de prensión codificada por la neurona espejo? b) ¿Se ajusta esta preconfiguración con una forma permisible de asir el objeto deseado? c) ¿Las distintas imágenes de la mano percibidas indican una trayectoria que permitirá a la mano asir el objeto?

PG (7a)

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Brain Project

cIP

STS

Computación de la Respuesta del Sistema Espejo

11

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Santiago de Chile - Noviembre 2000

12

Modelo del Sistema Neuronal Espejo (SNE)

Brain Project

Características del Objeto

Visual Corteza

Asociación de PF 7b Reconocimiento configuración de la mano Detección del movimiento de la mano

Integración de asociación temporal

Reconocimiento de la acción

Análisis de la Relación espacial Mano- Objeto

STS

F5espejo

7a PG

F(t) = (d(t), v(t), a(t), o1(t), o2(t), o3(t), o4(t)):

F5canónico Programas motores del mano

AIP

Permisibilidad del objeto con Estado de la mano

d(t): Distancia al objetivo v(t): Velocidad tangencial de la muñeca. a(t): Apertura de los dedos virtuales involucrados en la prensión Ejecución motora

Programa Motor del brazo

o1(t): Angulo entre el eje del objeto y el vector que une la punta del dedo pulgar con la punta del índice [relevante para las oposiciones dactilar y palmar] o2(t): Angulo entre el eje del objeto y el vector que une el nudillo del dedo índice con la punta del pulgar [relevante para la oposición lateral] o3(t), o4(t): Los dos ángulos que definen cuán próximo el dedo pulgar está del resto de la mano, medido relativo al lateral de la mano y a la palma.

M1

F4

Ubicación del objeto MIP/LIP/VIP

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Santiago de Chile - Noviembre 2000

13

Tres Esquemas Grandes del Modelo: Sistema Neuronal Espejo (SNE)

3. El Núcleo del Circuito Espejo

Implementación con Redes de Neuronales Artificiales Características del Objeto

Visual Corteza

7b PF Reconocimiento configuración de la mano Detección del movimiento de la mano STS

Trabajo realizado por Erhan Oztop

Extracción de las permisibilidades del objeto

cIPS Asociación de Permisibilidad del objeto con Estado de la mano

Análisis de la relación espacial Mano- Objeto

AIP

Programas motores del mano

Integración de asociación temporal

Reconocimiento de la acción

7a PG

1. Análisis de la Entrada Visual

F5espejo

Estado de la Mano

Nuestra representación del estado de la mano define una trayectoria hepta-dimensional F(t) con las siguientes componentes a tiempo t

Extracción de las permisibilidades del objeto

cIPS

Brain Project

Brain Project

Santiago de Chile - Noviembre 2000

14

Reconocimiento de la configuración de la mano 1 Mano Codificada por Colores

Extracción de características

F5canónico

Programa Motor del brazo

Ejecución motora M1

F4

Ubicación del objeto

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Primer Paso: El sistema procesa la mano previamente marcada con colores y genera un conjunto de características útiles para el segundo paso.

2. Generación de y Asimiento

MIP/LIP/VIPAlcance

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Santiago de Chile - Noviembre 2000

16

Brain Project

Modelado de la Mano

Brain Project

Reconocimiento de la Configuración de la Mano 2 Ajuste del Modelo tridimensional de la Mano

Vector de Características

Minimización del error

Resultado de la exctracción de características Esquema realista de los huesos de la mano.

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Brain Project

La mano es modelada con 14 grados de libertad.

Santiago de Chile - Noviembre 2000

El algoritmo ajuste del modelo de la mano por minimiza el error entre las características extraídas y el modelo

17

Brazo y Mano Virtuales y Simulación de Extensión y Prensión

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Brain Project

Santiago de Chile - Noviembre 2000

18

Datos de series temporales del asimiento fuerte

agarre tipo pinza

Asimiento fuerte Michael Arbib: El Sistema Neuronal Espejo para la Prensión

+: apertura; *: ángulo 1; x: ángulo 2; •: 1-despeje1; :1-despeje2; : velocidad; : distancia.

Oposición lateral Santiago de Chile - Noviembre 2000

19

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Santiago de Chile - Noviembre 2000

20

Núcleo del Circuito Espejo

Brain Project

Brain Project

Código Distribuido (”Coarse Coding") Permisibilidad del objeto (AIP)

Permisibilidad del objeto Neuronas Asociativas

7b

Salida de las neuronas Espejo

Estado de la mano

Programa motor (F5 canónico)

Object Affordances

Integrate temporal association

F5 Espejo

(F5 Espejo)

PF (7b)

Object affordance hand state association

STS

Neuronas Espejo

Realimentación espejo

Motor program

Mirror Feedback Hand-Object spatial relation analysis

Action recognition (Mirror Neurons)

Motor program Motor execution

F5 mirror

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Brain Project

Programa Motor (F5 canónico)

7a

F5canonical

Hand shape recognition & Hand motion detection

Realimentación espejo

Santiago de Chile - Noviembre 2000

21

Clasificación de una trayectoria

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Brain Project

Santiago de Chile - Noviembre 2000

22

Resolución de un asimiento fuerte y un agarre tipo pinza

Trayectoria vista desde tres ángulos diferentes →

(a)

→

Las trayectorias dibujadas por la muñeca mientras se ase un objeto se muestran mediante trazos cuadrados, donde marcas consecutivas indican la distancia recorrida a intervalos de tiempo constantes.

Modo en el cual la red clasifica la acción como asimiento fuerte

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

(b)

agarre tipo pinza

asimiento fuerte

Santiago de Chile - Noviembre 2000

23

Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Santiago de Chile - Noviembre 2000

24

Brain Project

Quo Vadis?

1) Tecnología: Aumentar la robustez y las tasas de aprendizaje de los esquemas, mediante la utilización de mejores algoritmos de aprendizaje para redes de neuronas artificiales. 2) Neurociencia: Implementación de esquemas con redes de neuronas biológicamente plausibles con el fin de replicar datos neurofisiológicos. 3) Aprender a reconocer variaciones de, y ensamblajes de, acciones familiares. 4) Imitación 5) ¡Lenguaje! Michael Arbib: El Sistema Neuronal Espejo para la Prensión

Santiago de Chile - Noviembre 2000

25