Experiencia en la colaboración Universidad-Educación Especial en la Generación de Herramientas Informáticas para Logopedia Oscar Saz – Universidad de Zaragoza [email protected]

1/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Índice `

Parte I: Colaboración Universidad – Entidades de ayuda a la discapacidad ` ` `

`

Parte II: Herramientas de apoyo a la logopedia ` ` `

2/75

Ayudas técnicas Posibilidades de colaboración La experiencia en la Universidad de Zaragoza Los trastornos del habla y la logopedia Tecnologías del Habla Nuestro trabajo: Comunica

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Parte I: Colaboración Universidad – Entidades de ayuda a la discapacidad Una experiencia de colaboración

3/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Ayudas técnicas `

Las ayudas técnicas son cualquier elemento técnico o tecnológico que se diseñe o se utilice con la idea de mejorar la calidad de vida o la inserción de personas con discapacidad

`

Algunas son: ` ` ` `

4/75

Prótesis, sillas de ruedas… Herramientas pedagógicas… Ayudas a la comunicación… Interfaces…

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Acceso a la Sociedad de la Información

` ` `

5/75

Damos por hecho que el acceso a las TIC facilita la integración de discapacitados Pero… …también trae nuevas necesidades de ayudas técnicas. Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Ayudas técnicas `

Pero su realización no es sencilla

` ` `

6/75

Suponen una gran inversión en I+D El grupo de personas al que van dirigidas es minoritario La discapacidad y su atención requiere de personalización

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Posibilidades de colaboración

`

La universidad… ` `

7/75

Genera un gran conocimiento a través de los grupos e institutos de investigación Existe un gran interés por las nuevas líneas de investigación

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Posibilidades de colaboración

8/75

`

Cabría pensar en que son dos mundos que tienen mucho que aportarse

`

Pero no siempre se encuentran Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Experiencia UZ-CPEE Alborada `

Bajo este marco se han desarrollado diferentes ayudas técnicas: ` ` ` ` `

` `

9/75

Silla de ruedas robótica TICO – Tablero Integrado de Comunicación Ratón virtual Dispositivo de orientación-temporal para TEA COMUNICA

Durante los ultimos 5-6 años Sin estar asociado a ningún proyecto de financiación estable

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Experiencia UZ-CPEE Alborada `

Silla de ruedas capaz de evitar obstáculos verticales (paredes o similares) guiada por mapa ` ` `

10/75

Interfaz táctil Interfaz oral Interfaz BCI

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Experiencia UZ-CPEE Alborada `

TICO ` ` `

11/75

Es una herramienta informática para la generación de tableros de comunicación Es una alternativa libre para productos como el Boardmaker Dotada de una gran configurabilidad

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Experiencia UZ-CPEE Alborada `

Ratón virtual ` ` `

12/75

Dispositivo de barrido emulador de ratón También alta configurabilidad También libre

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Experiencia UZ-CPEE Alborada `

Dispositivo de orientación temporal (DOT) ` `

13/75

Ayuda para T.E.A. En fase de prototipo

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Experiencia UZ-CPEE Alborada `

14/75

Comunica

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Experiencia UZ-CPEE Alborada `

El Centro Aragonés de Tecnologías de la Educación (CATEDU) financia la creación de un conjunto de 3000 símbolos para Comunicación Aumentativa y Alternativa ` `

15/75

Para su inclusión en las herramientas Para el Portal Aragonés de Sistemas Aumentativos y Alternativos de Comunicación http://www.catedu.es/arasaac/

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Claves de la colaboración `

Cercanía geográfica

ESCUELA DE INGENIEROS

COLEGIO ALBORADA

16/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Claves de la colaboración `

17/75

Personal de ayudas técnicas del CEE Alborada: Jose Manuel Marcos y Cesar Canalís

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Claves de la colaboración `

Mano de obra barata y cualificada

PROYECTISTAS FIN DE CARRERA, MASTERANDOS, DOCTORANDOS 18/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Parte II: Herramientas de apoyo a la logopedia Tecnologías del habla en el ámbito

19/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Trastornos del habla y del lenguaje `

Unas definiciones: `

Prelenguaje: El conjunto de sonidos que emiten los bebés y niños pequeños como fase previa a la creación del lenguaje

`

Dislalia: Trastorno genérico del habla que supone la confusión de unos sonidos por otros Disartria: Dislalia específica debida a daño cerebral Disglosia: Dislalia específica debida a malformaciones

` `

` ` 20/75

TEL: Trastorno Específico del Lenguaje Afasia: Falta total o parcial del lenguaje Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Métodos de logopedia tradicional `

Interacción directa paciente-alumno `

21/75

Diferentes actividades

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Métodos de logopedia tradicional `

Hay infinidad de manuales `

ELA – Examen Logopédico de Articulación `

`

PLON – Prueba del Languaje Oral Navarra `

`

22/75

G. Aguinaga , M. Armendia, A. Fraile, P. Olangua, N. Uriz

RFI – Registro Fonológico Inducido `

`

J.C. Albor

M. Monfort and A. Juárez-Sánchez

Cada maestrillo tiene su librillo

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Logopedia en T.E.A. `

Los pacientes con TEA suelen sufrir trastornos del lenguaje del tipo afasia `

`

23/75

Especial dificultad en la componente semántico/pragmática

Por la propia característica de su trastorno, es difícil para el logopeda acercarse al autista para llevar a cabo la terapia

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Tecnologías del habla `

Reconocimiento Automático del Habla `

Convierte una secuencia acústica…

`

… en una secuencia de palabras

El árbol y la bruja 24/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Tecnologías del Habla `

Reconocimiento Automático del Habla `

`

Su principal dificultad es la variabilidad de la señal de voz ` ` ` ` `

`

25/75

Funciona muy bien con pequeño vocabulario, habla leída y locutor entrenado

Entre diferentes locutores En el mismo locutor en diferentes días Por características propias del locutor Por el ruido ambiente Por el modo de hablar

En logopedia nos permitirá crear sistemas de interacción oral que reforzarán en el usuario el lenguaje oral Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Tecnologías del habla `

Síntesis de voz `

Convierte una secuencia de palabras…

El árbol y la bruja `

26/75

… en una secuencia de audio

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Tecnologías del Habla `

Hay sintetizadores comerciales muy buenos en el mercado, pero también caros. ` `

`

27/75

Síntesis de voz basada en concatenación de unidades de sub-palabra grabadas de un locutor Mayor dificultad: Generar correctamente la prosodia

En logopedia nos permitirá dar al usuario la pronunciación correcta de lo que se le quiere enseñar en una actividad determinada

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Tecnologías del habla `

Medidas de confianza `

Convierte una secuencia acústica…

`

… en una secuencia de palabras…

El árbol y la bruja `

… y en un valor numérico de fiabilidad de esa transcripción

3,57 – 5,56 – 2,03 – 0,54 – 0,12 28/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Tecnologías del Habla `

Medidas de confianza: Posibilidades ` `

`

Su principal problemática es nuevamente la variabilidad de la voz `

`

29/75

Detectar errores en reconocimiento Identificar errores de pronunciación

Es difícil separar correctamente pronunciaciones

En logopedia nos permitirá dar al usuario una realimentación sobre qué partes concretas del discurso necesita mejorar

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Herramientas CASLT ` `

Aplicación de Tecnologías del Habla para la Logopedia Proporciona ` ` ` ` `

30/75

Posibilidad de trabajar sin necesidad de supervisión directa del logopeda (Semi-)Automatizando el proceso Haciendo que más alumnos puedan trabajar en el mismo tiempo Sin prescindir por completo del profesional Un método objetivo de evaluación

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Trabajos previos `

Revisando en la bibliografía no hay muchos trabajos orientados a logopedia en español ` `

`

Si que existen muchos trabajos en otros paises ` ` `

31/75

No hay tanto desarrollo en investigación en tecnologías del habla como en EE.UU. y en Europa También nos falta en temas de ayuda a discapacidad

Para logopedia Tutores de lectura Para enseñanza de idiomas: Gran mercado

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Revisión de trabajos `

SpeechViewer ` ` `

32/75

Principal intento comercial IBM,1990’s Sin adaptación al castellano

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Revisión de trabajos `

En temas de investigación `

`

`

El movimiento creciente en enseñanza de idiomas hace que muchas empresas y grupos los diseñen `

33/75

Hubo un esfuerzo por parte de la Unión Europea en el programa marco “Calidad de vida y manejo de los recursos vivos” durante 1998-2002 con diversos proyectos. Pero muchas veces se falla en el esfuerzo de llevar el conocimiento generado a los usuarios finales

Pero no están pensados para la educación especial

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Revisión de trabajos `

Requerimientos a tener en cuenta ` ` ` `

34/75

Interfaz: Adulto/niño. Multimodalidad (imagen, texto, audio, talking faces…) Uso de AAC Niveles del lenguaje (prelenguaje, fonológico, sintáctico/gramático…) Realimentación (evaluación/notas, visual/articulatoria….)

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Revisión de trabajos `

35/75

Requerimientos a tener en cuenta

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA `

`

Pretende proveer de una herramienta para hacer más eficiente el trabajo logopédico a los profesionales Todo el proceso de adquisición del lenguaje ` ` `

36/75

Prelenguaje y estimulación temprana Articulación y fonología Semántica y funcionalidad

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - PreLingua

PreLingua se basa en un conjunto de actividades (juegos) con la intención de estimular las capacidades de fonación del alumno

37/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - PreLingua Vocalización

Tonalidad

Respiración

Intensidad

Detección de voz

38/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - PreLingua `

39/75

Detección de voz

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - PreLingua `

40/75

Intensidad

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - PreLingua `

41/75

Respiración

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - PreLingua `

42/75

Tonalidad

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - PreLingua `

43/75

Vocalización

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - PreLingua `

Las tecnologías que se usan en PreLingua son: `

Procesado de señal de voz y extracción de: `

`

`

44/75

Es una tecnología con una larga historia, muy probada y robusta

La realimentación se hace de una forma visual muy directa `

`

Intensidad, pitch, formantes…

Objetivos claros y sencillos para niños de edades muy bajas

Interés también para estimulación temprana

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza

Vocaliza es una aplicación para la mejora del apartado fonológico del lenguaje mediante la repetición de palabras aisladas y frases

45/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza

Pronunciación Adivinanzas 46/75

Evocación Frases

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza `

Pronunciación

Audio

Imagen

Pronunciación 47/75

Texto

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza `

Pronunciación

Audio

Imagen

Realimentación audio-visual

Pronunciación 48/75

Texto

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza `

Adivinanzas

Planteamiento Posibilidades

Respuesta oral

49/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza `

Adivinanzas

Planteamiento Posibilidades

Realimentación audio-visual

Respuesta oral

50/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza `

Frases Frase

Pronunciación

51/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza `

Frases Frase

Realimentación audio-visual

Pronunciación

52/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza `

Evocación

Entrada oral

53/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza `

Evocación

Entrada oral

54/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza `

Las tecnologías utilizadas son: `

` ` `

55/75

Reconocimiento Automático del Habla para determinar cuál ha sido la palabra pronunciada y compararla con la esperada Síntesis de voz para ofrecer la pronunciación correcta al alumno Adaptación al locutor para mejorar el sistema de Reconocimiento a un alumno concreto Verificación de pronunciación para dar una nota y realimentación al alumno

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA - Vocaliza `

Posibilita ` ` `

`

Las dificultades son `

56/75

Automatización del proceso logopédico El logopeda elige las palabras que el alumno debe trabajar en una sesión concreta Entorno estimulante y más participativo

Falta de robustez a condicionantes del audio, como exceso de ruido o una voz muy patológica

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA – VocalizaL2 `

Da una realimentación mejorada al alumno Audio Imagen

Pronunciación 57/75

Texto

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA – VocalizaL2 `

Una variante de Vocaliza que pretende dar una realimentación mejorada Audioal alumno Imagen

Realimentación audio-visual

Correcta

Pronunciación 58/75

Texto

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA – VocalizaL2 `

Una variante de Vocaliza que pretende dar una realimentación mejorada Audioal alumno Imagen

Realimentación audio-visual

Muy incorrecta

Pronunciación 59/75

Texto

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA – Cuéntame

Cuéntame es una aplicación para la estimulación del lenguaje conversacional

60/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA – Cuéntame

Respóndeme 61/75

Descríbeme

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

Actúa 14-12-2008

COMUNICA – Cuéntame `

Respóndeme

Pregunta

Objeto Respuesta oral

62/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA – Cuéntame `

Descríbeme

Objeto

Pista Respuesta oral 63/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA – Cuéntame `

Actúa

Planteamiento Acciones

Escena

Respuesta oral

Objetos 64/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA – Cuéntame `

Las tecnologías utilizadas son: ` ` ` ` `

65/75

Reconocimiento Automático del Habla para determinar cuál ha sido la frase pronunciada Síntesis de voz para presentar los planteamientos Adaptación al locutor para mejorar el sistema de Reconocimiento a un alumno concreto Análisis morfosintáctico para identificar la corrección de la frase del alumno Trabajo con habla natural

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA – Cuéntame `

Posibilita ` `

`

Las dificultades son ` `

66/75

Un entorno interactivo con voz para la estimulación de las capacidades conversacionales del alumno Entorno estimulante y más participativo

Dificultad en el trabajo con habla natural Falta de robustez frente a condicionantes de la señal de audio

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA `

Otras características de las aplicaciones `

67/75

Manejo de la entrada de audio por parte del usuario en un interfaz simplificado

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

COMUNICA `

Otras características de las aplicaciones `

68/75

Gestión de usuarios: Permite personalizar el trabajo con diferentes chicos en una misma aplicación en un mismo ordenador

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Distribución de las herramientas `

Página web

http://www.vocaliza.es

69/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Evaluación de las herramientas `

Es importante conocer hasta que punto las herramientas proveen de forma efectiva y pedagógica de esta ayuda a la logopedia

`

Estamos trabajando en ese tema con la gente de ` ` `

70/75

CEE Alborada Vienna International School Cualquiera que quiera evaluarlo en sus clase

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Posibilidades en T.E.A. `

No hemos estudiado por sí mismas las posibilidades de “Comunica” en niños con T.E.A.

`

Aunque sí que existen casos donde se ven las posibilidades de las herramientas ` `

71/75

La interacción con el ordenador suele ser preferida por los autistas Hay una herramienta dedicada por entero al lenguaje pragmático

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Conclusiones

72/75

`

Se ha presentado el marco de colaboración para el desarrollo de ayudas técnicas entre la Universidad de Zaragoza y el Colegio “Alborada”

`

Ha permitido el desarrollo de diferentes aplicaciones orientadas a discapacidad

`

Basándose sobre todo en la búsqueda de temas para proyectos fin de carrera

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Conclusiones `

`

` ` `

73/75

Se han presentado las posibilidades que las Tecnologías del Habla ofrecen a la logopedia asistida por ordenador Las herramientas se basan en un interfaz amigable basado en AAC y en la robustez de las Tecnologías del Habla La distribución es libre La evaluación es positiva pero aún nos queda mucho por hacer Estamos abiertos a todo tipo de mejoras e indicaciones de los usuarios Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Para finalizar… Todos los miembros del grupo

74/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008

Experiencia en la colaboración Universidad-Educación Especial en la Generación de Herramientas Informáticas para Logopedia

FIN 75/75

Aplicaciones Informáticas en el Ámbito de los Trastornos del Espectro Autista

14-12-2008