SONIA: Interfaz para la producción musical en tiempo real integrando dispositivos de entrada Julián E. Pérez Valencia Santiago E. Mendoza Lareo Tutor: Mg. Sergio Bromberg Trabajo de grado presentado como requisito parcial para optar al título de Ingeniero Multimedia

Ingeniería Multimedia Facultad de Ingeniería Universidad de San Buenaventura Cali, Colombia Noviembre 2012

Contenido Contenido ............................................................................................................................................ ii Declaración ......................................................................................................................................... v Resumen ............................................................................................................................................. vi Agradecimientos ............................................................................................................................... vii Dedicatoria ....................................................................................................................................... viii Lista de Figuras .................................................................................................................................. ix Lista de Tablas ................................................................................................................................... xi Abreviaturas ...................................................................................................................................... xii 1

Introducción ................................................................................................................................ 1

2

Marco teórico .............................................................................................................................. 2 2.1 Síntesis de sonido .................................................................................................................... 2 2.1.1 Tipos de síntesis ............................................................................................................... 3 2.1.1.1 Síntesis aditiva .......................................................................................................... 3 2.1.1.2 Síntesis sustractiva .................................................................................................... 3 2.1.1.3 Síntesis por modelamiento físico .............................................................................. 3 2.1.1.4 Síntesis por modelamiento de señal .......................................................................... 3 2.1.1.5 Otras .......................................................................................................................... 3 2.1.2 Envolvente de amplitud (ADSR) ..................................................................................... 3 2.1.2.1 Ataque ....................................................................................................................... 3 2.1.2.2 Decaimiento .............................................................................................................. 3 2.1.2.3 Sostenimiento ............................................................................................................ 3 2.1.2.4 Relajación.................................................................................................................. 4 2.1.3 Tono (Frecuencia) ............................................................................................................ 4 2.1.4 Timbre .............................................................................................................................. 4 2.1.5 Ritmo................................................................................................................................ 5 2.1.6 Pulso ................................................................................................................................. 5 2.1.7 Tempo .............................................................................................................................. 5 2.1.8 Melodía ............................................................................................................................ 5 2.2 HCI para el control musical ..................................................................................................... 6 2.2.1 Dispositivos de entrada .................................................................................................... 7

ii

2.2.1.1 Propiedad detectada .................................................................................................. 7 2.2.1.2 Número de dimensiones ............................................................................................ 7 2.2.1.3 Indirecto vs. Directo .................................................................................................. 7 2.2.1.4 Tiempo de adquisición .............................................................................................. 7 2.2.1.5 Ganancia.................................................................................................................... 8 2.2.1.6 Otras métricas ........................................................................................................... 8 2.2.2 Modalidades de interacción.............................................................................................. 8 2.2.2.1 Pantalla multitáctil .................................................................................................... 8 2.2.2.2 Retroalimentación ..................................................................................................... 9 2.2.3 Controladores musicales ................................................................................................ 10 2.3 Control y diseño musical....................................................................................................... 10 2.3.1 Estrategias de mapeo ...................................................................................................... 11 2.3.1.1 Mapeo uno a uno ..................................................................................................... 11 2.3.1.2 Mapeo divergente .................................................................................................... 11 2.3.1.3 Mapeo convergente ................................................................................................. 11 2.4 Estado del arte ....................................................................................................................... 11 2.4.1 Funciones comunes ........................................................................................................ 11 2.4.2 Usabilidad ...................................................................................................................... 12 2.4.3 Lemur ............................................................................................................................. 12 2.4.4 Reactable ........................................................................................................................ 13 2.4.5 Controlador de scratch multitrack .................................................................................. 13 2.4.6 Interfaz multitáctil para la mezcla de audio ................................................................... 14 2.4.7 Bricktable ....................................................................................................................... 14 2.4.8 SketchSynth ................................................................................................................... 15 2.4.9 Aplicación multitáctil interactiva de DJing.................................................................... 15 2.4.10 Aplicación táctil enfocada en la composición musical colaborativa ............................ 16 2.4.11 Aplicación táctil XENAKIS ......................................................................................... 17 3

Protocolos de comunicación ..................................................................................................... 18 3.1 Protocolo TUIO .................................................................................................................... 18 3.2 Open Sound Control (OSC) .................................................................................................. 19 3.3 Protocolo MIDI ..................................................................................................................... 19

4

Diseño ....................................................................................................................................... 21 4.1 Diseño funcional ................................................................................................................... 21 iii

4.2 Interfaz gráfica ...................................................................................................................... 22 4.2.1 Grabador análogo ........................................................................................................... 23 4.2.2 Secuenciadores ............................................................................................................... 24 4.2.3 Asignadores MIDI.......................................................................................................... 25 4.2.4 Panel de información ..................................................................................................... 26 5

Implementación......................................................................................................................... 27 5.1 Procesamiento de audio ........................................................................................................ 27 5.1.1 Grabador análogo ........................................................................................................... 27 5.1.2 Secuenciadores ............................................................................................................... 28 5.1.3 Asignadores MIDI.......................................................................................................... 29 5.1.4 Panel de información ..................................................................................................... 29 5.2 Comunicación entre aplicaciones.......................................................................................... 30 5.3 Integración del hardware ....................................................................................................... 31 5.3.1 Sensor multitáctil ........................................................................................................... 32 5.3.2 Pantalla ........................................................................................................................... 34 5.3.3 Teclado MIDI ................................................................................................................. 35 5.3.4 Controlador MIDI para batería....................................................................................... 36 5.3.5 Micrófono....................................................................................................................... 36

6

Evaluación................................................................................................................................. 37 6.1 Pruebas de usuario ................................................................................................................ 37 6.2 Medición de latencia ............................................................................................................. 38 6.3 Resultados ............................................................................................................................. 39

7

Conclusiones ............................................................................................................................. 42

8

Anexos ...................................................................................................................................... 44

9

Referencias ................................................................................................................................ 48

10

Biografías .............................................................................................................................. 54

iv

Declaración Nosotros declaramos que este documento es de nuestra autoría y damos fe que no contiene material que haya sido publicado o escrito por otra persona, ni material que haya sido utilizado para la obtención de otro título en la Universidad de San Buenaventura ni en otra institución de educación superior, excepto donde se indique de manera explícita en el documento. Julián E. Pérez, Santiago E. Mendoza

16 de Noviembre, 2012

v

Resumen Santiago E. Mendoza

Ingeniero Multimedia

Julián E. Pérez

Ingeniero Multimedia

Universidad de San Buenaventura

Noviembre 2012

SONIA: Interfaz para la producción musical en tiempo real integrando dispositivos de entrada La producción musical en tiempo real con instrumentos musicales electrónicos es un tema de investigación en el campo de la HCI. Quienes desarrollan este tipo de instrumentos buscan transformar la manera de crear música incorporando nuevos elementos de control que resultan más agradables para el músico y el público en algunos casos. En este documento diseñamos e implementamos una interfaz controladora de instrumentos musicales electrónicos para la interpretación en vivo, utilizando una pantalla multitáctil como dispositivo de control. Este prototipo permite centralizar el mando de un sistema musical mediante la implementación de protocolos de comunicación entre los instrumentos musicales, la pantalla multitáctil y el software controlador. Finalmente, el rendimiento del procesamiento de audio fue cuantificado con el propósito de conocer necesidades del sistema que deben ser mejoradas a futuro. Palabras clave: Interfaz multitáctil, producción musical en tiempo real, música, dispositivos de entrada.

vi

Agradecimientos Agradecemos a nuestras familias por creer en nosotros y hacer un valioso esfuerzo para que nuestros sueños se vuelvan realidad. También a la Universidad de San Buenaventura seccional Cali y a sus docentes que nos brindaron las herramientas y conocimientos para empezar a desarrollar nuestro proyecto de vida.

vii

Dedicatoria

Dedico este trabajo a mi madre, mi padre y mis hermanas. Julián.

Dedico este trabajo a Dios, a mi padre, mi madre y a mis hermanos. Santiago.

viii

Lista de Figuras Figura 2.1 Formas de onda simples. ................................................................................................. 2 Figura 2.2 Envolvente de amplitud. .................................................................................................. 4 Figura 2.3 Representación gráfica del control gestual mediante mapeo. ........................................ 11 Figura 2.4 Dispositivo Lemur. ........................................................................................................ 12 Figura 2.5 Compartiendo el Reactable entre dos usuarios. ............................................................. 13 Figura 2.7 Interfaz multitáctil para la mezcla de audio. .................................................................. 14 Figura 2.8 Interacción con Bricktable. ............................................................................................ 14 Figura 2.9 SketchSynth en acción. .................................................................................................. 15 Figura 2.10 Prototipo multitáctil en acción. .................................................................................... 16 Figura 2.11 Aplicación táctil de composición musical colaborativa en uso. .................................. 17 Figura 2.12 Mesa Xenakis en el Open Lab Party........................................................................... 17 Figura 3.1 Ubicación y tamaño de un blob. .................................................................................... 18 Figura 4.1 Estructura general de comunicación del prototipo desarrollado. ................................... 21 Figura 4.2 Estructura de la funcionalidad del prototipo .................................................................. 22 Figura 4.3 Interfaz gráfica del grabador análogo. ........................................................................... 24 Figura 4.4 Interfaz gráfica de los secuenciadores. .......................................................................... 25 Figura 4.5 Interfaz gráfica de asignador para batería MIDI. ........................................................... 25 Figura 4.6 Interfaz gráfica de asignador para teclado MIDI. .......................................................... 26 Figura 4.7 Interfaz gráfica del panel de información. ..................................................................... 26 Figura 5.1 Programación en Max de filtros para un canal de sonido mediante filtros pasa banda. 28 Figura 5.2 Conversión de valores de intensidad para los filtros mediante funciones en Max. ....... 28 Figura 5.3 Reloj pulsador y secuenciadores en Max....................................................................... 29 Figura 5.4 Discriminación de los argumentos nota y velocidad de cada instrumento MIDI en Max/MSP. ......................................................................................................................................... 29 Figura 5.5 Envío y recepción de datos OSC en Max/MSP. ............................................................ 31 Figura 5.6 Sensor Zaag-Tech con su empaque. .............................................................................. 32 Figura 5.7 Distribución en fila de varios LED a la izquierda y un conector a la derecha dentro de una de las piezas del sensor............................................................................................................... 32 Figura 5.8 Ensamblaje del sensor. .................................................................................................. 33 Figura 5.9 Calibración del sensor. .................................................................................................. 33 Figura 5.10 Disposición del sensor, el vidrio y la pantalla. ............................................................ 34 ix

Figura 5.11 Vista lateral detallada de las piezas del sensor y la pantalla. ....................................... 34 Figura 5.12 Pantalla y sensor multitáctil acoplados. ....................................................................... 35 Figura 5.13 Teclado MIDI. ............................................................................................................. 35 Figura 5.14 Interfaz USB-MIDI ―Yamaha UX-16‖. ....................................................................... 36 Figura 5.15 Controlador MIDI para batería electrónica ―Casio DZ-1‖. ......................................... 36 Figura 6.1 Usuario probando la interfaz. ........................................................................................ 37 Figura 6.2 Latencia generada en la interpretación con micrófono. ................................................. 38 Figura 6.3 Latencia generada en la ejecución de la batería MIDI. .................................................. 39 Figura 6.4 Error de precisión. ......................................................................................................... 40 Figura 6.5 Latencia gráfica. ............................................................................................................ 41 Figura 7.1 Punto de visión perpendicular de un botón de la interfaz siendo activado por un dedo. 42 Figura 8.1 Prototipo en papel del grabador análogo. ...................................................................... 44 Figura 8.3 Modelo del contenido de mensajes OSC enviados hacia aplicación Max/MSP. .......... 45 Figura 8.4 Modelo del contenido de mensajes OSC enviados hacia la aplicación openFrameworks. .......................................................................................................................................................... 46 Figura 8.5 Resultados de pruebas de precisión del sensor multitáctil. ............................................ 47

x

Lista de Tablas Tabla 2.1 Varios tempos en pulsaciones por minuto (BPM). ........................................................... 5 Tabla 5.1 Hardware con especificaciones .... . ................................................................................. 32 Tabla 6.1 Resultados de las encuestas realizadas............................................................................ 40

xi

Abreviaturas IDE: Integrated Development Environment . HCI: Human Computer Interaction. OSC: Open Sound Control. HID: Human Interface Device. NUI: Natural User Interface. IR: Infrared. SAW: Surface Acoustics Waves. MIDI: Musical Instrument Digital Interface. ADC: Analog-to-Digital Converter. NIME: New Interfaces for Musical Expression. GUI: Graphical User Interface. TUIO: Tangible User Interface. DAW: Digital Audio Workstation. LPF: Low Pass Filter. BPF: Band Pass Filter. HPF: High Pass Filter. IDE: Integrated Development Environment. VGA: Video Graphics Array. DVI: Digital Visual Interface. HDMI: High-Definition Multimedia Interface. USB: Universal Serial Bus. LED: Light-Emitting Diode. BPM: Beats per minute. DSP: Digital Signal Processing. VST: Virtual Studio Technology.

xii

1 Introducción La música es el arte de organización del sonido y el silencio que se realiza desde hace más de 50.000 años con elementos como la voz u objetos [60][59], logrando ser un poderoso estímulo capaz de influenciar las emociones en el ser humano [38]. La adopción de dispositivos electrónicos en la composición, interpretación y percepción musical desde mediados del siglo pasado trajo consigo instrumentos musicales electrónicos como el Theremin o el Sintetizador modular Moog. Estas nuevas formas de composición musical llegaron a un grupo importante de músicos que las hicieron populares progresivamente [15]. Los instrumentos musicales electrónicos tienen una larga historia, transformando la manera de crear música, reemplazando a los instrumentos tradicionales y facilitando el surgimiento de nuevos géneros musicales como la música electrónica y el hip-hop. Los músicos que utilizan estos instrumentos lo hacen de una manera equivalente a la utilizada con instrumentos acústicos similares, además, dicen ser capaces de controlarlos y garantizar que producen un efecto musical particular que le gusta al público [44]. Gracias a los adelantos en investigación de los últimos años se ha incrementado el desarrollo de interfaces para la producción musical que aprovechan la gran variedad de sensores disponibles y el procesamiento de datos de las computadoras. Este tipo de interfaces generan una retroalimentación visualmente llamativa mientras se controlan contenidos acústicos de manera multitáctil. En algunos casos el control se puede realizar de modo colaborativo como en el Reactable [1]. Las interfaces multitáctiles pueden implementarse también como controladores para la parametrización de dispositivos y señales provenientes de instrumentos acústicos y electrónicos, brindando una alternativa novedosa y útil a músicos que ejecutan y controlan varios instrumentos musicales al tiempo. Además, encuentran un amplio sector de usuarios que prefieren la interacción directa en vez de hacerlo con dispositivos como el mouse [17]. El creciente desarrollo de este tipo de interfaces nos animó a crear un prototipo de interfaz multitáctil que permite controlar las señales generadas por instrumentos musicales en actos en vivo. La interfaz está organizada de manera modular para controlar dos señales digitales y una analógica independientemente. Cada módulo permite el control de grabación, mezcla en vivo, edición y filtrado de la señal de entrada. Un módulo más permite secuenciar 8 sonidos simultáneamente a un tempo determinado por el usuario. Un piano y una batería MIDI (Interfaz digital de instrumentos musicales) son los dispositivos de entrada digitales, y un micrófono el dispositivo de entrada analógico. Los resultados de la investigación realizada están organizados de la siguiente manera en este documento: primero, un resumen de las tendencias en investigación para el desarrollo de dispositivos e interfaces para la producción musical, que emplean en muchos casos pantallas multitáctiles; después se describen los protocolos de comunicación utilizados en este tipo de proyectos; más adelante se encuentra la implementación del prototipo: desde el diseño de la interfaz gráfica, pasando por la implementación de la aplicación procesadora de audio, la comunicación entre ellas, la integración con el hardware, hasta llegar a las pruebas de usuario y la medición de latencia del sonido, que detalla las bondades del sistema, las mejoras que requiere en el futuro y unas recomendaciones para investigadores interesados en este campo.

1

2 Marco teórico Actualmente las interfaces musicales se desarrollan con frecuencia utilizando el estándar MIDI. Sin embargo estas interfaces presentan limitaciones para la creación de un sistema creativo y emocional para el músico. Por este motivo la implementación de otras tecnologías de comunicación puede ser una solución efectiva al problema. Nuestra investigación busca abordar el control general de señales provenientes de instrumentos musicales utilizando una interfaz multitáctil que logre ser inteligible y amigable con el usuario, permitiendo ajustar los datos recibidos de varias fuentes a parámetros relevantes desde el sentido de la producción musical. Para entender la implementación de nuestro prototipo es necesario comprender conceptos relacionados con el diseño de instrumentos musicales electrónicos.

2.1 Síntesis de sonido La síntesis consiste en generar sonidos a partir de medios no acústicos. Los músicos interesados en el diseño de sonidos utilizan la síntesis para producir sus propios sonidos [79]. Para hacerlo se requiere de un sintetizador, analógico o digital que se encarga de realizar variaciones en la forma de onda mediante la alteración del voltaje cuando es analógico o mediante software cuando es digital. Max Mathews empezó a incorporar la tecnología digital en los años 50 del siglo pasado para brindarle estabilidad y precisión al proceso de síntesis [79]. En muchos métodos de síntesis se utiliza un componente para generar ondas llamado oscilador. El oscilador es capaz de producir tanto la frecuencia como el contenido armónico de una nota musical, lo que significa que el oscilador puede producir notas de un tono reconocible y particular, llegando a ser capaz de reproducir formas características de onda complejas asociadas a instrumentos convencionales (piano, violin, etc.).

Figura 2.1 Formas de onda simples [36].

La forma de onda más básica es la onda senoidal compuesta de una sola frecuencia específica. Otros tres tipos simples de forma de onda: la onda cuadrada, que se produce haciendo hincapié en los armónicos impares produciendo notas de un sonido bastante hueco; la onda triangular, se produce enfatizando en pocas parciales impares específicas produciendo una nota clara siendo perfecta para imitar sonidos de las flautas; y por último, la forma de onda más compleja, la onda

2

diente de sierra, extremadamente rica en armónicos y se usa para imitar los sonidos característicos de la música trance [36]. La Figura 2.1 muestra estas cuatro formas de onda.

2.1.1 Tipos de síntesis 2.1.1.1 Síntesis aditiva En la síntesis aditiva, la forma de onda requerida se obtiene añadiendo ondas armónicas a una frecuencia fundamental dada. Este tipo de síntesis se realiza a instrumentos de viento y cuerda, y también, en instrumentos electrónicos y resulta bastante útil ya que los sonidos que generan este tipo de instrumentos son armónicos. 2.1.1.2 Síntesis sustractiva Comienza con una forma de onda que es rica en armónicos y luego se filtra selectivamente ciertas frecuencias [36]. 2.1.1.3 Síntesis por modelamiento físico Tienen como principio describir analíticamente el ambiente mecánico y acústico de instrumentos musicales o generadores de sonido con el fin de simularlos. Son especialmente útiles para una simulación realista de un instrumento acústico [29]. 2.1.1.4 Síntesis por modelamiento de señal Usan estructuras matemáticas de difícil comprensión para codificar las propiedades espectrales y/o temporales de un sonido deseado [29]. 2.1.1.5 Otras Existe una gran variedad de métodos de síntesis.Entre los más destacados se encuentra: a) síntesis por AM (amplitud modulada), se encarga de hacer variar la amplitud de una señal portadora por una moduladora, b) síntesis por FM (frecuencia modulada), modifica la frecuencia de la señal portadora para crear vibratos, c) síntesis basada en muestras, utiliza sonidos ya grabados para realizar alteraciones mediante efectos de sonido.

2.1.2 Envolvente de amplitud (ADSR) Para sintetizar un sonido es necesario definir la envolvente de amplitud. Ver figura 2.2. Usualmente la envolvente de la amplitud se define mediante cuatro parámetros globales (ADSR) que definen la evolución temporal del sonido: 2.1.2.1 Ataque Tiempo que tarda el sonido en llegar al máximo nivel de intensidad cuando se toca la tecla o medio de inducción vibratorio. 2.1.2.2 Decaimiento Tiempo que tarda el sonido en llegar a un nivel de intensidad constante sin soltar la tecla o medio de inducción vibratorio. 2.1.2.3 Sostenimiento Tiempo que tarda en mantenerse constante la amplitud de un sonido hasta que se suelta la tecla o medio de inducción vibratorio.

3

2.1.2.4 Relajación Tiempo que tarda en desaparecer la amplitud de un sonido después de soltar una tecla o medio de inducción vibratorio.

Figura 2.2 Envolvente de amplitud [78].

2.1.3 Tono (Frecuencia) El tono es la percepción humana de la frecuencia y se mide generalmente en Hertz (Hz), medición que representa el número de oscilaciones por segundo. Los tonos de baja frecuencia tienen longitudes de onda relativamente largas, mientras que los tonos agudos tienen relativamente longitudes de onda cortas. El rango general de audición humana se extiende desde 20 Hz a 20 kHz, más allá de este rango hay sonidos muy graves o muy agudos para ser escuchados por el ser humano [36]. El rango de frecuencias que se usan generalmente en la música cubre un poco más de siete octavas de sonido, que es el rango general cubierto por un piano de concierto. El rango de muchos otros instrumentos tienden a ser asignados dentro de este límite generalizado. Las notas producidas por tales instrumentos son típicamente estables en términos de su frecuencia, es decir, que el oído las escuche como notas de un tono definido. A fin de que distintos instrumentos trabajen juntos deben estar sintonizados, es decir, que la nota C de un instrumento debe ser la misma nota C escuchada en otro instrumento [36].

2.1.4 Timbre También llamado color, es la característica musical que permite al oido distinguir entre el sonido de un instrumento con el sonido de otro instrumento al tocar la misma nota. Para explicar porqué estos sonidos tienen una característica diferente, se debe tener en cuenta la compleja composición de un solo tono musical. Cuando se oye un tono musical se le oye como un evento singular reconocible facilmente. Cada tono musical que se escucha es en realidad una mezcla muy compleja de varias vibraciones. Esto puede ser entendido utilizando un espectrograma, que muestra la intensidad de las componentes de un sonido a través del tiempo.

4

2.1.5 Ritmo Cada sonido usado en una composición musical tiene una duración particular cuyo valor es representado en la dimensión del tiempo musical. La sucesión de varios valores o eventos que ocurren a través del tiempo musical se llama ritmo. El ritmo, por supuesto, siempre ha sido un ingrediente esencial de todo tipo de música, de hecho, sin ritmo es muy probable que no podría haber ningún tipo de música [32].

2.1.6 Pulso El ritmo juega un papel vital en el mundo, de hecho nuestras vidas están completamente gobernadas por él, podemos ver el ritmo en abundancia en los latidos del corazón, la inhalación y exhalación de la respiración, el proceso de caminar, etc. El ritmo en la música toma el ejemplo de estos ritmos naturales. El tiempo musical se divide en golpes de pulso regulares que emulan estos ritmos de la naturaleza. Independientemente de si la música tiene una pista de percusión, la capacidad de escuchar y entender la música que se escucha depende de la capacidad de captar y seguir el pulso [32].

2.1.7 Tempo El ritmo puede ser relativamente rápido o lento, esta velocidad se llama tempo. El sentido psicológico del tempo está fuertemente relacionado con los latidos del corazón. Se ha demostrado científicamente que el pulso del golpe más rápido que la velocidad media del corazón humano (alrededor de 80 golpes por minuto), tienden a estimular y excitar, mientras que los más lentos que los latidos del corazón tienen un efecto calmante. El ritmo de la música está determinado por el número de pulsaciones por minuto (BPM). Este valor se utiliza para definir con precisión el tempo de la música [32]. La tabla 2.1 lista algunos promedios de duración del golpe asociados a diferentes tipos de música. Tempo

Pulsaciones por minuto (BPM)

Ambient Hip-hop Deep house Trance Hard dance/hardcore Drum and bass

50 - 100 70 - 95 110 - 130 130 - 145 145 - 170 160 - 180

Tabla 2.1 Varios tempos en pulsaciones por minuto (BPM) [11].

Una buena base en el ritmo juega un papel importante para la composición armónica y melódica. Una de las características más importantes de la efectividad de una línea de bajo (ritmo base) es a menudo su ritmo distintivo. Los estilos de música (como el house, hard dance, techno, y drum & bass) se caracterizan por la conducción del ritmo de sus líneas de bajo. La buena conducción melódica y los riffs tienden también a tener un sentido del ritmo muy reconocible sobre estas líneas. Los acordes y armonías también tienen su propio ritmo distintivo, llamado ritmo armónico, generado por los cambios de acordes en una canción que se oyen a menudo y se presentan en un contexto rítmico fuerte e identificable [32].

2.1.8 Melodía Al hacer música, se pasa mucho tiempo pensando en las líneas melódicas, estas implican una serie de cambios de tono. Estos cambios definen los intervalos melódicos que conforman la línea. Debido a que estos cambios se producen en dos dimensiones básicas, tono y tiempo, 5

se deduce que las líneas melódicas son simplemente estas series de cambios en el tono a través del tiempo. Una buena línea melódica tiene algunos detalles detrás de su construcción, los ritmos e intervalos que se usan han sido seleccionados por el músico para un propósito expresivo particular, expresando algo definido en su mente, teniendo una clara y fuerte identidad que la hace memorable [42].

2.2 HCI para el control musical El desarrollo de dispositivos e interfaces musicales es un tema de investigación en el campo de la HCI (Interacción humano-computador) [39]. Marcelo Wanderley es un profesional destacado que elabora constantemente contribuciones útiles a los métodos de HCI, proporcionando información acerca del diseño de interfaces musicales usando la máxima simplicidad para el control y la expresividad en la síntesis de sonido. Sin embargo en algunos métodos de diseño de interfaces musicales se pone en riesgo el desarrollo de aspectos creativos musicales y también emocionales en la interacción del músico con el instrumento [39]. Por este motivo el diseño de una interfaz musical debe tener en cuenta la expresividad y la emoción que genera al momento de ser usada. Las emociones generadas por el público dependen también del modo en que el músico interactúa con la interfaz musical. La interacción debe encontrar similitud de situaciones acústicas similares. Por ejemplo, una persona espera un sonido de percusión si ve un gesto de golpe sobre una interfaz musical en forma de tambor. Además, se aprovecha el gesto para explicar la interacción y el resultado de ella [44]. El control de gestos de sonido generado por computador es una rama especializada de HCI que incluye el control simultáneo de múltiples parámetros, sincronización, ritmo y entrenamiento del usuario [28]. Muchos investigadores interesados en la música generada por computador han estudiado el control del sonido en instrumentos musicales a partir de aspectos de la comunicación entre intérpretes y sus instrumentos. Los primeros aportes en el área de HCI para la composición e interpretación musical fueron realizados por William Buxton durante los años 70’s y 80’s del siglo XX [1]. Investigaciones recientes se enfocan en distintos propósitos: Pressing [1] estudió y comparó los problemas de control del sonido de un violín con un teclado MIDI estándar usando no menos de diez dimensiones, Vertegaal y Eaglestone [1] evaluaron el cambio de timbre usando varios dispositivos de entrada, Wanderley propone una clasificación básica de gestos evaluando cuántos y cómo los gestos se relacionan con diferentes tareas de control de sonido [1]. En los instrumentos tradicionales la interpretación, el matiz y la modulación, entre otros, eran realizados directamente por el intérprete. En los instrumentos digitales, el intérprete no necesita controlar todos esos aspectos de la producción de sonido, siendo capaz de supervisar el control de los parámetros del sonido desde un computador. Esto le otorga un diálogo interactivo al intérprete con su instrumento digital logrando que sea un centro de atención [1]. Una de las consideraciones más importantes a la hora de realizar diseños de interfaces musicales es encontrar un balance entre la expresión de la interacción y la familiaridad con la interfaz [21]. En el diseño de la interacción, la analogía humana es a menudo un objetivo [39]. La interacción compuesta por multimedia como imágenes, sonidos y sensaciones táctiles abre nuevos caminos a la HCI [41].

6

2.2.1 Dispositivos de entrada Los dispositivos de entrada son componentes electrónicos que envían datos relacionados con las propiedades físicas de las personas, lugares o las cosas, como un micrófono que envía señales que describen un fenómeno acústico, por ejemplo. Sin embargo, cualquier tratamiento de los dispositivos de entrada sin tener en cuenta una retroalimentación de la información generada no es muy útil para el usuario. Un desarrollador debe tener en cuenta la interacción: a) el sensor físico, b) la retroalimentación presentada al usuario, c) el diseño ergonómico e industrial del dispositivo, y d) la integración entre todas las técnicas de interacción apoyadas por un sistema [27]. Probablemente los métodos aplicados a los ajustes de parámetros en la mayoría de dispositivos electrónicos surgieron de la tradición del arte y del diseño [33]. Los dispositivos de entrada poseen un gran potencial para servir como instrumentos musicales con gran fuerza expresiva [3]. La pluralidad de entradas de control potencial (por ejemplo la posición, la distancia, la rotación, etc.) y la simultaneidad de estas entradas proporcionan un control considerable de los parámetros en comparación con muchos instrumentos electrónicos actuales. La variedad y propiedades de dispositivos de entrada es muy amplia. Estas propiedades ayudan a un desarrollador a entender un dispositivo y anticiparse a los problemas potenciales. En [27] señalan las propiedades de los dispositivos de entrada según las siguientes características: 2.2.1.1 Propiedad detectada La mayoría de dispositivos detectan la posición lineal, el movimiento o la fuerza; los dispositivos de rotación detectan el ángulo, cambios en el ángulo y torsión. En [37] probaron que entre los dedos de las manos, un lápiz especializado y un mouse, los dedos resultan ser más rápidos para seleccionar objetivos, sin embargo son más lentos para arrastrarlos y realizar selecciones radiales. 2.2.1.2 Número de dimensiones Los dispositivos proporcionan uno o más número de dimensiones. Por ejemplo, un mouse detecta dos posiciones lineales de movimiento. Junto con la rueda o mouse wheel lograría obtener dos o tres dimensiones ―1D + 1D‖ ―2D + 1D‖. Los dispositivos de entrada 3D detectan 3 o más dimensiones simultáneas de detección espacial u orientación [27]. 2.2.1.3 Indirecto vs. Directo Un dispositivo de entrada directo es aquel que debe tener contacto con el usuario para ejecutar una acción. Por ejemplo, un mouse es un dispositivo de entrada indirecto ya que el usuario selecciona objetivos o se desplaza en un área que se encuentra en una pantalla. Los dispositivos directos como las pantallas táctiles operan con un lápiz especializado o con el dedo, en el caso de las pantallas multitáctiles con dos o más dedos. La oclusión es un problema muy habitual cuando se manipula una pantalla táctil a través del lápiz o la mano, debido a que el usuario puede ocultar un mensaje o cambio de estado de la interfaz en el momento de operarla. 2.2.1.4 Tiempo de adquisición El tiempo de adquisición está relacionado con la demora del usuario en tener contacto con el dispositivo o en generar un cambio de estado en él. El tiempo de reposo o tiempo de llegada es la acción contraria. La combinación de un dispositivo apuntador y otro de 7

entrada de texto como el mouse y el teclado en tareas cotidianas genera un costo de tiempos de adquisición y reposo originados por el dispositivo indicador [27]. 2.2.1.5 Ganancia La ganancia es el cambio cuantitativo en un parámetro originado por un dispositivo de entrada. 2.2.1.6 Otras métricas Existen otras métricas desarrolladas para medir la velocidad de elección y su precisión, error, tiempo de aprendizaje, cambio de posición en el espacio, preferencia del usuario, comodidad y esfuerzo, entre otras [27]. Los dispositivos de interfaz humana (HID), son dispositivos de entrada diseñados para ingresar datos a un computador, mediante la interacción directa con humanos [30]. Entre la gran cantidad de HID disponibles, los más comunes son el trackball que es una esfera sensible en dos dimensiones, el mouse (dispositivo apuntador más común), el teclado, el joystick o palanca de mando, el touchpad o tapete táctil y las pantallas táctiles que serán explicadas más adelante con detalle.

2.2.2 Modalidades de interacción La gente suele utilizar las manos, el habla y los gestos, entre otros, para interactuar con el mundo real. Así mismo, los investigadores desarrollan interfaces que interactúan de manera natural al punto de desarrollar interfaces que no tienen un contacto directo con el usuario. La forma del dispositivo y la presencia de puntos de referencia puede ayudar a los usuarios a interactuar con el dispositivo sin tener que mirarlo [27]. Los dispositivos con NUI o interfaz natural de usuario permiten reconocer gestos de las manos y del cuerpo como también patrones en la voz mediante sensores. Nosotros nos enfocamos en la pantalla multitáctil como método de interacción gracias a los importantes avances en esta tecnología. 2.2.2.1 Pantalla multitáctil Una pantalla multitáctil es un visualizador o display que detecta la presencia y ubicación de dos o más toques sobre ella, facilitando la interacción de un sistema con el usuario. Las pantallas táctiles han sido utilizadas como un medio directo de interactividad por distintos sistema desde la década de 1960 [35], evolucionando considerablemente a partir de la década de 1980 [40]. Esta tecnología, es muy conveniente por ser intuitiva, haciéndola ideal actualmente para dispositivos móviles como teléfonos inteligentes, sistemas de navegación portátiles y consolas de videojuegos, entre otros [35]. Durante la década pasada, los dispositivos multitáctiles surgieron como valiosas herramientas para la interacción, representación de información y expresión musical [3]. Las interfaces multitáctiles han llegado a ser algo muy común en dispositivos como tabletas, teléfonos inteligentes, consolas manuales de juego y superficies digitales [37], así mismo han demostrado ser una interfaz eficaz, gracias a que aprovecha la habilidad natural de interacción del usuario [43]. La interacción es natural y simple, por esa razón es un estándar como dispositivo de entrada en sistemas interactivos. Las pantallas táctiles son frecuentemente manipuladas con los dedos o lápices. La mayoría de usuarios prefieren utilizar los dedos que los lápices [35]. Sin embargo, este modo de operación genera oclusión y un porcentaje importante de error. El problema de oclusión se refiere a la situación en donde el contenido generado por la pantalla es ocultado visualmente por el dedo. La razón es que las pantallas táctiles son un dispositivo de 8

entrada y de salida al mismo tiempo, dónde se captura la posición y se muestra el contenido. Además, las pantallas táctiles contienen cada vez más contenido en una menor área [35]. Existe una variedad muy amplia de tecnologías de sensores utilizadas comercialmente para la detección de toques en pantallas, entre las que se destacan: resistivas, capacitivas, ópticas utilizando radiación IR (Infrarroja) y acústica utilizando ondas acústicas en la superficie (SAW) [34]. Sin embargo, la obtención de datos de algunas de estas tecnologías proporcionan únicamente la información de un solo dedo o toque. Es posible utilizar múltiples dedos con las pantallas capacitivas, son ampliamente utilizadas en dispositivos electrónicos, consistiendo de arreglos de columnas y filas transparentes integradas con un material aislante. La detección se genera cuando se produce un cambio en capacitancia en el punto tocado inducido por el espacio entre electrodos [34]. También es posible detectar múltiples dedos utilizando la técnica de reflexión. En esta sencilla técnica se ubica una cámara detrás de una pantalla que permite la detección de la posición de los dedos [34]. Actualmente se desarrollan mecanismos de detección de toque en superficies no planas utilizando materiales como el policarbonato (PO) y óxido de zinc indio (IZO) para brindar flexibilidad [34]. Los dispositivos multitáctiles ofrecen un gran potencial para el control musical de manera interesante y dinámica. Además, el gran tamaño de muchas interfaces multitáctil permiten brindarle al usuario la capacidad para realizar grandes movimientos gestuales, ayudando al artista intérprete o ejecutante, interactuar físicamente con la música, también permitir la colaboración e interacción entre varios usuarios simultáneamente [3]. En los últimos años surgió una tendencia al desarrollo de interfaces musicales en dispositivos de mesa [16] inspirados por Reactable, como Bricktable [21]. Esta tendencia empezó con el milenio, con proyectos como Audiopad, Jam-o-drum y SmallFish [1]. Estas nuevas interfaces permiten el trabajo colaborativo entre multi-usuarios controlando parámetros de manera multi táctil o mediante objetos puestos en la superficie de detección [21]. La superficie de una mesa multitáctil también se puede utilizar como superficie de proyección de vídeo, proporcionando una verificación visual del usuario sin bloquear la línea de visión directa con el público. Además de mejorar la experiencia del usuario, las mesas multitáctil le permiten al público presenciar los gestos del intérprete, proporcionando mayor conexión emocional entre el artista y el público [4]. Asimismo, algunas interfaces presentan las capacidades visuales de soportar numerosos intérpretes de manera simultánea [43]. Las interfaces controladoras multitáctil ofrecen nuevas posibilidades como controladores de aplicaciones para la mezcla de audio, por eso sobresalen cuando son comparadas con operaciones tradicionales basadas en mouse o basadas en botones de controladores MIDI [17]. NUIGroup es símbolo de ser una gran fuente de conocimiento y recursos para hacer posible cualquier experimento en interfaces de mesa [21]. 2.2.2.2 Retroalimentación La retroalimentación puede ser pasiva o activa. La retroalimentación activa puede ser generada por el mismo dispositivo y controlada por un computador, en cambio la pasiva es originada por los efectos naturales de controlar el dispositivo, por ejemplo el ritmo cardíaco o la tensión muscular del usuario.

9

Los humanos poseen un rango de visión de 60° en el plano vertical y 80° en el horizontal. En situaciones de enfoque sobre un punto de fijación este rango se reduce a 2°. En estos casos el sonido puede proveer más detalles del entorno en que se encuentra una persona. En otros casos, es necesario generar retroalimentación visual cuando el usuario mueve el dispositivo. Sucede cuando hay un objeto manipulado en pantalla. La combinación entre retroalimentación auditiva y visual en una interfaz es una poderosa herramienta para la interacción con el usuario [26]. Los sonidos y las vibraciones mecánicas producidas por un dispositivo permiten generar también una retroalimentación positiva para la acción ejecutada por un usuario [27].

2.2.3 Controladores musicales Un controlador, en términos musicales, puede ser cualquier componente de un computador, como un teclado MIDI o un sensor. Al adquirir datos usando sensores, las señales obtenidas están en formato análogo, por eso deben ser digitalizadas en un formato adecuado, usualmente MIDI o protocolos más avanzados como OSC usando un ADC (Conversor analógico-digital) adecuado. Cualquier señal que provenga del exterior puede ser convertida en mensajes de control compatibles con un sistema digital [29]. La lista de controladores MIDI disponibles es muy grande. Existen versiones de instrumentos musicales tradicionales como trompetas, guitarras, saxofones, violines y baterías de percusión. Otros menos comunes como guantes, prendas y dispositivos sin contacto o bioeléctricos, por solo mencionar algunos [1]. Como muestra del creciente interés en el campo de las interfaces para instrumentos musicales, la conferencia NIME empezó como un taller en el año 2001 y actualmente cuenta con investigadores y músicos de todo el mundo que comparten anualmente su conocimiento y trabajo en novedosos diseños de interfaces musicales [19].

2.3 Control y diseño musical Existen herramientas que permiten desarrollar estructuras para GUI (Interfaces gráficas de usuario), orientadas a la asignación modular para instrumentos musicales digitales a través del mapeo. El mapeo comprende una conexión de datos entre un punto de origen y uno de destino utilizando señales de entrada para controlar parámetros de síntesis, ver figura 2.3. Los datos de la fuente son llevados al destino con una expresión matemática utilizada para condicionar los valores transmitidos. Esto se puede utilizar por ejemplo, para conectar un conjunto de sensores a los parámetros de entrada de un sintetizador. Libmapper es una librería utilizada para el ―mapeo‖, facilita la representación de entradas y salidas de señales en una red permitiendo realizar asignaciones dinámicamente [6]. Aunque simples asignaciones uno a uno o directas son utilizadas frecuentemente, otras estrategias para el mapeo también se usan, por ejemplo el mapeo convergente y divergente. La elección correcta de estas estrategias de mapeo se vuelve un factor determinante en la expresividad del instrumento [31]. La definición de estrategias de mapeo utilizando controladores inspirados y/o parecidos a determinado instrumento se benefician de los conocimientos en la física de los instrumentos acústicos. Pero en el caso de controladores alternativos, la posible estrategia de mapeo a ser aplicada no es tan obvia, ya que no hay disponible un modelo de las estrategias de mapeo a utilizar. Wanderley demostró que la forma del mapeo influencia el rendimiento del usuario para la manipulación de los dispositivos de entrada generales en un contexto musical [29].

10

2.3.1 Estrategias de mapeo En [31] se propone una clasificación de estrategias de mapeo para la composición musical en tres grupos (Ver figura 2.3): 2.3.1.1 Mapeo uno a uno Cada salida independiente de un gesto es asignado a un parámetro musical, por lo general por medio de un mensaje de control MIDI. Este es el esquema más simple de mapeo y usualmente el menos expresivo. 2.3.1.2 Mapeo divergente Una salida de un gesto es usada para controlar más de un parámetro musical simultáneamente. Aunque inicialmente puede proporcionar un control expresivo más alto, puede resultar limitado cuando se aplica solo, ya que no permite el acceso a las características internas de un objeto de sonido. 2.3.1.3 Mapeo convergente En este caso, muchos gestos están acoplados para producir un parámetro musical. Este esquema requiere experiencia previa con el sistema, con el fin de lograr un control eficaz. Aunque es difícil de dominar, resulta mucho más expresivo que el mapeo uno a uno.

Figura 2.3 Representación gráfica del control gestual mediante mapeo [29].

2.4 Estado del arte A la hora de desarrollar la selección de componentes gráficos y funcionales de nuestro sistema, realizamos una investigación enfocada en las funciones comunes de software utilizado como DAW [55]. Elegimos Ableton Live 8 [11], FL Studio 10 [57] y Reason 4 [58] como software de referencia, también elegimos como referencia de uso a Mike Tompkins [13] y Jeremy Ellis [64], conocidos en internet por sus innovadoras técnicas para interpretar música electrónica.

2.4.1 Funciones comunes Estas aplicaciones son utilizadas con entradas de señales analógicas mediante un ADC o con dispositivos que envían directamente señales digitales. Componentes como mouse o controladores MIDI son utilizados a menudo para intervenir en la modificación de parámetros como el tono de las notas de un instrumento, por ejemplo. En la mayoría de los casos la integración de este tipo de interfaces con controladores MIDI es sencilla de realizar debido a su configuración y alta compatibilidad con sistemas operativos y aplicaciones de

11

hoy en día, permitiendo que el usuario pueda mapear elementos del dispositivo para controlar parámetros específicos de la aplicación. Otra característica común que se encontró es el idioma, siendo el inglés un estándar en la definición de controles y funciones.

2.4.2 Usabilidad La activación de parámetros mediante toques directos con los dedos es muy común entre aplicaciones, dispositivos y usuarios de la música electrónica que utilizan dispositivos con botones configurables. La ejecución de estos dispositivos por parte del usuario requiere de una preparación previa y de una técnica que visualmente llame la atención del público para actos en vivo. La interacción con el sistema y el público depende principalmente del tipo de ejecución que realice el usuario, ligado a la configuración entre dispositivo y software. En algunos casos el usuario puede activar secuencias de sonidos y filtros automatizados [13]; en otros casos el usuario interviene de manera directa donde cada evento requiere de una acción [64] como un nuevo sonido, por ejemplo. Actualmente existen tendencias en el desarrollo de interfaces musicales que utilizan en muchos casos protocolos de comunicación y pantallas multitáctiles como dispositivos de control. Algunos controladores táctiles con estas características se muestran a continuación:

2.4.3 Lemur Es un controlador que no tiene ningún control físico, siendo totalmente basado en toques en la pantalla, donde todas las operaciones son desarrolladas en su superficie. Ver figura 2.4. Lemur se distingue entre otros controladores por sus aportes al HCI. La interfaz es completamente personalizable, con posibilidad de añadir más controles, moverlos, redimensionarlos y mapearlos a algún mensaje OSC/MIDI. Puede ser usado para realizar algunas tareas digitales de DJing, llamadas así porque algunos objetos de la interfaz gráfica incluyen deslizadores (faders) y perillas, parecidos a los equipos tradicionales [2].

Figura 2.4 Dispositivo Lemur [2].

12

2.4.4 Reactable Es un controlador de mesa para la producción de sonido en tiempo real, diseñada tanto para usuarios casuales, como para profesionales en concierto. Ver figura 2.5. Los usuarios pueden compartir el control encima del instrumento tocando la superficie o interactuando con objetos físicos para construir distintas redes de audio. Cada objeto del Reactable representa un concepto de audio o un componente diferente dedicado a una función: generación modificación o control de sonido. Reactable combina los modos de edición y reproducción al tiempo, creando un ambiente de creación musical amigable para el usuario con la posibilidad de procesar y sintetizar el audio. Reactable es basado en el proyecto FMOL de Sergi Jordà, desarrollado entre los años 1997 y 2002 [1].

Figura 2.5 Compartiendo el Reactable entre dos usuarios [1].

2.4.5 Controlador de scratch multitrack Es un dispositivo multitáctil dirigido a tareas de scratching que permite al Dj hacer scratch en varias fuentes simultáneamente, eliminando así el tiempo perdido cuando los usuarios cambian entre varias tornamesas. Ver figura 2.6. Este controlador es desarrollado por Kentaro Fukuchi y es altamente eficaz reduciendo el espacio y cuenta del componente. El controlador no sigue la forma tradicional de revolver el plato, sino que mueve la forma de la onda para hacer el scratch. En esta interfaz multitoque el usuario interactúa directamente con la manipulación de la forma de la onda haciéndola mover hacia delante o hacia atrás [5].

Figura 2.6 Controlador de Scratch Multitrack [5].

13

2.4.6 Interfaz multitáctil para la mezcla de audio Es una interfaz de control que usa OSC como protocolo de comunicación entre la interfaz y la unidad de procesamiento de sonido, también usa el hardware de Reactable, donde solo se usan sus capacidades multi táctil [16]. El prototipo creado solo detecta cuatro dedos. Tiene determinado número de canales que pueden ser arrastrados alrededor de la pantalla, tiene una zona inactiva en la parte superior donde se localizan los canales antes de ser movidos. Ver figura 2.7. Se usó Quartz Composer (QC) de Apple para el desarrollo del prototipo. Algunos de los patches usados en este proyecto no son parte de la distribución básica de QC, pero se descargan con libertad. Además, un mezclador Yamaha 01V96 con capacidades surround fue configurado para ser controlado por la interfaz propuesta. Un patch de Pure Data personalizado fue creado para interpretar y mapear los mensajes OSC generados por la interfaz multitáctil dentro de los datos MIDI captados por el 01V96.

Figura 2.7 Interfaz multitáctil para la mezcla de audio [16].

2.4.7 Bricktable Es un instrumento musical de mesa con una superficie proyectada mediante iluminación difusa (DI), en donde la interfaz interactúa con varios usuarios mediante el multitoque y objetos tangibles de manera colaborativa. Ver figura 2.8. Bricktable usa un software de código abierto llamado CCV (Community Core Vision) para el seguimiento multitáctil de los dedos. En el caso de los fiducial (objetos tangibles), Bricktable usa también un software de código abierto llamado reacTIVision. El sistema comunica las aplicaciones de seguimiento (CCV o reacTIVision) con el protocolo TUIO. Además, el sistema musical se comunica mediante protocolos MIDI y OSC con aplicaciones desarrolladas en lenguaje Java vía Processing y C++ vía openFrameworks. El campo de seguimiento del sistema opera con una resolución de 320x240, a una tasa de refresco de 30 fps (fotogramas por segundo) [21].

Figura 2.8 Interacción con Bricktable [23].

14

2.4.8 SketchSynth Permite que cualquiera cree su propio panel de control sólo con un marcador y un pedazo de papel. Ver figura 2.9. Una vez dibujado, el controlador manda mensajes OSC a algo que pueda recibirlo como un simple sintetizador corriendo en Pure Data. Es un juguete divertido que demuestra las posibilidades de añadir interacción digital a interfaces no-digitales. SketchSynth puede manejarse limitado a tres tipos de entradas: botones momentarios, interruptores de palanca y deslizadores, cubriendo así muchas posibilidades de control. Es desarrollado en openFrameworks [25]. Tiene dos modos: EDIT que permite dibujar los controles y PLAY que detecta los controles y abre la posibilidad de interactuar con cualquier control detectado. Los controles se detectan encontrando contornos (blobs). Los radios de las áreas que encierran las formas de las áreas del blob son usadas para determinar el tipo de cada control [24].

Figura 2.9 SketchSynth en acción [24].

2.4.9 Aplicación multitáctil interactiva de DJing Es desarrollada contando con la retroalimentación de DJs expertos (más detalles en [18]), propone fusionar los beneficios de aplicaciones virtuales de DJing con la interacción natural del DJing tradicional. Adicionalmente, la manipulación digital de audio permite mejorar la interpretación y creación del DJ, creando plataformas personalizadas que no son posibles en situaciones tradicionales en vivo. Esta interfaz está basada en conceptos como: reproductor de sonidos, grabador de sonidos, manipulaciones de audio (deslizadores de volumen, perillas de ecualización, crossfaders, etc.). Estos conceptos son directamente mapeados en representaciones visuales (de los objetos) donde el Dj los puede manipular dentro de un acto en vivo, como se muestra en la figura 2.10 (a). Todos los objetos pueden ser personalizados (movidos, escalados, rotados) y vincularse unos con otros, permitiendo a los DJs crear un mezclador de sonido personalizado de acuerdo con sus necesidades [17]. Ver figura 2.10 (b). Este prototipo soporta el léxico tradicional de gestos DJ y adicionalmente, los deslizadores (faders) soportan nuevas características orientadas al DJ que juntas no se encuentran en ningún trabajo previo, llamados: salto-instantáneo, puntos de múltiple toque, y control de oprimir [17].

15

(a) Mezclador DJ táctil.

(b) Ruteo dinámico de audio. Figura 2.10 Prototipo multitáctil en acción [17].

2.4.10 Aplicación táctil enfocada en la composición musical colaborativa Cuenta con retroalimentación instantánea en los cambios, en el estado de la aplicación, estructura composicional y parámetros de la síntesis. Esta aplicación divide la interfaz de usuario en dos niveles: El primer nivel es para crear, modificar y controlar la estructura composicional, y el segundo es para cambiar las propiedades de los elementos que hay en ella. Ver figura 2.11. Cuenta con estructuras de composición y síntesis representadas gráficamente en la interfaz, conteniendo el control arbitrario o cromático de los datos para la síntesis. Permite insertar y remover eventos musicales y mantener su orden temporal, además de manipular sus propiedades. Para el control de gestos, muchas superficies multitáctiles no asocian puntos de toque a un usuario específico, por eso la entrada de gestos colaborativos puede ser propenso a crear estados ambiguos en conjunto con gestos multitáctiles. Para ello, se decidió utilizar gestos de un solo toque para interactuar con objetos, y gestos multitoque para controlar el visor de edición [15].

16

Figura 2.11 Aplicación táctil de composición musical colaborativa en uso [15].

2.4.11 Aplicación táctil XENAKIS Es una aplicación diseñada para proveer una simple, fácil y accesible interfaz a una técnica compleja de composición automática, con una combinación única de interacción táctil y buena representación gráfica. Ver figura 2.12. Sólo tiene tres tipos de controles de elementos rítmicos, de tono, e instrumentos. De manera muy interactiva la aplicación genera notas de un modelo musical sin usar un conjunto fijado de patrones ya preparados. La tonalidad y el ritmo pueden ser controlados moviendo objetos tangibles en la mesa. La meta principal fue crear una herramienta que permitiera crear música diversa y armónica, y al mismo tiempo ser usada de manera intuitiva como un objeto real diferente al computador. Xenakis es fuertemente inspirado por Reactable, especialmente porque está hecho en el mismo hardware. Los conceptos musicales de la aplicación Xenakis son inspirados por Iannis Xenakis. La interfaz es diseñada para permitir que múltiples usuarios interactúen simultáneamente con la mesa sin requerir entrenamiento alguno [20].

Figura 2.12 Mesa Xenakis en el Open Lab Party [20].

17

3 Protocolos de comunicación 3.1 Protocolo TUIO Es un protocolo versátil, diseñado específicamente para satisfacer los requerimientos de interfaces de mesa tangibles. Inspirados por la idea de interconectar varias interfaces tangibles, este protocolo define propiedades comunes de objetos controladores en la superficie de la mesa además de gestos de dedos y manos realizados por el usuario. El Protocolo TUIO ha sido implementado usando OSC y por lo tanto se puede usar en cualquier plataforma que soporte este protocolo. En el momento se ha trabajado en implementaciones para Java, C++, PureData, Max/MSP, SuperCollider y Flash [77]. La definición de este protocolo es un intento por proveer una interfaz de comunicación versátil y general entre la interfaz multitáctil y las capas subyacentes de la aplicación. El diseño flexible del protocolo ofrece métodos para seleccionar qué información va a ser enviada, esta flexibilidad es proporcionada sin afectar interfaces existentes, o requiriendo re-implementación para mantener la compatibilidad. Con el fin de proveer comunicación con baja latencia, la implementación del protocolo TUIO usa transporte UDP, esto hace que exista la posibilidad de que algún paquete se pierda. Para esto, la implementación del protocolo incluye información redundante para corregir los posibles paquetes perdidos mientras se mantiene un uso eficiente del canal. Una conexión TCP alternativa garantizaría el transporte seguro pero al costo de una latencia más alta. Algunos datos relevantes de los mensajes TUIO son: a) Identidad del blob generado (número entero), b) Ubicación en el eje x (0.0-1.0), c) Ubicación en el eje y (0.0-1.0). Otros datos como la aceleración y la velocidad de los blob también acompañan los mensajes. Otros tipos de mensajes informan acerca de la identidad de los blob activos y otros del tiempo de actividad. La ubicación de un blob se realiza determinando un promedio de varios puntos cercanos ubicados como lo muestra la figura 3.1.

Figura 3.1 Ubicación y tamaño de un blob [77].

Como se mencionó anteriormente, el protocolo es codificado usando el formato OSC, el cual provee un método de codificación binaria eficiente para la transmisión de datos controladores arbitrarios. Por consiguiente los mensajes TUIO pueden ser transmitidos básicamente a través de cualquier canal que sea soportado por una implementación OSC actual. El método de transporte por defecto del protocolo TUIO es la encapsulación de la rama binaria de datos OSC dentro de los paquetes UDP enviados al puerto de TUIO por defecto número 3333. Este método de transporte por defecto se refiere usualmente como TUIO/UDP.

18

Ya que OSC no está directamente obligado a un método de transporte dedicado, canales de transporte alternativo como TCP pueden ser empleados para transmitir los datos TUIO codificados en OSC. Hay muchos otros métodos de transporte disponibles como el TUIO/TCP y el TUIO/FLC (Flash Local Connection) para interactuar con aplicaciones de Adobe Flash, pero estos métodos implicarían una latencia más alta [8].

3.2 Open Sound Control (OSC) Es un protocolo de comunicación entre computadores, sintetizadores de sonido, y otros dispositivos multimedia que son optimizados para tecnología de redes modernas. Trae los beneficios de esta tecnología al mundo de los instrumentos musicales electrónicos. Entre las ventajas que tiene OSC se incluye la interoperabilidad, precisión, flexibilidad, organización y documentación mejorada. Este protocolo simple pero de gran alcance proporciona todo lo necesario para control en tiempo real de los medios de procesamiento de sonido y otros sin dejar de ser flexible y fácil de implementar. Características: ● Esquema de nombres simbólicos ampliables, dinámicos y de estilo URL. ● Argumento de datos numéricos simbólicos y de alta resolución. ● Patrón de coincidencia del lenguaje para especificar varios destinatarios de un único mensaje. ● Alta resolución de etiquetas de tiempo. ● ―Ramas‖ de mensajes cuyos efectos ocurren simultáneamente. ● Sistema de Query para encontrar dinámicamente las capacidades de un servidor OSC y

obtener documentación. Hay decenas de implementaciones de OSC, incluyendo ambientes de procesamiento en Tiempo real de sonido y medios, herramientas de interactividad web, programas para sintetizar, una gran variedad de lenguajes de programación, y dispositivos de hardware para la medición con sensores. OSC ha logrado amplio uso en campos incluyendo nuevas interfaces por computador para la expresión musical, sistemas de música distribuida en redes de área amplia y área local, e incluso dentro de una sola aplicación [9][10].

3.3 Protocolo MIDI La especificación de mensajes MIDI (o Protocolo MIDI) es la parte más importante de los instrumentos MIDI [48]. Aunque originalmente fue destinado sólo para conectar los teclados con un cable, el protocolo MIDI ahora se utiliza dentro de las computadoras y teléfonos celulares para generar música, y se transporta a través de cualquier número de interfaces (USB, FireWire, etc.) hacia una amplia variedad de dispositivos equipados con MIDI [49]. MIDI es un lenguaje de descripción musical en formato digital (binaria). Fue diseñado para usarse con instrumentos musicales de teclado, por lo que la estructura del mensaje está orientado 19

a eventos de rendimiento, tales como recoger una nota (picking) y luego golpearla (striking), o establecer parámetros típicos disponibles en los teclados electrónicos. Por ejemplo, para hacer sonar una nota en el MIDI se envía un mensaje "Note On", y luego se le asigna a esa nota "la velocidad", que determina qué tan fuerte se toca en relación con un rango de valores enteros entre 0 y 127. Otros mensajes MIDI incluye la selección de qué timbre se va a usar, paneo estéreo, delay, etc. [49]. Sin embargo MIDI no es muy útil a la hora de requerir implementar otros datos como el movimiento y la presión ejercida sobre el instrumento.

20

4 Diseño 4.1 Diseño funcional Para empezar, se decidió dividir el software en dos aplicaciones dedicadas: una (la interfaz gráfica) para la retroalimentación visual y otra (el procesador de audio) para la retroalimentación auditiva. La interfaz gráfica implementa los objetos del addon ofxUI [66] de openFrameworks utilizando CodeBlocks [51][52] como IDE. Este addon permite ahorrar el diseño de objetos como potenciómetros, controles verticales u horizontales y formas de onda, etc. La aplicación para el procesamiento de audio es creada con Max/MSP [46][47]. Ambas aplicaciones se comunican mediante el protocolo OSC. La interfaz gráfica se encarga de procesar los datos de control del usuario recibidos con el protocolo TUIO mediante una aplicación cliente para la detección y seguimiento de toques en la pantalla multitáctil. La aplicación cliente envía los datos de control del usuario a la interfaz gráfica, ella determina las tareas a realizar, solicitando a la aplicación de audio realizar alguna actividad si lo requiere y mostrando al tiempo retroalimentación gráfica correspondiente a la acción del usuario. Ver figura 4.1.

Figura 4.1 Estructura general de comunicación del prototipo desarrollado.

La generación de la interfaz se realiza por medio de un televisor LCD que utilizamos como pantalla de proyección. Sobre el marco de la pantalla se acopla un sensor multitáctil, el cual está dispuesto dentro del marco del área de proyección.

21

La interfaz gráfica está dividida en cuatro módulos: a) grabador análogo, b) secuenciadores, c) asignadores MIDI y d) panel de información. El grabador análogo se encarga de establecer el control de la señal analógica mediante las opciones de filtrado, control de volumen y grabación de archivos de sonido. Los asignadores MIDI además de permitir las mismas funcionalidades del grabador análogo para instrumentos MIDI, permiten la modificación del timbre del instrumento mediante un VST (Tecnología de estudio virtual). Los secuenciadores permiten la secuenciación de los archivos de sonido generados por los otros módulos. El panel de información provee información del sonido que sale del sistema y permite el control del tempo de los secuenciadores. Ver figura 4.2.

Figura 4.2 Estructura de la funcionalidad del prototipo

El control independiente abarca también la opción de mezcla de sonido en vivo entre todos los dispositivos de entrada. Elegimos un teclado y una batería como dispositivos MIDI de entrada. El teclado podrá cambiar su timbre y la batería cambiará su configuración de sonidos a través de nuestra aplicación. Un micrófono es nuestro dispositivo de entrada analógico.

4.2 Interfaz gráfica Previo a el desarrollo de software para la interfaz gráfica diseñamos varios modelos previos en prototipo a papel (Ver Anexos, figuras 8.1 y 8.2), los cuales se fueron mejorando a medida que se realizaron simulaciones de uso. Con el análisis de los resultados se fueron descartando aquellas tareas ―innecesarias‖ para el usuario y se optimizaron otras.

22

Producto del estudio en usabilidad con interfaces de audio, se decidió desarrollar la interfaz gráfica de nuestro prototipo en el idioma inglés debido a la familiaridad que tienen los usuarios de interfaces musicales con este idioma. La interfaz gráfica fue distribuida en cuatro módulos, cada uno con una funcionalidad específica y apariencia similar. El primer módulo es el grabador análogo (Analog Recorder), en el cual se graban y se almacenan las señales obtenidas de la entrada análoga. En el segundo módulo se encuentran los secuenciadores (Master Sequencer), en el cual se crean secuencias con sonidos grabados. El tercer módulo es el asignador MIDI (MIDI Assigner), en el cual se controlan los dispositivos MIDI conectados. El usuario encontrará una lista desplegable donde se encuentran 5 configuraciones de sonidos elaboradas para cada dispositivo, batería y teclado. El cuarto módulo es el panel de información donde el usuario tendrá una retroalimentación visual de la señal que se emite en la salida análoga. También decidimos implementar opciones básicas de manipulación de archivos para las señales provenientes de los dispositivos MIDI y de la entrada analógica mediante botones: a) Save para grabar un archivo, b) Open para cargar un archivo y c) Clear para limpiar el búfer donde se encuentra el archivo cargado. Además se integrarán 8 secuenciadores para reproducir archivos con el propósito de crear ritmos. Estos secuenciadores constan de 32 pasos para dos compases (8 pulsos). La velocidad del ritmo dependerá directamente del control numérico BPM (Pulsos por minuto). En esta sección se dará una explicación más específica producto del diseño previo en papel de algunos módulos.

4.2.1 Grabador análogo Para este módulo se diseñaron tres secciones. La primera sección es de retroalimentación, muestra la forma de las ondas obtenidas de la entrada análoga y está separada por un canal izquierdo y otro derecho respectivamente, con el fin de permitirle al usuario seleccionar el rango deseado de las señales con un control deslizante horizontal. En la segunda sección se encuentran los controles que permiten grabar las señales obtenidas, almacenarlas en un archivo, importar uno nuevo y limpiar el búfer temporal. En la tercera sección el usuario puede aplicar filtros LPF o filtro pasa bajo, BPF o filtro pasa banda para tonos medios [65], HPF o filtro pasa alto en tiempo real a las señales de entrada. Estos filtros están representados por controles rotativos (potenciómetros). Los controles de intensidad vienen definidos por un potenciómetro para la espacialización en los dos canales del búfer y otro para la amplitud de las señales. Ver figura 4.3.

23

Figura 4.3 Interfaz gráfica del grabador análogo.

4.2.2 Secuenciadores Esta interfaz fue diseñada con el propósito de que el usuario pueda importar y reproducir en secuencias personalizables archivos de sonido alojados en el disco duro después de exportarlos del grabador análogo, asignadores MIDI o también pertenecientes a una colección de sonidos. Posee ocho secuenciadores paso a paso, dispuestos de manera horizontal uno debajo de otro. Cada uno de los ocho secuenciadores están compuestos por el botón Sound para importar el sonido correspondiente a su secuencia, seguido del botón Clear para desactivar los pasos que haya activado el usuario, después está dispuesta una matriz de 32 botones con posibles estados activo/inactivo para marcar la ubicación del sonido en la secuencia. Esta matriz se reproduce de acuerdo al tempo que asigne el usuario en el panel de información y representa 2 compases musicales. Cada uno de los secuenciadores tiene su respectivo control de espacialización, intensidad y filtros LPF, BPF y HPF, representados con potenciómetros al lado derecho. Ver figura 4.4.

24

Figura 4.4 Interfaz gráfica de los secuenciadores.

4.2.3 Asignadores MIDI Este módulo esta dividido en dos secciones, la primera sección corresponde a la batería MIDI en donde se encuentra una lista de configuración de sonidos para batería, una gráfica que muestra la forma de la onda generada por la señal al ser grabada, un control deslizante horizontal para seleccionar el rango de la señal a guardar, y debajo de esta, se encuentran los botones Rec para grabar, Crop para cortar la señal según el rango establecido, Save almacenar la señal, y limpiar el búfer. También encontramos dos potenciómetros que definen el nivel de intensidad y espacialización. Ver figura 4.5.

Figura 4.5 Interfaz gráfica de asignador para batería MIDI.

La segunda sección corresponde al piano MIDI en donde se encuentra una lista de configuración de sonidos para el piano y las mismas opciones del asignador para batería MIDI . Además, encontramos dos potenciómetros que definen el nivel de volumen y paneo de la señal y tres potenciómetros para el filtrado mediante LPF, BPF, y HPF. Ver figura 4.6.

25

Figura 4.6 Interfaz gráfica de asignador para teclado MIDI.

4.2.4 Panel de información Esta interfaz muestra información global como la envolvente de la salida de audio del sistema. Además muestra las pulsaciones por minuto del secuenciador. El usuario puede modificar este valor tocando el valor numérico y arrastrándolo hacia arriba para incrementarlo o hacia abajo para disminuirlo. Ver figura 4.7.

Figura 4.7 Interfaz gráfica del panel de información.

26

5 Implementación 5.1 Procesamiento de audio Nuestra aplicación para el procesamiento de audio diseñada en Max/MSP fue concebida como un sistema modular con funciones específicas al que ingresan mensajes OSC con órdenes y salen señales de audio hacia la tarjeta de sonido y datos OSC de retroalimentación hacia la interfaz gráfica. El direccionamiento de órdenes se realiza mediante el reconocimiento de prefijos en el mensaje OSC de entrada. Los módulos de la aplicación son los siguientes: a) Grabador análogo, b) Secuenciadores, c) Asignadores MIDI, d) Información.

5.1.1 Grabador análogo Su función principal es el control y grabación de señales provenientes de un micrófono en un búfer temporal. Las funciones y el diseño de este módulo se explican a continuación. El búfer es un objeto que almacena señales en Max. Es declarado con un nombre único, cantidad de canales y un espacio de almacenamiento determinado en milisegundos. El búfer permite importar archivos de sonido adaptando el espacio para el archivo invocado. También puede exportar el sonido hacia el disco duro en un archivo formato WAV con una profundidad por defecto de 16 bits por muestra. La selección del rango de recorte se realiza recibiendo dos argumentos en un rango entre 0 y 100: el valor mínimo y valor máximo. De esta manera se realizan cálculos de porcentajes sobre la duración del sonido en búfer y se recorta cuando se recibe la confirmación. Una vez se recorta la señal, los valores de rango guardados se borran para evitar que el usuario siga recortando la señal sin haber modificado el rango de selección. El volumen y la espacialización de los dos canales de la señal se generan modificando cada canal por separado utilizando objetos de Max para modificar la amplitud. La técnica para realizar filtros no cambia entre uno y otro. Se utilizan argumentos de entrada para cada filtro como la frecuencia de corte, Q o pendiente de corte y amplitud, en el objeto filtergraph~ (filtro pasa banda). Cabe aclarar que cada una de las dos señales del búfer requiere filtros distintos para no combinarlas. Este módulo consta de 6 filtros de frecuencias, tres para cada señal. Ver figura 5.1.

27

Figura 5.1 Programación en Max de filtros para un canal de sonido mediante filtros pasa banda.

Además se requiere de una función sobre el argumento de amplitud del filtro para controlar su intensidad de acuerdo a la escala con la que fue diseñado el objeto filtergraph~. Ver figura 5.2.

Figura 5.2 Conversión de valores de intensidad para los filtros mediante funciones en Max.

5.1.2 Secuenciadores Diseñados para crear ritmos mediante la disposición de 16 pasos de compás permiten marcar 1 redonda, 2 blancas, 4 negras, 8 corcheas o 16 semicorcheas, según lo desee el usuario. Cada uno de los 8 secuenciadores puede cargar un archivo. Otros parámetros como volumen, paneo y los filtros LPF, BPF y HPF permiten modificar la reproducción del archivo cargado en sonido directo. Los secuenciadores son réplicas entre sí donde el único elemento diferenciador es el nombre de cada búfer. Los secuenciadores son controlados mediante un reloj que convierte el tempo elegido por el usuario en pulsaciones mediante una sencilla operación matemática. Ver figura 5.3. Las pulsaciones son enviadas de manera simultánea a cada secuenciador que 28

reproduce el sonido alojado en el búfer en caso de tener activado el paso de compás correspondiente a esa pulsación.

Figura 5.3 Reloj pulsador y secuenciadores en Max.

5.1.3 Asignadores MIDI Diseñados para una batería y un teclado, permiten asignar configuraciones de sonido como timbre en el teclado y juego de sonidos en la batería mediante los VST (Virtual Studio Technology) [61] [62]. Cada VST debe ser asignado a cada dispositivos MIDI. El VST debe ser estudiado en Max modificando sus parámetros para conocer qué número entero corresponde a cada parámetro y qué valores flotantes entre 0 y 1 modifican el parámetro estudiado a unos niveles deseados. De esta manera se elaboran mensajes compuestos de un entero seguido de un flotante que activa o modifica un parámetro del VST. En nuestro caso hemos elaborado 5 mensajes que según elija el usuario activa un timbre o una configuración de sonidos para cada dispositivo. Por otro lado los dispositivos MIDI deben ser declarados con el mismo nombre registrado en el sistema como se muestra en la figura 5.4. Los datos de la velocidad y la nota de cada instrumento se discriminan para enviar los datos en un mensaje hacia el VST correspondiente. El volumen de cada instrumento es controlado con el argumento velocidad.

Figura 5.4 Discriminación de los argumentos nota y velocidad de cada instrumento MIDI en Max/MSP.

5.1.4 Panel de información Módulo que permite reunir y organizar todos los mensajes para enviarlos vía OSC. Además proporciona información de la envolvente de la señal que se envía a la tarjeta de sonido. Se realiza mediante el cálculo del valor absoluto de cada valor y se le aplica escalamiento. 29

5.2 Comunicación entre aplicaciones La comunicación entre aplicaciones mediante OSC requiere de un diseño jerárquico para la creación de peticiones. Nuestro equipo diseñó dos estructuras de información en forma de árbol, en donde cada nivel corresponde a un módulo o nivel de la aplicación. Ver Anexos, figuras 8.3 y 8.4. Los mensajes contienen palabras que corresponden al nivel o módulo de la aplicación. Estas palabras son separadas por un espacio entre sí y vienen acompañadas al final del mensaje por un argumento numérico, separado también por un espacio, por ejemplo: ―/midi /1 /bass 56‖ en caso de solicitar un cambio de amplitud con valor 56 en el LPF del dispositivo MIDI 1. En el caso de los secuenciadores se requiere de un argumento numérico adicional para especificar el estado del paso del compás, donde 0 equivale a inactivo y 1 a activo, por ejemplo: ―/sequencer /seq1 5 0‖ en caso de desactivar el quinto paso del primer secuenciador y ―/sequencer /seq1 5 1‖ en caso de activarlo. Si el mensaje no contiene argumento numérico significa que la acción solicitada no lo requiere, por ejemplo: ―/midi /1 /rec‖ en caso de activar la grabación del dispositivo MIDI 1. Los mensajes son enviados desde la aplicación para el procesamiento de audio a través de la dirección IP 127.0.0.1 por el puerto 9001 y son recibidos en la misma dirección por el puerto 9000. La interfaz gráfica utiliza los mismos puertos pero de manera inversa: el puerto 9000 envía mensajes y el puerto 9001 los recibe. Ver figura 5.5. El análisis de los mensajes en la interfaz gráfica se realizó comparando el primer grupo de caracteres y asignando sus argumentos numéricos al objeto graficador correspondiente. En la aplicación de procesamiento de audio, el mensaje navega a través de los niveles de ruteo y la misma aplicación va eliminando la parte del mensaje que corresponda a un nivel superior. De esta manera, el mensaje termina siendo tan reducido que no podría reconstruirse la ruta completa por la que navegó. Al final, el argumento numérico modifica el parámetro correspondiente.

30

Figura 5.5 Envío y recepción de datos OSC en Max/MSP.

5.3 Integración del hardware A medida que desarrollamos el proyecto descubrimos una gran variedad de dispositivos útiles para integrarlos a nuestro sistema. Elegimos dispositivos disponibles en la Universidad de San Buenaventura seccional Cali que son listados a continuación con algunas especificaciones técnicas. Ver tabla 5.1. Dispositivo Sensor multitáctil Televisor LCD Teclado MIDI Controlador MIDI para batería Micrófono

Referencia Zaag-Tech X Series [7] Sony Bravia M-Audio Oxygen 25 Casio DZ-1 Genius MIC-01A

Puerto USB 2.0 VGA USB 2.0

Otros datos 10 toques, 42 pulgadas 44 pulgadas, 1920x1080p 2 octavas hasta 8 elementos de MIDI percusión Jack 3.5 mm ---

Tabla 5.1 Hardware con especificaciones.

31

5.3.1 Sensor multitáctil

Figura 5.6 Sensor Zaag-Tech con su empaque [70].

El sensor (figura 5.6) es un marco dividido en cuatro piezas que contienen en su interior varios LED (Diodo emisor de luz) y sensores IR distribuidos en toda el interior del marco como lo muestra la figura 5.7. El sensor mide 100x59x1 cm y trae un conector USB 2.0 integrado. Para su instalación en el computador es necesario descargar el driver ―zinFrame‖ desde la página web del fabricante [67]. El driver trae consigo una aplicación para la calibración y configuración del protocolo TUIO, entre otras opciones.

Figura 5.7 Distribución en fila de varios LED a la izquierda y un conector a la derecha dentro de una de las piezas del sensor.

El sensor viene desarmado de fábrica. El ensamblaje se realiza como lo explica el fabricante en [73]. Ver figura 5.8.

a) Unión de las piezas.

32

b) Aseguramiento con tornillos. Figura 5.8 Ensamblaje del sensor [73].

La calibración del sensor se produce mediante un cálculo que realiza la aplicación ―zinFrame‖ después de que el usuario toca cuatro puntos que se proyectan en la pantalla. De esta manera es posible calibrar el sensor con pantallas de cualquier tamaño. Ver figura 5.9.

Figura 5.9 Calibración del sensor.

Por otro lado es conveniente aclarar que el sensor utilizado para este proyecto no contiene una superficie de toque por lo que el fabricante recomienda adherir un vidrio en la cara posterior del sensor [72]. De esta manera el sensor se acopla a la pantalla como lo muestra la figura 5.10 y 5.11.

33

Figura 5.10 Disposición del sensor, el vidrio y la pantalla.

Figura 5.11 Vista lateral detallada de las piezas del sensor y la pantalla.

5.3.2 Pantalla Se encontraron varias opciones de interfaz de vídeo en la pantalla. Destacamos DVI y HDMI por la gran cantidad de información de píxeles que pueden transmitir [68][69]. Por cuestiones de compatibilidad entre computador y pantalla, decidimos implementar la interfaz de video VGA con una resolución de 1920x1080 pixeles. Ver figura 5.12.

34

Figura 5.12 Pantalla y sensor multitáctil acoplados.

5.3.3 Teclado MIDI El dispositivo se instala con el driver que viene dentro de su empaque. La instalación es sencilla de realizar en el sistema operativo ―Windows 7‖. En el sistema operativo ―Windows XP‖ debe realizarse una instalación extra que se encuentra en la página web del fabricante en [74]. Ver figura 5.13.

Figura 5.13 Teclado MIDI M-AudioOxygen 25 [74].

35

5.3.4 Controlador MIDI para batería La conexión con el computador para este dispositivo se realizó mediante una interfaz USBMIDI de referencia ―Yamaha UX-16‖. Esta interfaz debe ser instalada con el driver que viene dentro de su empaque. El controlador se conecta a la interfaz mediante un conector MIDI. Ver figura 5.14 y 5.15. La interfaz se conecta al computador mediante un conector USB 2.0. El controlador debe ser programado para enviar las notas esperadas por el VST. En el momento de realizar un cambio del juego de sonidos desde la interfaz gráfica también debe cambiarse la programación de las notas del controlador para que puedan marcar el sonido esperado por el baterista.

Figura 5.14 Interfaz USB-MIDI “Yamaha UX-16” [75].

Figura 5.15 Controlador MIDI para batería electrónica “Casio DZ-1” [76].

5.3.5 Micrófono El micrófono utilizado para nuestro sistema es de referencia ―Genius MIC-01A‖. Se conecta mediante un conector Jack de 3.5 mm.

36

6 Evaluación Inicialmente aplicamos pruebas de rendimiento enfocadas en la estabilidad del procesamiento de audio y video. Los resultados demostraron que existía sobrecarga de información para la realización de algunas tareas como el envío de mensajes desde la aplicación de audio hacia la interfaz gráfica mediante el protocolo OSC. La solución a este problema fue cambiar la prioridad en el envío de mensajes, retrasando el envío de algunos cuando hubiesen más transitando de manera simultánea. Una vez se estabilizó el sistema realizamos pruebas cuantitativas y cualitativas.

6.1 Pruebas de usuario Las pruebas de usabilidad se desarrollaron con dos estudiantes de noveno semestre y dos profesores de Ingeniería Multimedia. También participaron dos estudiantes de otra Ingeniería. Previo a la prueba se le explicó a cada persona por separado las funciones básicas de la aplicación. La explicación no superó en todos los casos más de 5 minutos. La tarea propuesta a cada persona consistía en elaborar un ritmo electrónico ―excitante‖ que pudiera agradar a un público determinado (oyentes de música electrónica). A cada usuario se le explicó que él era el encargado de animar el supuesto público. Además se permitió manipular la aplicación por más de 10 minutos mientras se creaba un registro en video de su experiencia. Ver figura 6.1.

Figura 6.1 Usuario probando la interfaz.

Posterior a la prueba se entregó una encuesta a cada usuario donde había cuatro aspectos relacionados con el rendimiento del sistema e inteligibilidad para el manejo del mismo. El encuestado podía calificar cada uno de los aspectos de 1 a 5, donde 5 era la mejor calificación y 1 era la peor. En [71] se encuentra un registro en video de la experiencia de un usuario probando la interfaz. Este video sirvió para detectar los problemas que estaban ocurriendo.

37

6.2 Medición de latencia La evaluación cuantitativa se enfocó en verificar la latencia generada por el sistema en respuesta a los dispositivos de entrada y en la precisión del sensor en respuesta a los toques. La latencia generada por la ejecución de los dispositivos de entrada fue evaluada con un osciloscopio. El proceso para realizar la evaluación consiste en conectar la salida de datos del dispositivo de entrada a un puerto de entrada del osciloscopio y la salida de audio del sistema a otra entrada del osciloscopio. De esta manera es posible evaluar en la pantalla del osciloscopio la diferencia de forma y tiempo de ambas señales. En la figura 6.2 se muestra que el micrófono genera una latencia de 128 ms cuando el sistema se encuentra en reposo, es decir cuando no hay procesamiento de ninguna otra señal.

Figura 6.2 Latencia generada en la interpretación con micrófono.

En la figura 6.3 se muestra el resultado del osciloscopio frente a la ejecución de una nota en el controlador MIDI para batería. La latencia generada es de 119 ms cuando el sistema está en reposo.

38

Figura 6.3 Latencia generada en la ejecución de la batería MIDI.

Las pruebas de precisión del sensor arrojaron un promedio de 2 mm de incertidumbre al momento de realizar un toque sobre un objetivo. Las pruebas se realizaron creando una grilla de 800x600 píxeles con 35 puntos separados horizontalmente por 135 píxeles y 75 píxeles verticalmente. La grilla se ubicó en la mitad de la pantalla y la probaron 2 usuarios que tenían como objetivo tocar todos los puntos de intersección de la grilla. El registro de los resultados se encuentra en la sección Anexos, figura 8.5.

6.3 Resultados Los usuarios al final de la sesión de prueba realizaron comentarios y recomendaciones para mejorar el prototipo. Además se recolectaron los resultados de la encuesta. Ver tabla 6.1. Usuario

Entendimiento de la aplicación

Precisión Procesamiento Latencia gráfica Latencia acústica del sensor de Audio

Usuario 1

5

3

4

4

3

Usuario 2

4.5

3.5

4

3.5

3

Usuario 3

4

3.5

4

3.5

2

Usuario 4

5

4

4.5

4.5

3.5

39

Usuario 5

4.5

4.5

5

3

4.5

Usuario 6

4

3.7

4.5

5

2

Tabla 6.1 Resultados de las encuestas realizadas.

El prototipo tiene la virtud de ser inteligible para el usuario. Se comprobó que el tamaño, los colores y la ubicación de los objetos en la interfaz gráfica facilitaban el aprendizaje del usuario para realizar las tareas que ofrece el sistema. Las recomendaciones de los usuarios fueron estudiadas junto con los registros en video de su experiencia. Los resultados y las recomendaciones fueron sintetizados como se muestra a continuación: ●

Existen errores de precisión cuando inciden rayos del sol en el sensor. Ver figura 6.4. Ocurre en ocasiones donde el sistema no identifica un toque o lo deja de reconocer después de un tiempo arrastrando el dedo.

Figura 6.4 Error de precisión.

●

El procedimiento para grabar un sonido y cargarlo en el secuenciador es largo debido a la gran cantidad de toques que tiene que realizar el usuario.

●

La escala aplicada a los potenciómetros de los asignadores MIDI es lineal, el resto de potenciómetros tienen una escala logarítmica.

●

El sistema genera una latencia acústica alta y también latencia gráfica que es notable cuando el usuario arrastra un control deslizante. Ver figura 6.5.

●

Los selectores de rango no pueden ser modificados mediante dos toques.

●

La ventana de diálogo para abrir o guardar un archivo se desaparece de manera no intencional ante ciertas acciones del usuario.

●

El sonido generado por el teclado MIDI se distorsiona con algunas configuraciones en el VST que consumen altos costos computacionales para la síntesis de sonido.

40

Figura 6.5 Latencia gráfica [71].

Los resultados de la investigación arrojan información suficiente para mejorar varios aspectos de este proyecto. Estos aspectos serán abordados en la sección Conclusiones.

41

7 Conclusiones El prototipo desarrollado en este proyecto demuestra tener importantes resultados de investigación y desarrollo debido principalmente a la implementación de protocolos y dispositivos de entrada que pusieron a prueba el procesamiento de datos en tiempo real en un computador personal. Existen aspectos importantes para mejorar en el proyecto para que logre cubrir las necesidades del usuario. A continuación se encuentra una lista de los aspectos para mejorar el sistema: ●

Los controles deben tener un sistema de detección en áreas circundantes para reconocer toques ejecutados de manera imprecisa.

●

El sistema debe emplear audífonos para la pre escucha de las señales grabadas e implementar un metrónomo para la grabación.

●

El sistema debe mostrar la onda grabada en tiempo real y no al final de la grabación.

●

Los secuenciadores deben mostrar el nombre del archivo cargado para evitar confusión.

●

La escala de los filtros debe ser normalizada.

●

Los secuenciadores deben poder modificar la escala de 2 a 1 y 4 compases y vice versa.

●

El sistema debe permitir la grabación en archivo de un repertorio.

●

Es necesario implementar un control de volumen global.

●

El sistema debe implementar un cronómetro para informar al usuario acerca del tiempo de duración del repertorio.

●

El display de la pantalla debe ser el punto de detección de toques ya que la distancia que genera el vidrio produce ángulos de visión que pueden ocasionar errores de selección cuando un objetivo se encuentra perpendicular al ángulo de visión. Ver figura 7.1.

Figura 7.1 Punto de visión perpendicular de un botón de la interfaz siendo activado por un dedo.

42

Se recomienda tener en cuenta la siguiente información para el desarrollo de proyectos similares: ●

Los sensores multitáctiles por radiación IR no logran una selección precisa, se recomienda probar con otro tipo de sensores como los capacitivos.

●

Las pantallas son muy pesadas y no permiten una interacción visual completa con el público debido a que generan un ángulo limitado de visión de la interfaz. Las superficies de proyección transparentes son recomendadas por no tener este inconveniente.

●

El procesamiento de varias señales en tiempo real debe optimizarse para aumentar el rendimiento.

●

La creación de una sola aplicación para un sistema es recomendable por cuestiones de instalación e implementación.

43

8 Anexos

Figura 8.1 Prototipo en papel del grabador análogo.

Figura 8.2 Prototipo en papel de los secuenciadores.

44

Figura 8.3 Modelo del contenido de mensajes OSC enviados hacia aplicación Max/MSP.

45

Figura 8.4 Modelo del contenido de mensajes OSC enviados hacia la aplicación openFrameworks.

46

a)

b) Figura 8.5 Resultados de pruebas de precisión del sensor multitáctil.

47

9 Referencias [1] S. Jordà, G. Geiger, M. Alonso, and M. Kaltenbrunner. ―The reactable: exploring the synergy between live music performance and tabletop tangible interfaces‖. En TEI '07: Proceedings of the 1st international conference on Tangible and embedded interaction, NY, USA, 2007. ACM. [2] JazzMutant, ―Lemur, the only multitouch and modular controller for secuencers, synthesizers, virtual intruments, vjing and lights, now even better‖, Website: http://www.jazzmutant.com/lemur_overview.php, accedido por última vez el 13/06/2012. [3] M. Montag, S. Sullivan, S. Dickey, C. Leider. ―A Low-Cost, Low-Latency Multi-Touch Table with Haptic Feedback for Musical Applications‖. Oslo, Norway: Proceedings of the International Conference on New Interfaces for Musical Expression, pp. 8-13, 2011. [4] K. Scherer and M. Zentner. ―Emotional effects of music: Production rules‖. Music and emotion: Theory and research, pp 361–392, 2001. [5] K. Fukuchi. ―Multi-track scratch player on a multi-touch sensing device‖. In ICEC 2007, volúmen 4740, pp 211-218. Springer, 2007. [6] S. Sinclair, J. Malloc, V. Rudraraju, J. Nika, M. Wanderley., ―libmapper‖, Website: http://www.idmil.org/software/libmapper, accedido por última vez el 13/06/2012. [7] ZaagTech, Products, ZinFrames X Series, http://zaagtech.com/X-Series-Specifications.html, accedido por última vez el 24/11/2012. [8] Tuio.org, ―TUIO‖, Website: http://www.tuio.org, accedido por última vez el 13/06/2012. [9] UC Berkeley Center for New Music and Audio Technology (CNMAT), ―Introduction to OSC‖, Website: http://opensoundcontrol.org/introduction-osc, accedido por última vez el 13/06/2012. [10] Wright, M., Freed, A., Momeni A., ―Open Sound Control: State of the Art 2003‖. Proceedings of the 3rd Conference on New Instruments for Musical Expression (NIME 03), Montreal, Canada, 2003. [11] BPMdb, BPM Data Base, http://www.bpmdatabase.com/index.php, accedido por última vez el 24/11/2012. [12] Ableton, ―What is Ableton Live?‖, Website: http://www.ableton.com/live?a=what_is, accedido por última vez el 26/07/2012. [13] Youtube, ¨Skrillex Cinema & Santigold Disparate Youth - Mike Tompkins DUBSTEP A Capella Remix¨, Website: http://www.youtube.com/watch?v=VRuLi8geo7Q&feature=ghist&fb_source=message, accedido por última vez el 25/06/2012. [14] S. Sinclair, Marcelo M. Wanderley, ―Defining a control standard for easily integrating haptic virtual environments with existing audio/visual systems‖, Proceedings of the 2007 Conference on New Interfaces for Musical Expression (NIME07), New York, NY, USA, 2007. 48

[15] Niklas Klügel, Marc R. FrieB, Georg Groh, Florian Echtler, ―An Approach to Collaborative Music Composition‖, Proceedings of the International Conference on New Interfaces for Musical Expression, Oslo, Norway, pp.32-35, 2011. [16] J. P. Carrascal, S. Jordà. ―Multitouch Interface for Audio Mixing‖. Proceedings of the International Conference on New Interfaces for Musical Expression, Oslo, Norway, 2011. [17] P. Lopes, A. Ferreira, J. A. Madeiras Pereira, ―Battle of the DJs: an HCI perspective of Traditional, Virtual, Hybrid and Multitouch DJing‖, Proceedings of the International Conference on New Interfaces for Musical Expression, Oslo, Norway, 2011. [18] P. lopes, A. ferreira, J. Pereira, ―Multitouch DJing Surface‖, ACE’ 10: Proceedings of the 2010 ACM SIGCHI international conference on Advances in Computer Entertainment Technology. ACM, 2010. [19] NIME, ―New Interfaces for Musical Expression‖, Website: http://www.nime.org/, accedido por última vez el 25/06/2012. [20] M. Bischof, B. Conradi, P. Lachenmaier, K. Linde, M. Meier, P. Pützl, E. André. ―XENAKIS: Combining tangible interaction with probability-based musical composition‖. Proceedings of the Second International Conference on Tangible and Embedded Interaction, Bonn, Germany, 2008. [21] Jordan Hochenbaum, Owen Vallis, Dimitri Diakopoulos, Jim Murphy, Ajay Kapur, ―Designing Expressive Musical Interfaces for Tabletop Surfaces‖, Proceedings of the 2010 Conference on New Interfaces for Musical Expression (NIME 2010), Sydney, pp. 315-318, Australia, 2007. [22] Apple. ―Introduction to Quartz Composer User Guide‖. Apple, Inc. Website: https://developer.apple.com/library/mac/#documentation/graphicsimaging/conceptual/Quart zComposerUserGuide/qc_intro/qc_intro.html, accedido por última vez el 25/08/2012. [23] FlipMu, ―Bricktable‖, Website: http://flipmu.com/work/bricktable/, accedido por última vez el 27/06/2012. [24] Billy Keyes, Final Project, ―SketchSynth: A Drawable OSC Control Surface‖. Website: http://golancourses.net/2012spring/05/13/billy-keyes-final-project-sketchsynth/, accedido por última vez el 27/06/2012. [25] OF, openFrameworks. Website: http://www.openframeworks.cc/documentation/, accedido por última vez el 27/06/2012. [26] Stephen Brewster, ―Nonspeech Auditory Output‖, The Human-Computer Interaction Handbook: Fundamentals, Envolving Technologies, and Emerging Applications (Second Edition), Lawrence Erlbaum Associates, New York, pp. 247-264, 2008. [27] Ken Hinkley, ―Input Technologies and Techniques‖, The Human-Computer Interaction Handbook: Fundamentals, Envolving Technologies, and Emerging Applications (Second Edition), Lawrence Erlbaum Associates, New York, pp. 161-176, 2008. [28] N. Orio, N. Schnell, y M. M. Wanderley. (2001) ―Evaluation of Input Devices for Musical Expression Borrowing Tools from HCI‖. Proc. Workshop New Interfaces for Musical Expression, ACM CH101. 49

[29] M. M. Wanderley, P. Depalle. ―Gestural Control of Sound Synthesis‖. Proceedings of the IEEE, Vol 92, 2004, pp 632 - 644. [30] USB Implementers’ Forum, "Device Class Definition for Human Interface Devices (HID)", Firmware Specification—6/27/01, Version 1.11, Website: http://www.usb.org/developers/devclass_docs/HID1_11.pdf, accedido por última vez el 26/11/2012. [31] J. Rovan, M. M. Wanderley, S. Dubnov, y P. Depalle, ―Instrumental gestural mapping strategies as expressivity determinants in computer music performance,‖ presentado en el Kansei Technology of Emotion Workshop, Genova, Italy, 1997. [32] Michael Hewitt, ―Music Theory for Computer Musicians‖. Chapter 4, Rhythm, Tempo, and Note Lengths. Course Technology, a part of Cengage Learning, 2008, pp 39 - 51. [33] Alan Dix, Janet Finlay, Gregory D. Abowd, Rusell Beale, ―Design rules‖, HumanComputer Interaction (Third Edition), Pearson Prentice Hall, pp. 258-288, 2004. [34] Hong-Ki Kim, Sunggun Lee, Kwang-Seok Yun, ―Capacitive tactile sensor array for touch screen application‖, Seoul, Republic of Korea, Sensors and Actuators A 165, pp. 2-7, 2011. [35] Ying-Lien Lee, ―Comparison of the conventional point-based and a proposed finger probebased touch screen interaction techniques in a target selection task‖, Taichung County, Taiwan, International Journal of Industrial Ergonomics 40, pp. 655-662, 2010. [36] Michael Hewitt, ―Music Theory for Computer Musicians‖. Chapter 1, Musical Sound. Course Technology, a part of Cengage Learning, 2008, pp 1 - 15. [37] A. Cockburn, D. Ahlström, C. Gutwin, ―Understanding performance in touch selections: Tap, drag and radial pinting drag with finger, stylus and mouse‖, Int. J. Human-Computer Studies 70, pp. 218-233, 2012. [38] António Pedro Oliveira, Amílcar Cardoso, ―A musical system for emotional expression‖, Coimbra, Portugal, Knowledge-Based Systems 23, pp. 901-913, 2010. [39] D. Stowell, A. Robertson, N. Bryan-Kinns, M.D. Plumbley, ―Evaluation of live humancomputer music-making: Quantitative and qualitative approaches‖, London, UK, Int. J. Human-Computer Studies 67, pp. 960-975, 2009. [40] Mohsin I. Tiwana, Stephen J. Redmond, Nigel H. Lovell, ―A review of tactile sensing technologies with applications in biomedical engineering‖, Sydney, Australia, Sensors and Actuators A 179, pp. 17-31, 2012. [41] Jiaqing Lin, Hiroaki Nishino, Tsuneo Kagawa, Kouichi Utsumiya, ―A method of twohanded gesture interactions with applications based on commodity devices‖, Dannoharu, Japan, Computers and Mathematics with Applications 63, pp. 448-457, 2012. [42] Michael Hewitt, ―Music Theory for Computer Musicians‖. Chapter 10, Melody and Motives. Course Technology, a part of Cengage Learning, 2008, pp 123 - 129. [43] Kevin Ponto, Kai Doerr, Tom Wypych, John Kooker, Falko Kuester, ―CGLXT: A multiuser multi-touch approach for ultra-high-resolution collaborative workspaces‖, San Diego, La Jolla, CA, USA, Future Generation Computer Systems 27, pp. 649-656, 2011.

50

[44] Andrew Johnston, Linda Candy, Ernest Edmonds, ―Designing and evaluating virtual musical instruments: faciliting conversational user interaction‖, Creativity and Cognition Studios, Australasian CRC for Interaction Design (ACID), Faculty of Information Technology, University of Technology Sydney, Sydney, Australia, pp. 556-571, 2007. [45] OF, ―Sobre OpenFrameworks‖, Website: http://www.openframeworks.cc/about/, accedido por última vez el 18/07/2012. [46] Ableton, ―Max for Live‖, Website: http://www.ableton.com/maxforlive, accedido por última vez el 26/07/2012. [47] Ableton, ―What is Max for Live?, What can I do with it?‖, Website: http://www.ableton.com/answers/what-is-max-for-live, accedido por última vez el 26/07/2012. [48] MIDI Manufacturers Association, ―MIDI Manufacturers Association - The official source of information about MIDI‖, Website: http://www.midi.org, accedido por última vez el 26/11/2012. [49] MIDI Manufacturers Association, ―Tutorial: The Technology of MIDI - Part 3: MIDI Messages‖, Website: http://www.midi.org/aboutmidi/tut_protocol.php, accedido por última vez el 04/08/2012. [50] About.com, "What is an IDE and Do You Need an IDE to build Web Applications?", Website: http://webdesign.about.com/od/webprogramming/a/what-is-an-ide.htm, accedido por última vez el 26/11/12 [51] Code::Blocks, ―The open source, cross platform, free C++ IDE‖, Website: http://www.codeblocks.org/home, accedido por última vez el 05/08/2012. [52] MinGW, ―MinGW | Minimalist GNU for Windows‖, Website http://www.mingw.org, accedido por última vez el 26/11/2012. [53] Apple Developer, ―Developer Tools - Tools you’ll love to use, XCode IDE‖, Website: https://developer.apple.com/technologies/tools/, accedido por última vez el 07/08/2012. [54] Apple Developer, ―What’s New in Xcode - Developer Tools Technology Overview Apple Developer‖, Website: https://developer.apple.com/technologies/tools/whats-new.html, accedido por última vez el 26/11/2012. [55] SamAsh.com, ―Digital Recording Software: DAW | Sam Ash Music 1-800-4-SAMASH‖, Website: http://www.samash.com/opencms/opencms/samash/buyers-guides/recordingsoftware-digital-audio-workstation.html?cm_sp=Buyers+Guides-_Home+Recording+Buyers+Guides-_-DAW+Software/, accedido por última vez el 26/11/2012. [56] Marc Retting, ―Prototyping for Tiny Fingers‖, Communications of the ACM, Vol 37, No 4. pp 21 - 27, April 1994. [57] Image-Line, ―FL Studio Music creation DAW‖, Website: http://www.imageline.com/documents/flstudio.html, accedido por última vez el 05/09/2012.

51

[58] Propellerheads, ―Reason - Complete music making, music production and recording studio software‖, Website: http://www.propellerheads.se/products/reason/, accedido por última vez el 26/07/2012. [59] Colles, Henry Cope, ‖The Growth of Music : A Study in Musical History‖, 4th ed., London ; New York : Oxford University Press, 1978. [60] Merker, Brown, Steven, ―The Origins of Music‖, The MIT Press, 2000. [61] VST 4 FREE, ―Download Free Rhodes piano plug-in: RhodeZ by DSK‖, Website: http://www.vst4free.com/free_vst.php?plugin=RhodeZ&id=410, accedido por última vez el 14/09/2012. [62] VST 4 FREE, ―Download Free Drum kit plug-in: mini DrumZ by DSK‖, Website: http://www.vst4free.com/free_vst.php?plugin=LazySnake&id=271, accedido por última vez el 16/09/2012. [64] Youtube, ¨Jeremy Ellis performing on Maschine¨, Website: http://www.youtube.com/watch?v=HdFlFxJFnfY, accedido por última vez el 17/09/2012. [65] Michael Pilhofer, Holly Day, ―Music Theory for Dummies‖, Wiley, Jul 2, pp. 97, 2007. [66] OfxAddons, ―OfxUI‖, website: http://ofxaddons.com/repos/500, accedido por última vez el 08/10/2012. [67] ZaagTech, Technical Support, Driver downloads, mechanical drawings downloads, Website: http://zaagtech.com/Support.html, accedido por última vez el 28/10/2012. [68] Herman Kruegle, "CCTV Surveillance: Analog and Digital Video Practices And Technology‖, Butterworth-Heinemann, pp. 268, 2006. [69] HDMI.org, ―HDMI:: Resources :: FAQ‖, Website: http://www.hdmi.org/learningcenter/faq.aspx, accedido por última vez el 26/11/2012. [70] Digital Signage Expo, ―Zaag Technology Co.,Ltd - HSIR+ POWERED MULIT-TOUCH OVERLAY | Digital Signage Expo‖, Website: http://www.digitalsignageexpo.net/zaagtechnology-coltd-hsir-powered-mulit-touch-overlay, accedido por última vez el 08/11/2012. [71] Youtube, ―Primeras pruebas - Interfaz controladora musical en tiempo real‖, Website: http://www.youtube.com/watch?v=LtGaFBaSxEo&feature=plcp, accedido por última vez el 12/11/2012. [72] Youtube, ―ZaagTech IP65 Multi-Touch Overlays - Installation Guide‖, Website: http://www.youtube.com/watch?v=kzgpz46W0Cw, accedido por última vez el 08/11/2012. [73] Youtube, ―ZaagTech Quick Start Guide‖, http://www.youtube.com/watch?feature=endscreen&v=SbKH15YfuqE&NR=1, por última vez el 08/11/2012.

Website: accedido

[74] M-AUDIO, ―M-AUDIO - Búsqueda de Drivers y Software‖, Website: http://la.maudio.com/index.php?do=support&tab=driver&PID=b7e8e5bf002b302bd075f91381dfb1c8 &serie_ID=3#tabs, accedido por última vez el 08/11/2012.

52

[75] Agoura Music, "Yamaha Midi/USB Converter - Agoura Music", Website: http://www.mcssl.com/store/agouramusic/catalog/product/e474ac87b6784015ae439b0144c5 48c2, accedido por última vez el 11/11/2012. [76] Polynomial.com, "Casio Dz-1 midi drum trigger translator HOMEPAGE", Website: http://www.polynominal.com/site/studio/gear/drum/casio-dz-1/casio-dz-1.html, accedido por última vez el 11/11/2012. [77] Tuio.org, "TUIO Protocol Specification 1.1", Website: http://www.tuio.org/?specification, accedido por última vez el 12/11/2012. [78] Derek Holzer, ―Tonewheels - a brief history of optical synthesis‖, Umatic.nl, February, 2010. [79] Eduardo Reck Miranda, ―Preface‖, Computer Sound Design. Focal Press, 2002, pp XVXVIII.

53

10 Biografías Julián Esteban Pérez Valencia nació en Tuluá el 29 de agosto del año 1991 pero se radicó seis años más tarde en la ciudad de Cali, Colombia. Desde niño tuvo gran fascinación por la creación y la transformación de objetos cotidianos en piezas con funciones particulares. En la adolescencia conoció la música electrónica que junto con las artes digitales lo impulsaron más tarde a estudiar Ingeniería Multimedia. Este documento hace parte del sueño que empezó en ese momento: crear una interfaz para producir música electrónica como proyecto de grado. A sus 21 años de edad ha realizado trabajos en diferentes áreas como programador y productor de contenidos audiovisuales. e-mail: [email protected]

Santiago Eduardo Mendoza Lareo nació el 1° de diciembre del año 1990 en la ciudad de Palmira, Colombia. Desde temprana edad se interesó por la música imitando los ritmos que escuchaba con sus manos, tal como lo hace hoy en día. En su juventud se inclina hacia la música electrónica haciéndola parte de su vida diaria. Inspirado por ésta, decide en el 2008 hacerse Dj y continuar por las líneas de la composición y producción musical. Interesado en la ingeniería de sonido, decide buscar esta carrera en distintas universidades de la región, y es ahí donde conoce la ingeniería multimedia y ve en ella grandes posibilidades de combinar el audio y la música con la parte interactiva y visual. Es por esto que hace parte de la creación y desarrollo de este proyecto en vía de cumplir uno de sus sueños. e-mail: [email protected] Sergio Bromberg Dimaté nació en Bogotá el 3 de Agosto de 1984. A pesar de ser criado en una familia de hombres de ciencia, se interesó desde niño por la música. Estudió Física en la Universidad Nacional de Colombia pero la búsqueda de un campo intermedio entre las ciencias y las artes le llevó a estudiar una Maestría en Tecnologías de la información, la comunicación y los medios audiovisuales, enfocada hacia la computación musical. Desde el 2010 es profesor de tiempo completo en la Universidad San Buenaventura -sede Cali-, en donde dirige la profundización de Audio del programa de Ingeniería Multimedia. Sus intereses de investigación son los instrumentos musicales digitales, la recuperación de información musical, y la espacialización de audio. e-mail: [email protected]

54