Nuevos Interfaces para Juegos Tradicionales, Caso de Estudio: Marioneta Virtual R. Arenas, R. Martín, J. Flores Depto. de Electrónica y Computación Instituto de Investigaciones Tecnológicas. Universidad de Santiago de Compostela 15782 Santiago de Compostela. [email protected], [email protected], [email protected]

Abstract. En el presente trabajo se propone una actualización del juego-arte tradicional de las marionetas, donde sus diversos elementos tomarán una nueva imagen mediante técnicas de Realidad Aumentada y nuevos interfaces. Al títere se le dará un formato digital, siendo una marioneta virtual, mientras que la percha será sustituida por un interfaz singular que nos permita interaccionar con el títere virtual. Para la utilización del sistema propuesto no será preciso un aprendizaje previo ya que el sistema emplea los mismos elementos con los que están habituados los titiriteros, lo cual es especialmente interesante para su utilización por parte de niños. Este sistema nos permitirá desarrollar una amplia colección de títeres y escenarios con los cuales se puedan experimentar e interaccionar, o presentar una actuación ante un público, aumentado así la relación usuariotecnología.

1 Motivación Un títere es una figura o muñeco articulado que es manejado por una persona de manera que parezca que su movimiento es autónomo, como si de un ser animado se tratara. Dicha interacción intenta reproducir de manera fiel los movimientos del ser al que representa el muñeco articulado. El arte de actuar con los títeres cobró una gran importancia desde fines del siglo XVIII y todo el XIX, continuando hasta nuestros días [1, 2]. La fascinación y el entusiasmo por aquellos muñecos y sus movimientos fue en aumento, pasando de ser un divertimento para niños a ser un verdadero arte admirado por una gran parte de la sociedad. En la actualidad sigue siendo uno de los elementos presentes en la mayoría de los medios de divertimento contemporáneos, desde actuaciones callejeras, pasando por representaciones teatrales y hasta formando parte en diversos espacios televisivos; siendo siempre en todos ellos un atractivo para personas de todas las edades [3]. Las marionetas pueden ser de diversos formatos [4]; de guante, varillas, marioneta, marote o marotte, bunraku, títere de dedal, sombras chinescas, etc. En el caso concreto de este trabajo, los más relevantes desde el punto de vista de la interacción personamáquina son dos de ellos: los títeres de varilla y las marionetas propiamente dichas. IX Congreso Internacional Interacción, Albacete 9-11 de Junio de 2008 Grupo LoUISE-Universidad de Castilla-La Mancha

316

R. Arenas, R. Martín, J. Flores

Los títeres de varillas o palos, que pueden ser planos o tridimensionales, son manipulados por una o más personas, utilizando para ello palos rígidos o varas desde debajo de la superficie del escenario. Normalmente, una sola vara soporta la cabeza y el cuello, otras dos controlan los dos brazos, mientras que los pies cuelgan libres de control. Por otro lado las marionetas son títeres accionados por medio de cuerdas o cables desde arriba, unidos a un elemento denominado percha, siendo ésta la interfaz de interacción del titiritero con la figura. Normalmente cada una de las cuerdas se une a una única extremidad, ya sean piernas, brazos, cabezas, alas, etc. Generalmente otra u otras cuerdas adicionales se añaden al muñeco para lograr movimientos especiales. Tanto las marionetas como los títeres de varas son muñecos articulados, de modo que cada parte de su cuerpo puede moverse de forma independiente al resto según el deseo del titiritero y dentro de las restricciones de movimiento de cada títere. En el presente trabajo buscaremos el desarrollo de una marioneta virtual de forma que el cuerpo de la marioneta se sustituya por un objeto virtual y el usuario pueda manejarlo del mismo modo que lo realizaba hasta ahora, mediante una percha.

2 Trabajos previos En lo referente a la interacción hombre-máquina encontramos dos caminos en la búsqueda de una comunicación más fluida. La primera de ella es aquel tipo de sistemas que emplea el propio cuerpo como herramienta de interacción; tal y como ocurre en el sistema PlayMotion [5]. En éste el propio cuerpo permite una relación directa con la tecnología implementada. En un segundo nivel se encuentran aquellos sistemas que utilizan herramientas para la interacción. En este grupo se encuentran todo tipo de simuladores de conducción, simuladores de vuelo, simuladores médicos, etc. Esta misma metáfora también es aplicada de manera general en los videojuegos, tanto para Pc´s como para videoconsolas. Cabe destacar entre todos estos sistemas a la videoconsola Nintendo Wii y su mando de control Wiimote. Éstos son destacables debido al gran grupo de periféricos asociados a dicho mando y que son, entre otros, raquetas de tenis, palos de golf, toda clase de armas e instrumentos musicales [6]. En esta segunda clasificación podemos también incluir aquel conjunto de sistemas que buscan nuevos paradigmas de interacción, como por ejemplo la realidad aumentada. En el presente trabajo, y en una primera aproximación, se emplea el reconocimiento de patrones como herramienta para la agregación virtual de información sobre elementos del mundo real. En este sentido encontramos gran numero de aplicaciones [7] como The MagicBook [8], HandHeld Augmented Reality [9] o FaiMr [10]. Por tanto nuestro trabajo podemos englobarlo dentro de estos últimos sistemas, teniendo en consideración que el sistema real es sustituido por otro virtual imitando su modo y herramienta de trabajo emulando su modo de operar o modus operandi. Por otra parte centrándonos en el tema de las marionetas virtuales encontramos que no es un tópico nuevo [11][12][13][14]. En la bibliografía es posible encontrar trabajos con el mismo elemento, donde quizás la aplicación más representativa, en lo concerniente nuestro tema, sea Virtual Puppeteers [15]. Dicha aplicación, que integra

Nuevos Interfaces para Juegos Tradicionales, Caso de Estudio: Marioneta Virtual

317

un teatro de marionetas virtual, permite la creación de personajes y escenarios, para posteriormente interactuar con ellos. Además Virtual Puppeteers ofrece la posibilidad de la grabación de las actuaciones de los distintos usuarios con sus personajes y en distintos escenarios. Posteriormente el usuario puede compartir las grabaciones con otros usuarios a través de Internet, posibilitándose la descarga de los personajes y escenarios para poder integrarlos en actuaciones de otros usuarios. De esta manera Virtual Puppeteers pretende que la simulación virtual del manejo de marionetas se aproxime al máximo a la realidad, tal y como realizan las actuaciones los titiriteros del mundo real. No obstante, hay que destacar que el control y manejo de los personajes es realizado mediante interacción por teclado y ratón. Por tanto se presenta un método de interacción correcto al tratarse de un sistema virtual que debe poder ser manejado desde un ordenador convencional, pero alejado de lo que es el verdadero funcionamiento de una marioneta. Destacar también que este sistema no presenta una calidad gráfica acorde con las posibilidades que los sistemas computacionales actuales poseen. Sin embargo para este trabajo es posible obtener varias conclusiones validas: en primer lugar es interesante la idea de poseer un escenario en el cual situar a nuestro modelo 3D de marioneta. De esta forma el usuario concebirá la pantalla del ordenador como si se tratara del teatrillo en el que se desarrolla la acción. Otro concepto interesante que debemos adoptar es la posibilidad de elección de distintos modelos 3D por parte del usuario. Así éste podrá realizar distintos tipos de actuaciones según sea su necesidad o interés. Por el contrario deberemos optar por el desarrollo de un interfaz similar a la percha de las marionetas tradicionales acercando lo máximo posible nuestro sistema al funcionamiento natural de las mismas. Además deberemos aumentar la calidad gráfica del sistema situándolo a un nivel acorde a las plataformas de trabajo modernas.

3 Descripción del sistema desarrollado En virtud de lo planteado anteriormente y como objetivo global se persigue el GHVDUUROORGHXQ³VLPXODGRU´GHPDULRQHWDEDVDGRHQXQLQWHUID]VLPLODUDOTXHHPSOHDQ los titiriteros, de forma que sea intuitivo y fácil de utilizar [3]. Así, el único elemento de entrada una vez configurado el escenario y la marioneta será la percha virtual. Se deberá, por tanto, reconocer la posición y/o movimientos de la misma, capturar y propagar la información al interior del sistema informático; y en función de esa información determinar la acción que se desarrollará en la pantalla. El sistema se ha diseñado para ser utilizado en varias configuraciones en función de la posición de la pantalla-escenario, presentando por tanto diferente filosofía de utilización: Pantalla situada enfrente al usuario. En este caso el usuario ve la marioneta directamente y la puede utilizar como un juguete con el que interacciona y desarrolla su imaginación (Figura 1.1). 3DQWDOOD FRORFDGD GH HVSDOGDV DO XVXDULR (Q HVWH FDVR HO ³WLWLULWHUR´ FXHQWD XQD historia a los demás como en un teatro de marionetas, de manera semejante a los titiriteros del mundo real. (Figura 1.2).

318

R. Arenas, R. Martín, J. Flores

Fig. 1.1 Interacción como juguete

Fig. 1.2 Interacción como representación

Independientemente de la configuración que se utilice se han analizado dos técnicas para el reconocimiento de la posición de la percha. La primera utiliza un conjunto de etiquetas cuya imagen se captura mediante un dispositivo de video. Y la segunda consiste en la utilización del mando de control Wiimote a modo de percha.

Instalación 1. Sistema basado en etiquetas Para el sistema basado en etiquetas se utilizan dos elementos básicos. El primero de ellos una cámara Web situada encima de la pantalla-escenario y el segundo un conjunto de etiquetas dispuestas sobre la percha (Fig. 2) visibles en todo momento por dicha cámara. Cada una de las etiquetas (en nuestro caso un máximo de cinco) se corresponde a un hilo y por consiguiente punto de anclaje y de movimiento de la marioneta. De esta forma podemos reconocer con facilidad la actuación en cada punto de anclaje de la marioneta. La percha resultante de este planteamiento se presenta en la figura 2

Fig. 2. Percha con etiquetas ARToolkit

Fig. 3. Wiimote de Nintendo Wii

Como herramienta software en esta instalación se ha utilizado la librería Artoolkit [16]. Se trata de una herramienta con Licencia Publica General GNU [17], comúnmente utilizada en desarrollos de realidad aumentada [7][8][9][10] y que nos proporciona la posición y orientación de cada una de las etiquetas, previamente capturadas mediante video. Por tanto al conocer la posición espacial de cada una de las etiquetas sabemos cual será la posición del hilo virtual de cada pieza de la marioneta, y que consecuentemente determinará la posición de la misma.

Nuevos Interfaces para Juegos Tradicionales, Caso de Estudio: Marioneta Virtual

319

Instalación 2. Sistema basado en Wiimote En este caso el par cámara-etiquetas ha sido sustituido por el mando de control Wiimote [6] (Fig.3) de la videoconsola Wii de Nintendo [18]. Sus características más destacables son la capacidad de detección de movimiento en el espacio y la habilidad de dirigir objetos en la pantalla. Todo ello utilizando acelerómetros, los cuales permiten captar desplazamientos y rotaciones en el espacio. De este modo podemos adoptarlo para nuestro sistema como percha. Así, a partir de los datos proporcionados por sus elementos de medida se calculan las variaciones en la posición de la percha y por tanto en la posición de las piezas de la marioneta virtual. En esta instalación es necesario realizar un modelado virtual de la geometría de la percha, a fin de colocar los hilos virtuales en la posición que tendrían si se tratara de una percha tradicional. Este modelado se realiza computacionalmente y a priori, según el número y disposición de los hilos de la marioneta a representar. En principio el número de hilos es cinco, pero podrá variar según el modelo de marioneta. Para la programación de esta implementación se ha utilizado la librería Wiiuse [19], escrita por Michael Laforest y distribuida como software libre bajo Licencia Pública General GNU según lo publicado por la Free Software Foundation [17]. Wiiuse es una librería, escrita íntegramente en C, que permite la conexión con varios dispositivos Wiimote simultáneamente. En nuestro caso se ha empleado Wiiuse creando la conexión con un único Wiimote, ya que mediante los valores captados por los sensores de un único Wiimote podremos determinar con exactitud la posición virtual de la percha de la marioneta.

Comparativa entre instalaciones Dado que ambas instalaciones presentan varias diferencias entre sí, se incluye en la tabla 1 información comparativa entre dichas implementaciones, atendiendo a diferentes puntos de vista: Instalación 1 Instalación 2 Reconocimiento de Técnicas heredadas Captura de información posición directamente de la RA mediante acelerómetros Librería / Lenguaje ARToolkit / C Wiiuse / C Número de hilos Máximo 5 5 por defecto Percha Cruceta con etiquetas Wiimote Grados de Libertad 3 2, 3 Motor gráfico Diseñado a medida Diseñado a medida Table 1. Comparativa entre implementación 1 e implemetación 2

La marioneta La marioneta es el elemento visual activo de la aplicación. Por tanto debe tener un tratamiento gráfico que le proporcione una calidad visual elevada y un funcionamiento, en cuanto a su dinámica, lo más real posible. En una primera aproximación se optó por el diseño de una marioneta articulada de cinco hilos donde los puntos de anclaje y las articulaciones se muestran en la figura 4.

320

R. Arenas, R. Martín, J. Flores

Fig. 4 y Fig. 5. Esquema y estructura jerárquica de las piezas de la marioneta

Cada una de las articulaciones se ha limitado en cuanto a los grados de libertad, a semejanza de las articulaciones de las marionetas reales. Se detalla en la tabla 2 el movimiento permitido para cada una de ellas en relación a cada uno de los ejes cartesianos: ARTICULACION EJE X EJE Y EJE Z Cuello [0º,90º] [-90º,90º] Sin restricción*1 Hombro izquierdo [-20º, 90º] [0º,0º] Sin restricción*1 Hombro derecho [-20º, 90º] [0º,0º] Sin restricción*1 2 Codo izquierdo [0º,0º] * [0º,0º] Sin restricción*1 2 Codo derecho [0º,0º] * [0º,0º] Sin restricción*1 Cadera izquierda [0º,90º] [0º,90º] [0º,0º] Cadera derecha [-90º,0º] [0º,90º] [0º,0º] Rodilla izquierda [0º,90º] [0º,0º] [0º,0º] Rodilla derecha [-90º,0º] [0º,0º] [0º,0º] 1 * La restricción viene determinada por las propias ecuaciones de cinemática inversa *2 Los títeres reales no presentan movimiento en esta pieza y este eje Table 2. Movimientos permitidos para las piezas con respecto a los ejes cartesianos.

En lo relativo a la marioneta, al tratarse de un elemento articulado, es de especial interés que las uniones entre los elementos antes presentados se conformen cómo en la vida real. En este sentido ha sido necesario aplicar técnicas de cinemática inversa [20] [11] a cada una de las articulaciones a fin de mantener una coherencia dinámica articular. La cinemática inversa se ocupa de la descripción del movimiento sin tener en cuenta las causas que lo originan, centrándose únicamente en alcanzar ciertas posiciones (como alcanzar un objeto con una extremidad o caminar sobre una superficie). Este es el caso típico de una marioneta: el hilo marca un punto final de una acción y el resto de la jerarquía aparece articulada a este punto. En nuestro trabajo la jerarquía la compone la estructura natural de la marioneta. Ésta es la resultante de recorrer las articulaciones desde el extremo al tronco siguiendo la figura 5.

Nuevos Interfaces para Juegos Tradicionales, Caso de Estudio: Marioneta Virtual

321

Partiendo de la jerarquía antes planteada se han utilizado dos representaciones gráficas. La primera de ellas se corresponde con un prototipo funcional con el que se pretende verificar las bondades del sistema (Figura 6.1) mientras que la segunda se corresponde con una imagen más trabajada y fácilmente inidentificable con el robot Bender [21] de la serie animada Futurama (Figura 6.2).

Fig. 6.1 Modelo de maniquí de madera

Fig. 6.2 Modelo de robot Bender

El modelo 3D diseñado ha sido realizado bajo la aplicación Alias Maya [22] siguiendo la jerarquía de la figura 5 para la construcción de cada una de las piezas. En un paso posterior el modelo resultante ha sido incorporado a un motor gráfico diseñado a medida para el proyecto, empleando el lenguaje C y librerías gráficas Opengl [20]. Este motor cuenta con la capacidad de realizar los cálculos de movimiento de la marioneta teniendo en cuenta las leyes físicas de la cinemática inversa. Ha sido diseñado para permitir la incorporación y manejo de datos tanto de Artoolkit como de Wiimote, lo que ha posibilitado la integración del sistema de forma automática, permitiendo indicar por configuración cual de las dos opciones de interacción va a ser utilizada.

4 Conclusiones y trabajo futuro Se trata de un trabajo de investigación en desarrollo en el que en estos primeros pasos se han resuelto los principales problemas técnicos, alcanzando varios objetivos clave. Se ha desarrollado una aplicación lúdica basada en el arte tradicional de las marionetas. Ésta plantea y resuelve los problemas necesarios para el diseño de un simulador de marionetas, utilizando para ello técnicas heredadas directamente de la Realidad Aumentada y nuevos interfaces como es el caso del Wiimote.

322

R. Arenas, R. Martín, J. Flores

Con esta aplicación hemos profundizado en la utilización de nuevos paradigmas de interacción, permitiendo una accesibilidad más natural a aplicaciones software que los paradigmas de interacción tradicionales, y ofreciendo al mismo tiempo un mayor grado de entretenimiento y comprensión. Para la creación de los distintos modelos virtuales de marioneta se han empleado herramientas de modelado 3D para posteriormente implementarlos bajo la librería gráfica OpenGl. Esto permite la visualización del títere a través de la pantalla del ordenador. En cuanto al movimiento del títere se ha desarrollado un motor gráfico a medida, empleando técnicas de cinemática inversa, y restringiendo la amplitud de giro y movimiento de las piezas a semejanza de los títeres reales. Se ha desarrollado un interfaz natural similar al real presentando dos posibles soluciones: La primera solución está basada en un sistema de video-reconocimiento de etiquetas mediante las cuales determinaremos la posición de los hilos del títere. La segunda de ellas basada en el sistema de captura de movimiento Wiimote, siendo ésta segunda interfaz más robusta. Desde el punto de vista de la visualización o presentación al usuario se han desarrollado dos modos de utilización: El primero de ellos como un juego individual, en el que el usuario puede crear su marioneta y escenario, y desarrollar su propia historia. El segundo modo en el que esta historia es presentada a los demás desde la parte posterior de la pantalla como si ésta fuera un teatrillo del mundo real. Se ha buscado el diseño de una aplicación robusta y fácil de implementar e instalar en cualquier sistema informático. Para los elementos tangibles, mas concretamente la percha, se han utilizado sistemas comerciales de bajo coste, resistentes y que en muchos hogares se disponen por la utilización de video consolas y/o cámaras web. Como futuro trabajo nos hemos planteado: 5HDOL]DUXQDHYROXFLyQGHOVLVWHPDFRQXQFRQMXQWRDPSOLRGHXVXDULRV³HVWiQGDU´\ profesionales del sector, para verificar su operatividad y determinar nuevas funcionalidades a desarrollar. Simplificar al máximo la creación de escenarios y marionetas, de manera que en un futuro el usuario interaccione con la aplicación con el objetivo de crearlos a su antojo. Incluir otros tipos de marionetas con diferentes formatos. Así el usuario partirá de un conjunto amplio de modelos con los que interaccionar en las primeros ciclos de interacción. Incluir marionetas autónomas, con movimientos aleatorios y realistas.

Referencias [1] Marioneta. El arte y la cultura de las marionetas http://es.wikipedia.org/wiki/Titeres [2] UNIMA Unión Internacional de la marioneta ± Federación de España http://www.unima.es/ (February 2008)

Nuevos Interfaces para Juegos Tradicionales, Caso de Estudio: Marioneta Virtual

323

[3] R. Arenas, J. Flores. ARPuppet, Sistema de entretenimiento basado en títeres en Realidad Aumentada, Proyecto Fin de Carrera de Enxeñaría Técnica de Informáticas de Sistemas. Escola Técnica Superior de Enxeñaría ETSE, (July 2007) [4]Títeres y marionetas, Enciclopedia Microsoft® Encarta® Online 2007 http://es.encarta.msn.com/encyclopedia_761553522/T%C3%ADteres_y_marionetas.ht ml#p2 (2007) [5] Playmotion Solutions http://playmotion.com/ (2002) [6] Accesorios Nintendo Wii http://www.nintendo.es/NOE/es_ES/systems/accesorios_1243.html (April 2008) [7] ARToolkit projects http://www.hitl.washington.edu/artoolkit/projects/ (2005) [8] M. Billinghurst, R.Grasset, J. Looser,, H. Seichter, A. Duenser The MagicBook http://www.hitlabnz.org/wiki/MagicBook Hitlab New Zealand, (2005) [9] Dieter Schmalstieg, Daniel Wagner Experiences with Handheld Augmented Reality The Sixth IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2007), pp. 3-15, (November 2007) [10] J. Zauner, M. Haller, A. Brandl, W. Hartmann FaiMR, Mixed Reality Assembly Instructor for Hierarchical Structures ISMAR 2003, The Second International Symposium on Mixed and Augmented Reality, pp. 237-246, IEEE, Tokyo, (October 2003) [11] Jeff Lander, Oh My God. I Invertid Kine! Game Developer http://www.gdmag.com (September 1998) [12] Paul Marshall, Yvonne Rogers and Mike Scaife. Interact Lab,School of Cognitive and Computing Sciences of University of Sussex PUPPET: a virtual environment for children to act and direct interactive narrative in 2nd International Workshop on Narrative and Interactive Learning Environments of Edinburgh (2002). [13] Marshall, P., Rogers, Y., & Scaife, M. PUPPET: playing and learning in a virtual world. International Journal of Continuing Engineering Education and Lifelong Learning, 14(6), 519 - 531 (2004) [14] M. Biedermann et al. Virtual Puppet An example of a physically based, real-time shading VR application CARVI 2005 University of Koblenz-Landau (2004) [15] Virtual Puppeteers http://www.vpups.com/ [16] ARToolkit http://www.hitl.washington.edu/artoolkit/ (2000) [17] Free Software Foundation. A Quick guide to gplv3. http://www.fsf.org/quick-guide-gplv3announcement (2007) [18] Nintendo Wii http://www.nintendo.es/NOE/es_ES/systems/acerca_de_wii_1069.html (March 2008) [19] Michael Laforest. Wiiuse. The Wiimote C library http://www.wiiuse.net/ (2008) [20] Rick Parent Computer Animation. Algorithms and Techniques Morgan Kaufmann Publishers, (2002) [21] Bender. Futurama Pictures http://animatedtv.about.com/od/futurama/ig/FuturamaPictures/Futurama---Bender.htm (April 2008) [22] Doug Walker Learning Maya 7 Modeling & Animation Handbook Alias Learning Tool, (2005)