Para uma Formação Virtual Acessível e de Qualidade

La estandarización para la calidad en los metadatos de recursos educativos virtuales Daniel Pons1, José R. Hilera1, Carmen Pagés1 1

Departamento de Ciencias de la Computación E.T.S. de Ingeniería Informática Universidad de Alcalá 28871 Alcalá de Henares (Madrid) Email: [email protected], [email protected], [email protected]

Resumen. El proceso de estandarización de la calidad está patente tanto por la variedad en estándares enfocados a la calidad como por la implantación de los mismos en empresas y organizaciones. Por otro lado, los metadatos que describen objetos educativos permiten obtener información sobre el propio recurso educativo y de esta forma se facilita su reutilización hacia los usuarios. Paralelamente también existen estándares focalizados en la homogeneización de los metadatos de recursos educativos. Este artículo presenta los estándares como un elemento clave en el proceso para la obtención de metadatos de calidad en los objetos educativos y poder realizar una explotación eficiente de los mismos. Palabras clave: estándares, calidad, metadatos, objetos educativos, educación, e-learning.

1 Introducción Nuevos métodos de aprendizaje están surgiendo en el campo del e-learning, ofreciendo una amplia variedad de enfoques educativos alternativos que pueden ser transportados al aula educativa, a una teleformación, o hacia una formación autónoma, tales como como m-learning [1], blended learning [2], e-tutoring [3], collaborative e-learning [4], adaptive e-learning [5] o u-learning [6]. Los recursos formativos digitales por lo tanto toman un papel protagonista en la formación virtual. Actualmente, los objetos educativos digitales se encuentran principalmente disponibles hacia el usuario final a través de repositorios de objetos de aprendizaje, y por lo tanto una preocupación surge en la búsqueda de la interoperabilidad entre estos repositorios [7]. En este punto los estándares juegan un papel crucial al ofrecer reglas o definiciones precisas de características para asegurar que los productos, procesos o servicios se ajusten a sus propósitos. Por otro lado, las tecnologías de búsqueda en Internet de la Web 3.0 añaden a la Web 2.0 herramientas de la Web semántica junto con el concepto de Linked Data, y amplían de forma considerable las capacidades de búsqueda en la Web [8]. Tal y

- 334 -

Para uma Formação Virtual Acessível e de Qualidade

como Bizer et al. [9] constataron, el término Linked Data se refiere a un conjunto de buenas prácticas para publicar y conectar datos estructurados en la Web. En la misma línea, Ferrara et al. [10] trabajaron en un desarrollo tecnológico basado en encontrar recursos equivalentes en la Web de Linked Data, con varias técnicas disponibles para el enlace de datos. Ruiz-Calleja et al. [11] realizaron un estudio sobre la recuperación de herramientas educacionales con Linked Data. Estas nuevas tecnologías por lo tanto simplifican el uso de la Web y mejoran la eficiencia en el proceso de recuperación de información. Por lo tanto es de esperar que el desarrollo e implantación definitiva de estas nuevas tecnologías favorezcan y mejoren los procesos de búsqueda, selección y recuperación de objetos educativos.

2 Desde estándares de calidad a la calidad en el e-learning En este apartado se identifican estándares enfocados a la calidad en general, que aunque pueden ser aplicados a la formación, hay que tener en cuenta que también se han desarrollado estándares específicos para la educación y el e-learning. 2.1 Estándares de calidad La familia de estándares ISO 9000 establecen una base para la mejora empresarial y la excelencia [12]. Estos estándares son herramientas genéricas para el control de la calidad centrados en la documentación de los problemas de una organización para mejorarlos e incrementar la calidad, pero realmente la eliminación de los problemas detectados suele recaer en métodos estadísticos para el control de la calidad y la mejora [13]. El modelo TQM de calidad total trata de unos principios y métodos sobre la gestión de los procedimientos, marcando unas pautas sobre cómo hay que definir los procesos [14]. Por otro lado, el modelo EFQM es un enfoque de cómo implementar estos principios y está más cercano con lo que una organización hace, cómo lo hace, por qué lo hace de un determinado modo, y qué hace con los resultados. Sin embargo, se ha puesto en entredicho su total efectividad [15]. Otras investigaciones han corroborado que los modelos EFQM y MBNQA cumplen con los requisitos marcados y esperados por el modelo TQM [16]. Existen otros modelos de calidad, como por ejemplo la metodología Seis Sigma de mejora de procesos, que se centra en la reducción de defectos de fabricación [17], y por lo tanto no es fácilmente aplicable a procesos que ofrecen un servicio tal y como ocurre en la educación virtual. 2.2 Calidad en el e-learning Los estándares genéricos de calidad pueden intentar ser aplicados tanto en la educación como en la enseñanza virtual. Sin embargo, existen herramientas que simplifican la aplicación de los estándares de la calidad a los servicios educativos. Como por ejemplo la norma IRAM 30000, que es una guía para la interpretación de la

- 335 -

Para uma Formação Virtual Acessível e de Qualidade

norma ISO 9001:2000 en la educación [18], orientada claramente a las organizaciones que prestan servicios educativos y deciden aplicar los requisitos de la Norma ISO 9001. Existen estándares internacionales relacionados con la formación en general, como la norma ISO 19796-1:2005 [19], que define un marco estandarizado para la calidad en el proceso de la formación. También ha sido desarrollado el estándar UNE 66181:2012 [20] el cual establece un modelo de calidad basado en una serie de indicadores y características de calidad en la formación virtual que representan factores de satisfacción de los clientes.

3 De la calidad en los metadatos hacia los metadatos para el elearning A continuación se expone la necesidad de que las contribuciones a los metadatos sean adecuadas, completas y de calidad, para asegurar una correcta explotación posterior de los metadatos. Se tratará con posterioridad la necesidad de disponer de metadatos de calidad en el e-learning. 3.1 Calidad en los metadatos La calidad en los metadatos es un requisito previo para que los metadatos sean útiles [21]. La necesidad de que los metadatos estén adecuadamente definidos surge con el fin de facilitar que posteriormente se rellenen correctamente, para que coonsecuentemente se puedan explotar efectivamente. La calidad en los metadatos refleja el grado con el que los metadatos realizan sus funciones esenciales bibliográficas de búsqueda, localización, uso, procedencia, autenticación y administración Siete medidas de calidad han sido categorizadas para definir las características generales de metadatos de calidad. Estas son precisión, completitud, procedencia, conformidad con las expectativas, coherencia, seguimiento temporal y accesibilidad [22], aunque la precision, completitud y la consistencia son los criterios más comunes en la medida de la calidad de los metadatos [23] En el proceso de creación de los metadatos hay que considerar que los autores de los recursos toman un papel fundamental [24]. Resultados obtenidos concluyen que la creación descontrolada de metadatos provoca una pérdida de la interoperabilidad de metadatos entre repositorios digitales [21]. Una instancia de metadatos creada por sólo una o dos instituciones dará lugar a menos interpretaciones variadas. Sin embargo, la variación en la interpretación de los metadatos se incrementa conforme múltiples instituciones colaboran en la creación de los mismos. Por lo tanto, se puede concluir que tanto la consistencia estructural y semántica en los metadatos favorecen el proceso de su elaboración [25]. Existen estudios que buscan evaluar y garantizar la calidad de los metadatos, controlando su proceso de creación por humanos y automatizando las tareas de creación de metadatos [26].

- 336 -

Para uma Formação Virtual Acessível e de Qualidade

3.2 Metadatos de calidad para el e-learning Existen diversas iniciativas y propuestas de esquemas de metadatos aplicados para recursos educativos de e-learning. CanCore Learning Resource Metadata Initiative, Lorn Vetadata o Dublin Core Metadata Initiative son algunos de ellos. Tal y como se expuso en [27], donde se realizó una preliminar comparación ente los estándares IEEE LOM e ISO MLR, y teniendo en cuenta que el estándar ISO MLR todavía no está publicado en su versión definitiva, se puede observar que dos de las instituciones internacionales más importantes dedicadas a la estandarización están preocupadas en la existencia de un estándar de referencia para los metadatos de recursos y objetos educativos. Teniendo en cuenta que la existencia y desarrollo de estándares de metadatos y de interfaces de consulta para la recuperación de recursos educativos permiten abordar la interoperabilidad entre repositorios de objetos de aprendizaje [28], la preocupación sobre la calidad de los metadatos también es extensible al caso de metadatos para recursos educativos [29]. Existen propuestas para la evaluación de la calidad de los metadatos de recursos digitales [30], ya que los metadatos para objetos educativos deberían cumplir como norma general unos requisitos mínimos de calidad para que las funciones de búsqueda, recuperación y selección de objetos de aprendizaje se realicen de acuerdo a las expectativas de los usuarios. Actualmente no hay identificado un claro nexo de unión entre los estándares de la calidad para la formación o el e-learning y los estándares de metadatos para objetos educativos, salvo por el hecho de que en el estándar ISO/IEC 19796-1 [19], en su Anexo F (informativo) de objetivos específicos de calidad, habla de la posibilidad de introducir un proceso "Creación de metadatos" en el subproceso "CD.2 Concepto para contenidos" del proceso "Concepción/Diseño", momento en el cual se puede identificar qué estándar de metadatos se va a utilizar. Si bien es cierto que un estándar de calidad se aplica al proceso educativo y un estándar de metadatos se aplica al objeto educativo, la conjugación de ambos campos debería servir como marco general para marcar un nuevo reto en lo referente a la calidad del e-learning.

4 Conclusiones La implantación de estándares de calidad para la mejora de la formación y el elearning han supuesto que organizaciones educativas obtengan certificados en calidad y se inicien en un proceso de mejora continua que repercute en un mejor servicio ofrecido hacia el usuario final. Asimismo, la utilización de estándares de metadatos es una garantía para la calidad, homogeneización y armonización entre diferentes instancias de metadatos de recursos educativos, y por lo tanto mejoran la interoperabilidad entre repositorios de recursos educativos. Numerosas entidades y organizaciones se han dedicado al desarrollo de estándares para proporcionar un crecimiento tecnológico, social y cultural que permita la interoperabilidad entre sistemas y componentes tecnológicos, así como una mejora continua en la calidad. El hecho de dos décadas de desarrollo más bien sugiere un

- 337 -

Para uma Formação Virtual Acessível e de Qualidade

campo de investigación y desarrollo asentado, sólido y fiable en el avance de la estandarización, que no ha podido realizarse de otra forma. Como continuación en la línea de investigación, se plantea el estudio acerca de la evolución de la Web 3.0 en la búsqueda y selección de recursos educativos virtuales, tomando como punto de partida el trabajo y desarrollo en la estandarización de los metadatos de recursos educativos. Agradecimientos. Este trabajo ha sido financiado en parte por la Comisión Europea a través del proyecto ESVI-AL del programa ALFA III.

Referencias 1. Liu, Y., Li, H., Carlsson, C.: Factors driving the adoption of m-learning: An empirical study. Computers & Education, vol 55(3), pp. 1211-1219, (2010) 2. Snodin, N.S.: The effects of blended learning with a CMS on the development of autonomous learning: A case study of different degrees of autonomy achieved by individual learners. Computers & Education, vol 61, pp. 209-216, (2012) 3. Corrigan, J.A.: The implementation of e-tutoring in secondary schools: A diffusion study. Computers & Education, vol 59(3), pp. 925-936, (2012) 4. Casamayor, A., Amandi, A., Campo, M.: Intelligent assistance for teachers in collaborative e-learning environments. Computers & Education, vol 53(4), pp. 1147-1154, (2009) 5. Van Seters, J.R., Ossevoort, M.A., Tramper, J., Goedhart, M.J.: The influence of student characteristics on the use of adaptive e-learning material. Computers & Education, vol 58(3), pp. 942-952, (2011) 6. Hsieh, S.W., Jang, Y.R., Hwang, G.J., Chen, N.S.: Effects of teaching and learning styles on students’ reflection levels for ubiquitous learning. Computers & Education, vol 57(1), pp. 1194-1201, (2011) 7. Hatala, M., Richards, G., Eap, T., Willms, J.: The interoperability of learning object repositories and services: standards, implementations and lessons learned. In Proceedings of the 13th international World Wide Web conference on Alternate track papers & posters, pp. 19-27, ACM, (2004) 8. Hendler, J.: Web 3.0 Emerging. Computer, vol 42(1), pp. 111-113 (2009) 9. Bizer, C., Heath, T., Berners-Lee, T.: Linked data-the story so far. International Journal on Semantic Web and Information Systems (IJSWIS), vol 5(3), pp. 1-22 (2009) 10.Ferrara, A., Nikolov, A., Scharffe, F.: Data Linking for the Semantic Web. International Journal on Semantic Web and Information Systems (IJSWIS), vol 7(3), pp. 46-76 (2011) 11.Ruiz-Calleja, A., Vega-Gorgojo, G., Asensio-Pérez, J.I., Bote-Lorenzo, M.L., GómezSánchez, E., Alario-Hoyos, C.: A Linked Data approach for the discovery of educational ICT tools in the Web of Data. Computers & Education, vol 59, pp. 952-962 (2012) 12.Hoyle, D.: ISO 9000 Quality Systems Handbook. Updated for the ISO 9001:2008 standard. Routledge. (2012) 13.Mitra, A.: Fundamentals of Quality Control and Improvement. Wiley, (2008) 14.Powell, T.C.: Total quality management as competitive advantage: A review and empirical study. Strategic Management. Journal, vol 16(1), pp. 15-37, (1995) 15.Gómez, J.G., Costa, M.M., Lorente, Á.R.M.: A critical evaluation of the EFQM model. International Journal of Quality & Reliability Management, vol 28(5), pp. 484-502, (2011) 16.Bou-Llusar, J.C., Escrig-Tena, A.B., Roca-Puig, V., Beltrán-Martín, I.: An empirical assessment of the EFQM Excellence Model: Evaluation as a TQM framework relative to the MBNQA Model. Journal of Operations Management, vol 27(1), pp. 1-22, (2009)

- 338 -

Para uma Formação Virtual Acessível e de Qualidade

17.Aboelmaged, M.G.: Six Sigma quality: a structured review and implications for future research. International Journal of Quality & Reliability Management, vol 27(3), pp. 268-17, (2010) 18.IRAM: IRAM 30000. Guía de Interpretación de la IRAM-ISO 9001 para la educación. Instituto Argentino de Normalización (IRAM), Argentina (2005). 19.ISO/IEC 19796-1:2005, Information technology -- Learning, education and training -Quality management, assurance and metrics -- Part 1: General approach.International Standard Organization, Geneve, Switzerland (2005). 20.UNE 66181:2012, Gestión de la calidad. Calidad de la Formación Virtual. AENOR: Spanish Association for Standardization and Certification, Madrid, Spain (2012). 21.Park, J.R., Tosaka, Y., Maszaros, S., Caimei, L.: From metadata creation to metadata quality control: Continuing education needs among cataloging and metadata professionals. Journal of education for library and information science, vol 51(3), (2010) 22.Bruce, T.R., Hillmann, D.I.: The continuum of metadata quality: defining, expressing, exploiting. In Metadata in Practice, Hillmann, D.I., Westbrooks, E.L. (Eds.). American Library Association, Chicago (2004) 23.Park, J.: Metadata Quality in Digital Repositories: A Survey of the Current State of the Art. Cataloging & Classification Quarterly, vol 47(3-4), pp. 213-228, (2009) 24.Greenberg, J., Pattuelli, M.C., Parsia, B., Robertson, W.D.: Author-generated Dublin Core Metadata for Web Resources: a Baseline Study in an Organization. Journal of Digital Information, vol 2(2), (2006) 25.Shreeves, S., Knutson, E.M., Stvilia, B., Palmer, C., Twidale, M., Cole, T.W.: Is “Quality” Metadata “Shareable” Metadata? The Implications of Local Metadata Practices for Federated Collections. ACRL Twelfth National Conference, pp. 223-237, (2005). 26.De Biagi, L., Puccinelli, R., Saccone, M., Trufelli, L.: Research product repositories: strategies for data and metadata quality control. The Grey journal, vol 8(2), pp. 83-94, (2012) 27.Pons, D., Hilera J.R., Pagés, C.: E-learning Metadata Standards, Special issue of the IEEE LT Newsletter on Adopting Standards and Specifications for Educational Content, vol. 13(3), pp. 17-19, (2011) 28.Simon, B., Massart, D., Van Assche, F., Ternier, S., Duval, E., Brantner, et al.: A simple query interface for interoperable learning repositories. In Proceedings of the 1st Workshop on Interoperability of Web-based Educational Systems, pp. 11-18, (2005) 29.Currier, S., Barton, J., O’Beirne, R., Ryan, B.: Quality assurance for digital learning object repositories: issues for the metadata creation process. The Journal of the Association for Learning Technology (ALT), vol 12(1), pp. 5-20, (2004) 30.Margaritopoulos, T., Margaritopoulos, M., Mavridis, I., Manitsaris, A.: A conceptual Framework for Metadata Quality Assessment. Proc Int’l Conf. On Dublin Core and Metadata Applications, pp. 104-113, (2008)

- 339 -