IEEE-RITA Vol. 4, Núm. 4, Nov. 2009

249

Metodología para la mejora continua de Sistemas de Gestión del Aprendizaje (LMS) Paloma Moreno-Clari, Miguel Arevalillo-Herráez, Vicente Cerverón-Lleó

Title— A methodology for continuous improvement of Learning Management Systems Abstract— Currently most on-campus universities provide an LMS to support teaching and learning. Although most of them gather usage statistics, these are rarely used to improve the quality of education. In this paper, a data analysis methodology is proposed. This methodology facilitates a continuous improvement of the LMS, and includes an inferential analysis which relates usage statistics to educational innovation and quality. This makes it possible to predict the effect of strategic decisions on the different variables considered, assisting on decision making. Index Terms—Learning management systems, ICT, usage statistics, Education quality, Innovation in Education

I. INTRODUCCIÓN

L

OS avances pedagógicos y tecnológicos acontecidos en los últimos años han provocado un considerable aumento en la demanda de formación apoyada en nuevas tecnologías, y una revolución en la forma de entender el proceso de enseñanza-aprendizaje. Estos cambios han obligado a todos los elementos que intervienen en el proceso (alumnos, profesores, contenidos y herramientas) a adaptarse a la situación [1], y han aumentado considerablemente la complejidad del panorama educativo [2]; [3]. Esta revolución en los modelos de enseñanza ha tenido especial relevancia en el contexto del Espacio Europeo de Educación Superior (EEES) [4]; [5], desembocando en un proceso de renovación de metodologías de aprendizaje, basadas en el desarrollo de competencias. Las TIC (Tecnologías de la Información y la Comunicación) permiten ofrecer acceso casi ilimitado y ubicuo a todo tipo de contenidos [6] y contribuyen a mejorar la interacción, a menudo limitada por restricciones espaciotemporales en las aulas tradicionales. Sin embargo, la

Todos los autores pertenecen al departamento de informática de la Universitat de València (Spain): Paloma Moreno-Clari: [email protected] (Autor de contacto) Miguel Arevalillo-Herráez: [email protected] Vicente Cerverón-Lleó: [email protected] DOI (Digital Object Identifier) Pendiente.

dotación de infraestructuras tecnológicas no garantiza, por sí misma, el cumplimiento de los objetivos educativos actuales [7]. Por el contrario, también es necesario hacer un uso de adecuado de los recursos disponibles, para así lograr unos resultados eficientes. Por este motivo, deben diseñarse planes y acciones adecuados para una correcta y óptima utilización de los equipos y aplicaciones existentes. Estos planes deben centrarse principalmente en promover y mejorar la calidad educativa [8] y generar competencias y destrezas entre los estudiantes, profesores y personal de administración y servicios respecto al uso eficaz de las TIC [9], [10]. Además, deben monitorizarse y evaluarse formalmente. La importancia de estas actividades se ha reconocido explícitamente en el modelo de madurez del e-learning (EMM) [11], que incluye la "optimización" como una de sus cinco dimensiones y la "evaluación" como una categoría del proceso. La mayoría de las universidades tradicionales (presenciales) [12]; [13] utilizan una plataforma LMS para apoyar los procesos de enseñanza/aprendizaje (en contraposición a la enseñanza a distancia, donde la plataforma adquiere un mayor protagonismo) [14]. En este contexto, una cultura de mejora continua implica necesariamente un análisis cuidadoso de los datos de uso. Los resultados de este estudio pueden utilizarse para mejorar determinados aspectos del LMS; planificar nuevas acciones que tengan un impacto positivo sobre la educación; y determinar el uso y nivel de aceptación de la plataforma. Además, de la confrontación de los datos recogidos con otras variables, se pueden derivar conclusiones de importancia. En el presente artículo se expone una metodología para la realización de tales análisis. En la sección II presentamos el caso particular de la Universidad de Valencia, describimos la metodología de análisis de datos utilizada y exponemos los resultados derivados de dicho análisis. En la sección III, detallamos las acciones realizadas en respuesta a tales resultados. En la sección IV describimos la estandarización de la metodología para facilitar su aplicación a cualquier otro LMS existente que proporcione estadísticas de uso. Finalmente, en la sección V se detallan las conclusiones del estudio y se esbozan algunas líneas futuras de investigación. II. ANÁLISIS DE DATOS La Universidad de Valencia (www.uv.es) es una de las mayores de España. En la actualidad ofrece formación presencial a aproximadamente 50.000 estudiantes en 18

ISSN 1932-8540 © IEEE

250

IEEE-RITA Vol. 4, Núm. 4, Nov. 2009

centros, donde se cursan alrededor de 1.500 asignaturas diferentes. Aunque en 2003 la universidad ya contaba con un importante despliegue de infraestructuras de TIC, el conjunto de aplicaciones disponibles (matrícula, archivos de datos, contabilidad, etc.) funcionaba aisladamente y el uso que se le daba dependía en gran medida del centro, área de investigación o departamento. Por esta razón, se decidió integrar todas estas aplicaciones en un único LMS. Tras realizar un estudio exhaustivo de las plataformas disponibles, la universidad se unió al Proyecto .LRN [15] y personalizó el producto adecuándolo a las necesidades específicas de la institución. Además de constituir un punto de acceso único para las aplicaciones existentes, este LMS ofrece importantes servicios útiles a la comunidad académica, que se añaden a aquéllos de los que ya se disponía. En particular, proporciona soporte a la enseñanza presencial proporcionando, entre otras, las siguientes funcionalidades para cada una de las asignaturas que se imparten: un repositorio de documentos, agenda de eventos, una sección de noticias, la posibilidad de crear foros, correo electrónico y servicios de chat, envío de notificaciones, entrega de tareas, un repositorio de objetos de aprendizaje, una aplicación para crear presentaciones web, weblogs, álbum de fotos y una sección de preguntas frecuentes. Tras dos cursos completos de utilización [16], se consideró que había finalizado el período de implantación. Por ello se decidió realizar un análisis en profundidad de las estadísticas de uso. Su objetivo principal era determinar el grado de utilización de la plataforma y su evolución en dicha fase de implantación, para poder diseñar acciones que mejorasen el proceso de enseñanza/aprendizaje en las futuras fases de consolidación y madurez de la plataforma. Además, se buscaba relacionar el uso de la plataforma con las posibles mejoras observadas en innovación y calidad educativa, utilizando para ello, datos y estadísticas objetivas, disponibles a través de distintos sistemas de información. Aunque existen diversos estudios sobre el uso de LMS [17] [18]y sus herramientas y módulos en las universidades [14], [19], [20], [21], [22], [23]; estudios de calidad docente [24], [25]; de innovación educativa [26], [27], [28], [29]; e incluso de calidad docente relacionándola con innovación educativa [30]; aún no se han realizado investigaciones que agrupen indicadores de uso de un LMS y los relacionen con innovación educativa ligada al EEES, y con la calidad de enseñanza conseguida. En este sentido, los análisis inferenciales ofrecen un alto potencial como herramienta para el estudio de estas relaciones. Si éstos se realizan de forma adecuada, sus resultados pueden constituir una fuente de información útil para determinar el plan de acción más apropiado, de acuerdo con los objetivos educativos y de financiación de la universidad. A. Medidas En nuestro caso particular, los análisis realizados utilizan medidas obtenidas para cada uno de los 18 centros que forman la universidad. Por tanto, se trata de datos poblacionales, e integran la información de la totalidad de alumnos y

profesores a ellos adscritos. En concreto, los datos de entrada se agrupan fundamentalmente en tres tipos: a) Variables de utilización del LMS. Estos datos se organizan en variables de uso general de la plataforma, como el número de profesores, alumnos o asignaturas; y variables de uso específico de sus herramientas más representativas (por ejemplo, documentos, foros, noticias, correo, actividades, etc.). b) Un conjunto de variables relacionadas con los programas de innovación educativa desarrollados en los diferentes centros de la universidad. Entre ellas figuran: el número de programas de innovación y los cursos incluidos en los mismos, así como el número de coordinadores, profesores y estudiantes que participan en estos programas. c) Indicadores generales de calidad educativa, como son: el índice de satisfacción de los alumnos con la docencia recibida (medido mediante cuestionarios), la tasa de abandonos, el número de admisiones en primera o segunda preferencia de centro de estudios, la tasa de aceptación de cada titulación, el índice de éxito de los estudiantes y el número de meses que los estudiantes pasan en el extranjero en virtud a programas internacionales de intercambio. Se han considerado estos indicadores de calidad educativa al tratarse de estadísticos ya recogidos y disponibles para el período de estudio, puesto que corresponden a los ÍDICES DE FIACIACIÓ LIGADA A OBJETIVOS fijados por la Generalitat Valenciana para las universidades de esta Comunidad. Todas estas variables incluyen datos poblacionales de dos cursos académicos completos (2004- 05, y 2005- 06). Además, en el caso de los indicadores generales de calidad, se recogieron medidas de un tercer curso (anterior al primero de implantación del LMS), con el fin de comprobar los cambios y mejoras en calidad con la introducción y uso de la plataforma. Asimismo, debe tenerse en cuenta que, aunque el primer conjunto de variables se obtiene directamente de los datos recogidos por la propia plataforma de aprendizaje, los otros dos grupos proceden de fuentes dependientes de otras aplicaciones (algunas de las cuales ya se habían integrado en el LMS). B. Método Las medidas descritas en el epígrafe anterior se utilizaron para obtener información útil de dos maneras. En primer lugar, realizamos un análisis descriptivo utilizando medidas estadísticas de resumen (como la suma, la media o la varianza de cada una de las variables) [31], principalmente sobre el primer grupo de variables. Tras ello, llevamos a cabo un análisis inferencial aplicando técnicas de análisis multivariante [32] sobre los tres grupos de variables. Nótese que los análisis seleccionados se realizaron teniendo en cuenta las características de las variables, en su mayoría cuantitativas, y cubrían diferentes objetivos: • En primer lugar, contrastar si existían asociaciones significativas entre variables y cuál era su magnitud. Para este propósito se utilizó el coeficiente de correlación lineal de Pearson r entre cada par de variables del originales. Este coeficiente presenta

ISSN 1932-8540 © IEEE

P. MORENO, M. AREVALILLO Y V. CERVERÓN: METODOLOGÍA PARA LA MEJORA CONTINUA DE LMS

•

valores en el intervalo[-1,1]: cero implica una relación nula, los valores negativos una asociación inversa, los positivos una asociación directa, y cuando los valores absolutos se acercan a los límites (-1 ó 1), el coeficiente señala una importante asociación entre las medidas estudiadas.. Los valores de este coeficiente (que cuantifica la asociación entre dos variables) al cuadrado se suelen utilizar como medida de la variación de una variable que puede explicarse a través de la otra. Teniendo en cuenta el tamaño muestral de los datos utilizados, se buscan las correlaciones significativas, es decir, con un valor de p inferior a 0,05. Este valor límite implica una probabilidad de error inferior al 5% al considerar una asociación entre variables como relevante. Los resultados obtenidos en estos análisis fueron especialmente útiles para señalar aquellas variables que proporcionan mayor información predictiva. Estos análisis se completaban con la obtención de pronósticos en las variables relevantes, que cuantifican la influencia de ciertos indicadores (que llamaremos predictores) sobre aspectos de interés, como puede ser la aplicación de técnicas de innovación educativa. Para ello se identificaron modelos de regresión lineal simple y múltiple que respondían a modelos significativos con p