Validez y fiabilidad de la rúbrica

VALIDEZ Y FIABILIDAD DE LA RÚBRICA Juan Jesús Torres Gordillo Universidad de Sevilla [email protected] Eduardo Alejandro Herrero Vázquez Universidad de Sevilla [email protected]

Palabras clave: Evaluación orientada al aprendizaje, competencias, rúbrica, validez, fiabilidad Resumen: Este trabajo presenta un estudio empírico sobre la validez y fiabilidad de las rúbricas de evaluación en el contexto universitario. Se recurrió a la técnica del juicio de expertos para su validación. Siete expertos participaron en el proceso a partir de un protocolo con ocho criterios. Para el cálculo de fiabilidad a través del alpha de Cronbach se tomó una muestra de 43 estudiantes del último curso de la licenciatura en Psicopedagogía de la Universidad de Sevilla. Se trabajó finalmente con 86 casos, ya que se consideraron las respuestas del profesor para cada uno de los estudiantes. El número de variables analizadas fue de 123. Los resultados revelan que la rúbrica es pertinente, oportuna, coherente, clara y estructurada. También que abarca un amplio margen de competencias profesionales, siendo aplicable a otros contextos y con las orientaciones suficientes. En conclusión, la rúbrica es un instrumento pedagógico válido y fiable para evaluar el logro de competencias en la universidad.

-1-

Validez y fiabilidad de la rúbrica

1. INTRODUCCIÓN Cuando se alude al término rúbrica de evaluación en la universidad son muchos los profesores que aún no han oído hablar de este concepto y, aún menos, de conocer las implicaciones que conlleva hacia el aprendizaje del estudiante. La rúbrica lleva funcionando en otros países, como EE.UU., desde hace casi dos décadas, aunque comenzó en las escuelas primarias por los años 60. Desde esta fecha ha ido creciendo el interés sobre su diseño, uso y aplicación en los sistemas de evaluación en las aulas universitarias. Compartimos la idea de Jönsson y Svingby (2007) al afirmar que el profesorado universitario comienza a asimilar el concepto de rúbrica como un instrumento de evaluación añadido al proceso de enseñanza-aprendizaje, a la vez que comienza a ser parte integrante del vocabulario profesional. En el contexto español, la perspectiva no es demasiado halagüeña, por lo que la rúbrica seguirá siendo, durante algunos años más, una motivación puntual del profesorado más comprometido con la mejora de los sistemas de evaluación del aprendizaje. Nos quedarán algunos estudios más y otras reformas metodológicas en la evaluación del aprendizaje universitario que posicione, tanto a estudiantes como a profesores, en una dinámica donde la evaluación orientada al aprendizaje (Carless, 2003, 2007) sea real y donde se empleen instrumentos que realmente evalúen el aprendizaje alcanzado por los estudiantes. Actualmente comienzan a aparecer estudios sobre el uso de rúbricas en la evaluación del aprendizaje en educación superior que focalizan su objetivo no solo en la cuantificación o calificación, sino en comprobar la fiabilidad y validez del instrumento. Así, desde que Jönsson y Svingby (ob. cit.) publicaran su trabajo de metaanálisis sobre la validez y fiabilidad de la rúbrica, varias han sido las experiencias que se han presentado posteriormente relacionados con la problemática (Reddy, 2011; Reddy y Andrade, 2010; Kerby y Romine, 2010; Rezaei y Lovorn, 2010; Stellmack et al., 2009; Cizek, 2009; Bessell et al., 2008). En su estudio, estos autores realizaron una revisión de la bibliografía existente hasta el momento donde encontrar evidencias acerca de la validez y fiabilidad del instrumento. Realizaron una búsqueda exhaustiva en las bases de datos más importantes (ERIC, Web of Science, etc.), tomando finalmente un total de 75 estudios relevantes. De entre los textos seleccionados, la fiabilidad de las rúbricas que aportan posee un bajo coeficiente de fiabilidad, e interpretaron que el uso de las rúbricas puede no ser suficientemente fiable para producir una evaluación sumativa. La mayor parte de estos trabajos se concentran en el panorama educativo internacional, aunque en los últimos años ya conocemos algunos trabajos en

-2-

Validez y fiabilidad de la rúbrica

nuestro contexto más próximo. Torres y Reyes (2011a) obtienen resultados positivos respecto al logro de competencias empleando la rúbrica como instrumento de evaluación, donde resultó un factor importante la asimilación por los estudiantes del concepto de evaluación orientada al aprendizaje. Otros estudios también señalan experiencias positivas sobre su empleo, al demostrar evidencias favorables en el logro de competencias de los estudiantes, incluso de nuevo ingreso (Rodríguez y Gil, 2011). Así, Torres y Reyes (2011b) entienden que en dichos contextos, la rúbrica hace considerar la evaluación como un punto de partida para la mejora del aprendizaje del estudiante al estar en constante crecimiento profesional. Sin embargo, estos estudios no ofrecen evidencias claras del estudio de la validez o fiabilidad. Este hecho, unido a la necesidad de disponer de herramientas fiables para la evaluación de competencias en el nivel universitario, sienta las bases en las que se fundamenta este trabajo. Tomando una definición básica de lo que se entiende por rúbrica, se considera como un “instrumento de evaluación basado en una escala cuantitativa y/o cualitativa asociada a unos criterios preestablecidos que miden las acciones del alumnado sobre los aspectos de la tarea o actividad que serán evaluados” (Torres y Perera, 2010) y que describe diferentes niveles de calidad en el producto y/o esfuerzo de los estudiantes desde excelente hacia muy mejorable (Andrade, 2000; Moskal, 2000). La rúbrica puede ser entendida como un intento de eliminar cualquier indicio de subjetividad en la valoración cualitativa de los productos de los estudiantes (Reddy, ob. cit.). Por este motivo, el estudio de la validez y fiabilidad puede ofrecernos un acercamiento hacia la forma en que realmente se consideran útiles, válidas y fiables para la evaluación del logro de competencias en el contexto académico universitario. Partiendo de estas ideas, el objetivo de este trabajo radica en estudiar la validez y fiabilidad de la rúbrica. Ambos aspectos deben ser considerados cada vez que se utilicen instrumentos de recogida de información sobre los estudiantes (Cizek, ob. cit.). Aunque ni la validez ni la fiabilidad dependen del tipo de rúbrica, sí podría decirse que una rúbrica analítica, holística o de tareas específicas tiene el potencial de producir resultados válidos y fiables si dichas herramientas poseen tales características (Moskal, ob. cit.).

2. MÉTODO En el estudio participaron 43 estudiantes, pertenecientes a un grupo clase del último curso de la licenciatura en Psicopedagogía de la Universidad de Sevilla, durante el curso 2010-11. Se empleó una rúbrica analítica con la que debían evaluar las competencias desarrolladas durante el desarrollo de la asignatura troncal Modelos de Orientación e Intervención Psicopedagógica. La

-3-

Validez y fiabilidad de la rúbrica

metodología de la asignatura está basada en el aprendizaje basado en proyectos colaborativos, donde la competencia principal es adquirir la capacidad para diseñar, implementar y evaluar proyectos de intervención psicopedagógica en un contexto de aplicación real. Cada estudiante cumplimentó la rúbrica, donde existían partes de autoevaluación y también algún criterio para la evaluación por pares. Esta evaluación por iguales se fundamenta en la presentación del proyecto que cada equipo de estudiantes realiza en el aula frente a todo el grupo clase. A su vez, ello era igualmente evaluado por el profesor, empleando los mismos criterios, la misma rúbrica. Para comprobar la validez de la rúbrica se atendió al juicio de expertos. Participaron seis profesores universitarios con amplia experiencia en investigación sobre evaluación universitaria. Se les presentó un protocolo de validación con ocho criterios para comprobar el grado de ajuste de la rúbrica en función de una escala de puntuación que iba de 0 (mínima) a 5 (máxima) (ver tabla 1): Tabla 1. Protocolo de validación 1. PERTINENCIA: La rúbrica es interesante de cara a favorecer una evaluación que prepara profesionalmente al alumnado al integrarse en el proceso de aprendizaje en el contexto universitario.

Puntuación (de 0 a 5)

Comentarios y sugerencias: 2. COHERENCIA: La rúbrica se ajusta a las exigencias/competencias necesarias para el futuro profesional del alumno.

Puntuación (de 0 a 5)

Comentarios y sugerencias: 3. ESTRUCTURACIÓN: La estructura de la rúbrica se capta con facilidad, permitiendo identificar la secuencia criterial y los niveles de calidad competencial que el alumno posee.

Puntuación (de 0 a 5)

Comentarios y sugerencias: 4. CLARIDAD: La descripción detallada de los niveles progresivos de calidad que se realiza en la rúbrica está redactada de tal modo que resulta fácil de comprender.

Puntuación (de 0 a 5)

Comentarios y sugerencias: 5. SUFICIENCIA: La rúbrica aporta la información y orientaciones necesarias para su aplicación por el alumnado universitario.

Puntuación (de 0 a 5)

Comentarios y sugerencias: 6. APLICABILIDAD: La rúbrica podría ser aplicada en otras asignaturas y ramas del conocimiento, teniendo en cuenta los condicionantes contextuales de la enseñanza universitaria. Comentarios y sugerencias:

-4-

□ □ □ □ □

Puntuación (de 0 a 5)

□

Validez y fiabilidad de la rúbrica

7. COBERTURA: La rúbrica abarca un amplio margen de competencias profesionales que engloban el conjunto de aquellas que el estudiante universitario debe adquirir para su ejercicio profesional futuro. Comentarios y sugerencias: 8. OPORTUNIDAD: La rúbrica permite avanzar hacia planteamientos docentes próximos al escenario definido para el sistema universitario en el EEES en torno a la Evaluación Orientada al Aprendizaje.

Puntuación (de 0 a 5)

□

Puntuación (de 0 a 5)

Comentarios y sugerencias:

□

Por otro lado, para el cálculo de la fiabilidad se tuvieron en cuenta las respuestas otorgadas en la rúbrica por los 43 estudiantes al finalizar el proceso de evaluación de la asignatura, así como las correspondientes del profesor para cada uno de esos estudiantes. Por tanto, contamos con 86 casos para un total de 123 variables analizadas, estructuradas en bloques. Se recurrió al programa SPSS para el cálculo del coeficiente Alpha de Cronbach. Los bloques en los que se estructura la rúbrica evaluada son los siguientes:  Trabajo de Aula (trabajo autónomo y de grupo).  Aplicación de conceptos teóricos a la intervención realizada.  Diseño y ejecución del proyecto: aspectos formales.  Fundamentación teórica sobre la temática específica del proyecto.  Diseño y ejecución del proyecto: análisis del contexto.  Diseño y ejecución del proyecto: diseño de la intervención.  Diseño y ejecución del proyecto: resultados de la intervención.  Diseño y ejecución del proyecto: control de la intervención.  Diseño y ejecución del proyecto: evaluación del proyecto de intervención.  Uso tecnológico.

-5-

Validez y fiabilidad de la rúbrica

3. RESULTADOS Los resultados de las respuestas de los expertos se resumen en la tabla 2: Tabla 2. Resultados de la validación de expertos (frecuencias en %) Escala de puntuación Criterios Pertinencia

0 0

1 0

2 0

3 0

4 28,6

5 71,4

Coherencia

0

0

0

0

57,1

42,9

Estructuración

0

0

28,6

0

42,9

28,6

Claridad

0

0

14,3

14,3

42,9

28,6

Suficiencia

0

14,3

14,3

28,6

28,6

Aplicabilidad

0

0

28,6

28,6

Cobertura

0

0

14,3 14,3

14,3 28,6

28,6

42,9

Oportunidad

0

0

0

14,3 0

14,3

85,7

En términos generales, podemos afirmar que los ocho criterios evaluadores logran una alta puntuación por los expertos. Los dos criterios más valorados son la pertinencia y, sobre todo, la oportunidad. Por otro lado, la suficiencia ha sido el criterio menos valorado, aunque los valores más positivos (4 y 5) alcanzan casi el 60% de las puntuaciones. Respecto al cálculo del alpha de Cronbach, los resultados nos muestran que la rúbrica posee una fiabilidad muy alta (α = 0,949). La correlación media de las puntuaciones otorgadas en las 123 variables, por los 86 casos que componen la muestra, determina que existe una alta consistencia interna.

4. CONCLUSIONES La rúbrica es un instrumento pedagógico válido y fiable para evaluar el logro de competencias en la universidad. Los resultados nos han mostrado que la rúbrica evaluada es válida, considerando el juicio de los expertos. La rúbrica es una herramienta de evaluación que prepara profesionalmente al estudiante y que permite avanzar hacia los planteamientos pedagógicos propios del enfoque de la evaluación orientada al aprendizaje (Padilla y Gil, 2008; Rodríguez e Ibarra, 2011), estando así en la línea que marca el actual contexto universitario. Es coherente por cuanto se ajusta a las competencias necesarias o exigidas en el futuro profesional del estudiante, recogiendo un amplio margen de lo que deberá desarrollar en dicho ejercicio profesional, y con una estructura y redacción fáciles de entender.

-6-

Validez y fiabilidad de la rúbrica

Otros aspectos positivos, aunque revisables en función de los diferentes contextos universitarios, son que puede ser igualmente aplicable en otros escenarios, o que necesita ajustes en las orientaciones que ofrece para su uso. La rúbrica es igualmente fiable, habiendo obtenido un coeficiente de fiabilidad muy alto. Esto otorga una consistencia interna que nos asegura que las puntuaciones no van a variar en función del instrumento. En este sentido, nuestra rúbrica asume el planteamiento de Cizek (2009) o de Moskal (2000) respecto a las dos condiciones clave que debe poseer cualquier instrumento de evaluación: la validez y la fiabilidad. Esto nos asegura unos resultados válidos y fiables en los procesos de evaluación del logro de competencias en el contexto universitario.

5. REFERENCIAS BIBLIOGRÁFICAS Andrade, H. (2000). Using rubrics to promote thinking and learning. Educational Leadership, 2000, 57, 5, 13-13-18.Andrade, H. G. (2005). Teaching with rubrics: The good, the bad, and the ugly. College Teaching, 53(1), 27-27. Bessell, A., Burke, M., Plaza, M., Lee, O., & Schumm, J. (2008). The educational reform rating rubric: Example of a new tool for evaluating complex school reform initiatives. Field Methods, 20(3), 283-283-295. Carless, D. (2007). Learning-oriented assessment: Conceptual bases and practical implications: Journal of the association for programmed learning ETTI. Innovations in Education and Teaching International, 44(1), 57-66. Carless, D. (2003). Learning-oriented assessment. Paper presented at the Evaluation and Assessment Conference, University of South Australia, Adelaide, November 25, 2003. Cizek, G. (2009). Reliability and validity of information about student achievement: Comparing large-scale and classroom testing contexts. Theory into Practice, 48(1), 63-71. Jönsson, A., & Svingby, G. (2007). The use of scoring rubrics: Reliability, validity and educational consequences. Educational Research Review, 2(2), 130-144. Kerby, D., & Romine, J. (2010). Develop oral presentation skills through accounting curriculum design and course-embedded assessment. Journal of Education for Business, 85(3), 172-172-179. Moskal, B.M. (2000). Scoring rubrics: what, when and how? Practical Assessment, Research & Evaluation, 7 (3).

-7-

Validez y fiabilidad de la rúbrica

Padilla, M.T. y Gil, J. (2008). La evaluación orientada al aprendizaje en la educación superior: condiciones y estrategias para su aplicación en la docencia universitaria. Revista Española de Pedagogía, 66(241), 467-486. Reddy, M.Y. (2011). Design and development of rubrics to improve assessment outcomes. A pilot study in a master's level business program in India. Quality Assurance in Education, 19(1), 84-104. Reddy, M.Y., & Andrade, H. (2010). A review of rubric use in higher education. Assessment & Evaluation in Higher Education, 35(4), 435-448. Rezaei, A.R., & Lovorn, M. (2010). Reliability and validity of rubrics for assessment through writing. Assessing Writing, 15(1), 18-39. Rodríguez, J. y Gil, J. (2011). Las autoevaluaciones y las rúbricas como instrumentos reguladores del aprendizaje. En Grupo EvalFor (Ed.). Experiencias innovadoras en el aprendizaje a través de la evaluación. EvalTrends 2011: Evaluar para Aprender en la Universidad, 131-145. Cádiz: Bubok Publishing. Rodríguez, G. e Ibarra, S. (Eds.) (2011). E-Evaluación orientada al eAprendizaje estratégico en Educación Superior. Madrid: Narcea. Stellmack, M., Konheim-Kalkstein, Y., Manor, J., Massey, A., & Schmitz, J. (2009). An assessment of reliability and validity of a rubric for grading APA-style introductions. Teaching of Psychology, 36(2), 102-102-107. Torres, J.J. y Perera, V.H. (2010). La rúbrica como instrumento pedagógico para la tutorización y evaluación de los aprendizajes en el foro online en educación superior. PíxelBit. Revista de Medios y Educación, 36, 141-149. Torres, J.J. y Reyes, E.M. (2011a). Entendiendo la evaluación orientada al aprendizaje desde las bancas del aula. En Grupo EvalFor (Ed.). Experiencias innovadoras en el aprendizaje a través de la evaluación. EvalTrends 2011: Evaluar para Aprender en la Universidad, 425-436. Cádiz: Bubok Publishing. Torres, J.J. y Reyes, E.M. (2011b). Las rúbricas en la evaluación del ABP. En Grupo EvalFor (Ed.). Experiencias innovadoras en la sistematización de la evaluación. EvalTrends 2011: Evaluar para Aprender en la Universidad, 337-350. Cádiz: Bubok Publishing.

-8-