An application of regression models with student ratings in determining course effectiveness Chang T-Sheng (2000) Annual Meeting of the American Educational Research Association

SEMINARIOS DE EVALUACIÓN DE LA EFECTIVIDAD EN LA ENSEÑANZA Prof. Adj. Roberto Daniel Cáceres Bauer Unidad de Evaluación, Dep. de Educación Médica, UdelaR.

INTRODUCCIÓN

PROPÓSITO DEL TRABAJO. Desarrollar un modelo de regresión lineal múltiple que permita identificar fuentes deseadas y no deseadas de efectos sobre los puntajes estudiantiles sobre la efectividad en la enseñanza. Fuentes no deseadas -> No relacionadas con la Efectividad en la enseñanza. Fuentes deseadas -> Relacionadas con la Efectividad en la enseñanza.

IMPORTANCIA DEL PROBLEMA ABORDADO y APLICACIONES. • Control de sesgos. “Student Ratings” son sesgados en la medida que se vean afectados por variables no relacionadas con la efectividad en la instrucción. • Control de “generosidad excesiva”: evaluaciones más positivas de lo que corresponde debido a diferencias objetivas en la efectividad en la enseñanza. • Mejoras en la interpretación y uso de los puntajes.

FUNDAMENTOS Y MARCO CONCEPTUAL

“value-Added Approach” (Mendro, Webster,Bembry, & Orsak, 1995)

“value-Added Approach” • Se

determinan resultados de puntajes estudiantiles para una serie de variables explicativas. • La efectividad se mide considerando cuanto los puntajes estudiantiles están por encima o por debajo del valor esperado de acuerdo al modelo aplicado.

VARIABLES EXPLICATIVAS

Características del Curso 1. Efecto pequeño a modera de la variable “elegibilidad” (Marsh & Roche, 1997; Scherr & Scherr,1990). “interés del estudiante” puede ser una variable interviniente entre “elegibilidad” y puntajes. 2. Efecto positivo del “Nivel del Curso” (Chang, 1997; Marsh, 1987). “Entusiasmo del estudiante” puede ser una variable interviniente. Cuando se controlan las variables “tamaño de la clase”, “nota esperada” y “elegibilidad” se atenua el efecto de “Nivel de Curso” (Feldman, 1978) . 3. “Dificultad del curso” se ha encontrado que tiene un efecto negativo (Greenwald y Gillmore), o positivo (Marsh, 1980; Franklin, Thell y Ludlow, 1991). “Nivel del Curso” y “Edad del Estudiante” pueden actuar como factores de confusión para la variable “Dificultad del Curso”(Wachtell,1998).

Características del Curso 4. “Tamaño de la Clase” : • Tiene un efecto negativo (McKeachie,1990); • Tiene un efecto específico sobre 2 dimensiones de la efectividad en la instrucción, “interacción de grupo” y “relación de intrucción” (Marsh & Dunking, 1992); • Efecto-U (Feldman, 1984). Centra & Creech (1976) clases con tamaños entre 35 y 100, peores puntajes, que tamaños entre 16 y 35 o mayores que 100. 5. Diferencias entre cursos de: Primer Año, Segundo Año, entre Segundo y último año, último año. 6. Diferencias entre cursos de pregrado y Postgrado.

Características de los Estudiantes. 1. “Interes Previo” tiene un efecto positivo (Prave & Bairl, 1993); 2. “Nota Esperada” tendría un efecto positivo moderado (Braskamp & Ory, 1994; Marsh & Dunkin, 1992; Marsh, 1987); 3. “Sexo”: se han encontrado efectos positivos, negativos o bien no se ha encontrado efectos, 4. “Congruencia del Sexo”: efecto positivo pequeño (Centra, 1993; Feldman, 1993). 5. “Años en la Universidad”

Características de los Docentes. 1. “Grado o Rango” tiene un efecto positivo. Varia cuando se consideran dimensiones especificas de la efectividad (Feldman, 1983); 2. “Edad” tiene un efecto negativo. Varia cuando se consideran dimensiones específicas de la efectividad (Feldman, 1983);

Características de los Docentes. 3. “Sexo” no efecto, o mayores puntajes para hombres (Feldman, 1992, 1993); 4. “Congruencia del Sexo”: efecto positivo pequeño (Centra, 1993; Feldman, 1993).

Características de los Docentes. 5. “Estandares de Evaluación” Se han encontrado diferencias entre grupos de estudiantes que recibieron notas “menor a las esperadas”, “igual a las esperadas” y “mayores a las esperadas”(Bidgeman, 1986; Owei, 1985). 6. “Diferencia entre la nota esperada y la recibida”

Evaluación de cursos: “Student Ratings of Instruction form” 1. Los estudiantes han observado cercanamente varios docentes;

recientemente

y

2. Saben cómo los estudiantes piensan y sienten; 3. Se obtienen evaluaciones confiables y estables con mayor validez que con otras aproximaciones tales como: • Evaluaciones administrativas; • Evaluaciones por pares; • Autoevaluaciones; • Visitas de clase.

METODOLOGÍA

Muestra. 114 cursos de pregrado, en Taiwan, 1999.

Evaluación del Curso.

1. “Student Ratings of Instruction form”; 2. 13 items 3. Escala Likert de 5 puntos.

Variables explicativas usadas en el modelo 1. Entusiasmo de los estudiantes; 2. Participación; 3. Nota esperada; 4. Estándar de Evaluación; 5. Dificultad del curso. 6. Otras variables: “nivel del curso”, “tipo de curso”, “concentración”, “tamaño de clase”, “género del docente”, “rango del docente”, “nivel académico del docente”,

Variables Respuesta. Promedio por grupo de los puntajes.

Resultados

Residuo = “ puntaje no ajustado” – “puntaje esperado” Puntaje T: Residuo se pone en una escala con media 50 y desvío 10.

Discusión y Conclusiones.

Las variables: 1. Entusiasmo de los estudiantes 2. Participación 3. Nota Esperada 4. Estándar de Evaluación Explican el 80% de la varianza de los puntajes.

Discusión: •

Las variables 1 y 2 realmente afectan el proceso de aprendizaje. No son características de la instrucción en sí, pero no se pueden interpretar como sesgos. Si existe la posibilidad que sean fuente de evaluaciones injustas.

•

En un trabajo previo, Ames y Lau (1979) mostraron, en su estudio, que al controlar el efecto de la forma de atribución de causas del éxito y fracaso en el curso, la “Nota Esperada” no tiene un efecto estadísticamente significativo. Una hipótesis puede ser que las variables 3 y 4 sirven como indicadores de diferencias en los procesos psicológicos involucrados en la evaluación, en particular los considerados por el modelo atribucional.

Discusión: •

Los resultados encontrados muestran que en el estudio un 80% de la varianza de los puntajes puede explicarse por variables de contexto en el cual se produce el proceso de aprendizaje y las evaluaciones estudiantiles de la efectividad instruccional. Por lo cual, puede no ser justo realizar evaluaciones basadas en los puntajes no corregidos.

•

El uso de esta aproximación puede no obstante llevar a cabo un proceso de evaluación “justo” donde se ha removido el efecto de variables que introducen sesgos o de variable de contexto relacionadas con el proceso de enseñanza aprendizaje, pero que no responden a diferencias objetivas en la instrucción.

Gracias.