Acreditación de carreras de pedagogía

Resumen del trabajo de investigación en el CEPPE Lorena Meckes Macarena Domínguez Ernesto San Martín Martín Bascopé Junio 2012

Instancias de aseguramiento de la calidad de la formación de profesores Hitos en el aseguramiento de la calidad de la formación de profesores

Prueba INICIA Acreditación Proceso de formación

Ingreso a al ejercicio profesional

Selección Inicial - Los sistemas educativos con elevados resultados establecen altas consecuencias en estos hitos. Son selectivas al ingreso, tienen procesos de acreditación confiables y con altas consecuencias, ponen evaluaciones habilitantes antes del ingreso a la profesión.

La acreditación de las carreras de Pedagogía:  Rigurosidad del proceso ¿a la altura de un proceso de evaluación con altas consecuencias y utilizado para rendición de cuentas? • Validez • Confiabilidad y estandarización de procedimientos

 Sus resultados: ¿son consistentes con otros indicadores de calidad de la formación de profesores (INICIA)?: • Relación años de acreditación y resultados finales • Relación años de acreditación y contribución de la carrera al logro de sus estudiantes.

Validez: ¿Qué se evalúa? • Se (doble) codificaron 39 acuerdos de acreditación de carreras de Pedagogía Básica vigentes en Julio del 2011. • Referencias de los acuerdos de acreditación a los criterios e indicadores considerados indispensables: – cobertura desigual, predominan condiciones de operación – no todos los criterios e indicadores requieren estar aprobados para recibir acreditación Porcentaje promedio de Criterios (11) e Indicadores (57) cubiertos en los acuerdos de acreditación de las carreras de Pedagogía Básica

Fuente: Dominguez , Bascopé , Lorca, Pozo,(2012) Procesos de acreditación de pedagogías: un estudio del quehacer de las agencias. Financiado por el CNED. En prensa

¿Neutralidad o sesgos en selección agenciainstitución? -

90% de las carreras con 3 sedes o más acreditadas por las agencias 3y4

-

76% de las universidades privadas y 82% de los I.P. acreditados por la agencia 3 y 4.

-

91% de las instituciones no selectivas acreditadas con las agencias 3 y 4.

-

80% de los acuerdos de la agencia 5 con universidades selectivas

-

79% de las carreas pertenecientes a facultades con baja matrícula acreditadas por las agencias 3 y 4

-

Agencias 1, 2 y 6: sobre el 85% de sus acuerdos realizados con universidades CRUCH.

Fuente: Dominguez , Bascopé , Lorca, Pozo, Carrillo, Olave (2012) Procesos de acreditación de pedagogías: un estudio del quehacer de las agencias. Financiado por el CNED y CIE 01, en prensa

¿Procedimientos estandarizados o discrecionales? Revisión documental: – Contradicción respecto de la cantidad mínima de años de acreditación ¿1 ó 2 años? – Se establecen capacitaciones obligatorias, pero no se menciona explícitamente su contenido ni su frecuencia. – No aparece información acerca de cómo realizar la visita a la unidad en el caso que haya distintas sedes. – El documento «Operacionalización criterios de evaluación en procesos de acreditación» solo define tramos de años de acreditación para una carrera: 1 a 3, 4 a 5, 6 a 7. – No existe ningún documento que permita valorar o ponderar cuál de las dimensiones o criterios de evaluación tiene un mayor peso en la decisión de acreditación. – No es claro el procedimiento después del tercer veto de los pares evaluadores. – No existe una explicación acerca de cómo el Consejo de Educación debe considerar los antecedentes para la acreditación. (Dominguez , Bascopé, Carrillo y Olave, en prensa)

VER DOCUMENTOS OFICIALES REVISADOS

¿Procedimientos estandarizados o discrecionales? • Entrevistas a profesionales de las agencias y pares evaluadores (Dominguez , Bascopé, Carrillo y Olave, En prensa): Muestra de entrevistas: Agencia / Cargo Agencia 3 Agencia 4 Agencia 5 Agencia 6 Total

Profesional

Par Evaluador

1 1 1 1 4

4 4 3 4 15

– Baja exigencia de los tramos (niveles de logro) descritos en la rúbrica del documento “Operacionalización criterios de evaluación en procesos de acreditación”: • En palabras de un alto ejecutivo de la agencia 3: «el máximo de años es lo mínimo que se le puede exigir a una institución" (E.11)

– No existe acuerdo entre las agencias sobre la importancia o jerarquía de los criterios: • Algunos mencionan la importancia de una dimensión específica y en otras agencias se consideran todas por igual.

¿Procedimientos estandarizados o discrecionales? • Entrevistas a profesionales de las agencias y pares evaluadores. – Diferencias en la selección de las sedes a visitar Acreditación multi-sede • “Bueno, la acreditación es una sola. Nos fijamos que sean más o menos de la misma calidad (…) que sean parecidas, que haya un intercambio, un control, pero que no sea un gallinero una y un palacete otra” (E. 15). Agencia 6.

– Métodos de selección de los pares evaluadores: • Se solicita un «perfil» de par evaluador a la carrea (Agencias 3 y 5) • Se genera un listado para que la carrera elija y en caso de rechazo se le solicita a la carrera que proponga 5 posibles pares (Agencia 6)

Acreditación-INICIA Preguntas ¿Son consistentes los dos indicadores de calidad disponibles? ¿Producen mejores resultados de egreso aquellas carreras con mejor calificación en su acreditación? ¿Son neutrales las agencias en este proceso o juegan algún rol?

A simple vista los resultados no concuerdan

Fuente: CEPPE elaboración propia

Fuente: CEPPE elaboración propia

Comparación Acreditación y resultados INICIA  Se observaron carreras de Pedagogía Básica de Universidades tradicionales, privadas e Institutos profesionales.  Se seleccionaron aquellas en las que más de un cuarto de sus egresados rindió la prueba INICIA.  Representatividad de la muestra.  Año 2009: información sobre el 54% (N=24) de las carreras de pedagogía básica con un total de 1074 alumnos que corresponden a cerca del 48% de los egresados de estos programas.  Año 2010: información sobre el 57% (N=26) de las carreras de pedagogía básica del país con un total de 1098 alumnos que corresponde al 52% de los egresados de las instituciones muestreadas.

Variación del promedio de puntajes por años de acreditación Prueba INICIA de conocimientos disciplinarios 2009 57%

60%

50%

51%

49%

53%

45%

No acreditadas 2 años 3 años

40%

4 años 30%

5 años

% logro Prueba de conocimientos disciplinarios 2009 Fuente: CEPPE elaboración propia

- Las carreras con 3 años de acreditación mostraron mejores resultados, en promedio, en el dominio de sus egresados en las disciplinas que enseñarán, que las que tienen 4 ó 5 años de acreditación. - No hay diferencias significativas entre las carreras no acreditadas y las acreditadas por 2 años. - No necesariamente egresan alumnos con mejores resultados en sus pruebas finales de carreras con más años de acreditación (esta situación se mantiene en las pruebas del año 2010), tanto para conocimientos disciplinarios como pedagógicos.

Resultados finales v/s proceso de formación  La acreditación actualmente evalúa el proceso de formación y no sus resultados.

 Si la acreditación sólo considera procesos y no los resultados de sus egresados, entonces las diferencias observadas podrían ser esperables.

¿Qué pasa si comparamos carreras con estudiantes de rendimiento PSU similar?  Igualadas las condiciones iniciales, los resultados de los egresados se debieran encontrar más relacionados con el proceso formativo.

“Valor agregado” y años de acreditación de la carrera - Las carreras con resultados sobre lo predicho por la PSU no tienen mas años de acreditación - No se distinguen agencias que tengan el comportamiento esperado Fuente: Dominguez, Bascopé, Meckes , San Martín (2012) ¿Producen mejores resultados las carreras de pedagogía básica con más años de acreditación?, En Prensa

Resultado controlando por las condiciones iniciales de los estudiantes Puntaje en las pruebas INICIA 2010 de los egresados de carreras con puntaje PSU promedio entre 500 y 550 puntos 60%

50%

57%

56%

54%

50%

49%

52%

47% 44%

40%

No acreditadas

3 años 4 años 5 años

30% Prueba de conocimientos disciplinarios 2010

Prueba de conocimientos pedagógicos 2010

- Carreras con alumnos de desempeño inicial similares y con más años de acreditación, no necesariamente logran que sus alumnos obtengan mejores resultados en la prueba INICIA. Por ejemplo, para el mismo nivel de estudiantes, carreras con 5 años de acreditación logran resultados más bajos al egreso que carreras con 3 ó 4 años.

-

-

Grupo 1: instituciones inefectivas Grupo 2: Instituciones neutras Grupo 3: Instituciones efectivas

- La acreditación institucional se relaciona positivamente con carreras más efectivas  a mayor rendimiento mayor promedio de años de acreditación.

Consistente con resultados de otro estudio (MIDE-UC).

Fuente: Manzi et al 2011, FONIDE

- La acreditación de pregrado no ordena sus carreras según el rendimiento. Fuente: Manzi et al 2011, FONIDE

Conclusiones  Se analizaron 2 mediciones de calidad diferentes entre sí.  La métrica de la acreditación (entre 0 y 7 años), no se correlaciona claramente con los resultados de los egresados de cada carrera.  Métrica única en el mundo y compleja por la cantidad de posibles resultados

 No existe coherencia entre ambas mediciones y se reciben señales contradictorias :  Posibles hipótesis: • Debido a que el proceso de acreditación no es específico en temas relacionados con la formación de profesores. • Debido a la ausencia de criterios normados y estandarizados para la definición de los años y resultados de la acreditación.

 Ambas mediciones son muy importantes para la regulación y para obtener información acerca del proceso de formación de profesores.  La solución no es sustituir una por otra, lo que debe hacerse es perfeccionar ambas.

¿Cómo mejorar ambas medidas?  Enriquecer lo que se evalúa en los exámenes de egreso.  Mejorar los procesos de acreditación, que pueden estar explicando el comportamiento errático de la medida utilizada para acreditar a las carreras (de 0 a 7 años) :     

Estandarizar y supervisar sus procedimientos. Asignar aleatoriamente agencias a carreras. Evitar conflictos de interés. Considerar criterios específicos a la formación de profesores. Incluir criterios de resultados en la acreditación.

Criterios de proceso específicos  La investigación contemporánea sobre acreditación de carreras de profesores señala algunas características que se esperaría de un programa de pedagogía básica, que podrían ser incorporadas a los criterios para la acreditación de las pedagogías:  Relación y coherencia entre la malla curricular con estándares o competencias de egreso esperados para los futuros profesores;  Integración entre disciplina y didáctica específica de la disciplina;

 Profunda y temprana integración de experiencias prácticas reales en el ámbito escolar.  Calificación del cuerpo académico que considere su experiencia actual en aula y su vinculación con el mundo escolar;  Coherencia de las formas de evaluación de los alumnos durante la formación y al egreso (acorde a los estándares nacionales).

Recomendaciones  Normas y procedimientos estandarizados (en específico para carreras de pedagogía):  La asignación de años.  La redacción de los acuerdos de acreditación.  La asignación de los pares evaluadores y constitución de la visita técnica a la institución formadora.  Los casos de las carreras con muchas sedes.

Muchas gracias

Criterios de evaluación Dimensión 1. Perfil del egresado y resultados

2. Condiciones de operación

3. Capacidad de autorregulación 3 dimensiones

Criterio 1.1 Perfil profesional del educador

Indicadores 5

1.2 Estructura curricular 1.3 Resultados del proceso de formación 1.4 Efectividad del proceso de enseñanza aprendizaje 1.5 Vinculación con el medio 2.1 Estructura organizacional, administrativa y financiera 2.2 Recursos humanos 2.3 Infraestructura y recursos para el aprendizaje 3.1 Propósitos 3.2 Integridad 3.3 Autoevaluación 11 criterios

8 3 5 1 11 7 2 4 5 6 57 indicadores

VOLVER

Documentos oficiales revisados          

1) Ley 20.129 (2006) 2) Normas y procedimientos acreditación de pregrado (2010) 3) Criterios de evaluación de carreras de educación (2009) 4) Resolución exenta 165-3 (2007) 5) Operacionalización criterios de evaluación en procesos de acreditación (2010) 6) Sistema de supervisión y seguimiento agencias (2010) 7) Términos de referencia concurso público pares evaluadores (s.f.) 8) Manual de pares evaluadores (2008) 9) Manual para el desarrollo de procesos de autoevaluación Carreras y programas de pregrado (2008) 10) Criterios generales de evaluación para carreras profesionales (s.f.). VOLVER

Resultados para distintas muestras Tabla A10 Regresión múltiple: Logro en la Prueba de conocimientos disciplinarios 2010

VARIABLES PSU Años de acreditación Constante

Observaciones R-cuadrado Número de Agencias

(1)

(2)

(3)

(4)

(5)

muestra_25%

muestra_30%

muestra_40%

muestra_50%

muestra_60%

0.00135***

0.0014***

0.0014***

0.0014***

0.0015***

(0.000119)

(0.000129)

(0.000129)

(0.000156)

(0.00016)

-0.00415

-0.00569

-0.00569

-0.00715

-0.0167**

(0.00501)

(0.00514)

(0.00514)

(0.00608)

(0.00706)

-0.141**

-0.148**

-0.148**

-0.156**

-0.190**

(0.0571)

(0.0624)

(0.0624)

(0.0730)

(0.0723)

26

24

24

21

18

0.862

0.857

0.857

0.842

0.878

5

5

5

4

4

Fuente: Dominguez, Bascopé, Meckes , San Martín (2012) ¿Producen mejores resultados las carreras de pedagogía básica con más años de acreditación?, En Prensa

VOLVE R

Fuente: Dominguez, Bascopé, Meckes , San Martín (2012) ¿Producen mejores resultados las carreras de pedagogía básica con más años de acreditación?, En Prensa

VOLVE R

Importancia del área de educación en la acreditación de pregrado Proporción de carreras ingresadas al sistema de acreditación del total de carreras vigentes 2010 80% 70%

69%

60% 50%

40% 30%

24%

20% 10%

11%

27% 21%

21% 13%

13%

13%

10% 0%

Fuente: elaboración propia, BD CNA

Fuente: elaboración propia, BD CNA

Diferencias en los resultados por agencia Puntaje en la prueba INICIA de conocimientos disciplinarios 2010 según años de acreditación por agencia acreditadora 47% 46%

Agencia 3

62%

54%

Agencia 2

65%

No acreditadas 2 años

50%

3 años

51%

4 años 44%

Agencia 1 30%

40%

5 años

52% 53% 51%

50%

60%

70%

Fuente: CEPPE elaboración propia

- Se muestran las 3 agencias vigentes, al año 2011, que han acreditado carreras de Pedagogía Básica. - Entre las carreras de 3 años o más no se encuentran diferencias significativas que muestren mejor rendimiento de los estudiantes egresados de carreras acreditadas por más años. Salvo en la Agencia 3, en donde se encuentran diferencias en el sentido contrario al esperado. - En general, en el año 2009 y 2010 no se pudo distinguir coherencia entre años de acreditación y resultados de los egresados, en ninguna agencia acreditadora.

Efectividad de las instituciones en la Prueba INICIA de Conocimientos Disciplinarios

Fuente: Manzi et al 2011, FONIDE