El uso de una bitácora de preguntas abiertas. Posibilidades para evaluar el desempeño docente 14 de marzo de 2015

El uso de una bitácora de preguntas abiertas. Posibilidades para evaluar el desempeño docente Ana Cecilia Alvarez Loera* Maestra en Investigación Educativa, Instituto Nacional para la Evaluación de la Educación, México. [email protected] Luis Horacio Pedroza Zuñiga Maestro en Investigación Educativa, Universidad Autónoma de Baja California, México. [email protected]

PALABRAS CLAVE: evaluación docente, práctica docente, currículo implementado. EJE TEMÁTICO: Innovaciones en evaluación y medición del desempeño docente y directivo.

Resumen

La evaluación del desempeño docente se reconoce como un elemento para la mejora de los sistemas educativos. Los instrumentos para medir las prácticas suelen ser altamente costosos. En este trabajo se documenta la experiencia de emplear una bitácora de preguntas abiertas para evaluar la congruencia de la práctica docente con la propuesta curricular oficial. La bitácora permite indagar tres dimensiones de la práctica docente: propósitos formativos, presencia de los enfoques pedagógicos y demanda cognitiva de las actividades. Los resultados provienen de una muestra de 2,500 docentes del nivel de educación preescolar en México. Se discute el uso potencial de la herramienta para evaluar dimensiones complejas de la práctica docente en evaluaciones de desempeño a gran escala.

2

*Autor principal

INTRODUCCIÓN Una premisa actual es que la calidad de un sistema educativo tiene como base la calidad de los docentes. Los sistemas educativos con altos desempeño ponen particular énfasis en la selección de los aspirantes a la docencia, capacitación y buenos salarios iniciales (Barber & Mourshed, 2008).En América Latina las políticas incluyen la evaluación de postulantes, la evaluación de la formación inicial y evaluación del desempeño profesional. En México, hasta hace poco, la evaluación de docentes se realizaba a través de las direcciones de los centros escolares o de las supervisiones de distinto nivel del sistema educativo y se aplicaban exámenes de conocimientos curriculares, cuya elaboración y procesamiento de resultados estaba a cargo de federación. Esta evaluación estaba más ligada al progreso en la carrera docente y menos a un mejoramiento de la práctica profesional (Shulmeyer, 2002). La reciente reforma educativa México tiene como uno de sus componentes, la creación del Servicio Profesional Docente, que da lugar a la evaluación para el ingreso, promoción, reconocimiento y permanencia de docentes y directivos; dichas evaluaciones a cargo de las autoridades federales y las estatales deben desarrollarse de acuerdo con los lineamientos establecidos en la materia por el Instituto Nacional para la Evaluación de la Educación (INEE). Esta tarea de enorme envergadura requiere la articulación de diversas instituciones y actores para llevarse a cabo con éxito, e impone algunos desafíos; uno de ellos es la definición de un marco de la buena enseñanza consensuado por diversos actores sociales; otro es la planeación de una estrategia nacional para la evaluación de casi 2 millones de docentes que existen en el país; una más es el desarrollo de instrumentos adecuados para capturar la complejidad de las prácticas docentes; además garantizar la validez de los referentes, procesos y resultados de la evaluación; y demostrar que la evaluación del desempeño docente sirve para mejorar los resultados del sistema educativo. Esta ponencia abona en particular, a la discusión del desarrollo de instrumentos adecuados para evaluar el desempeño docente; se presenta la experiencia en el uso de una bitácora abierta para evaluar las prácticas docentes en el marco de un estudio de evaluación de la implementación curricular; y se muestran las posibilidades de información que se pueden obtener con esta herramienta, así mismo, se proponen algunas consideraciones al emplear el instrumento para evaluar el desempeño docente.

DESARROLLO La Reforma de Educación Preescolar en México incluyó la formulación de un currículo flexible basado en el desarrollo de competencias, y tenía como eje la transformación de las prácticas docentes. Recientemente se desarrolló en el INEE (2013) una evaluación para conocer el grado de alineación de las prácticas docentes respecto a tres dimensiones: los propósitos, los enfoques pedagógicos del Programa de Educación Preescolar 2004 (PEP 2004), y la demanda cognitiva de las actividades que se desarrollan en las aulas.1 Estos elementos centrales de la evaluación: propósitos, enfoque pedagógico y demanda cognitiva, se definieron considerando que el PEP 2004 orienta sus propósitos formativos al desarrollo de competencias en los niños, ofrece algunos criterios pedagógicos generales para promover el trabajo con los seis campos formativos, y propone el fomento de la actividad cognitiva compleja en los niños. Estas categorías de análisis de la práctica docente son relevantes para evaluar la implementación curricular, porque la literatura señala que algunos de los elementos centrales para llevar con éxito las reformas educativas son el conocimiento de los contenidos y el dominio pedagógico que tienen los docentes del programa de estudios (Shulman, 1997; Fullán, 2002). El conocimiento pedagógico del contenido se refiere al conocimiento de los contenidos curriculares para su enseñanza (Shulman, 1997), desde un punto de vista práctico, representa la habilidad de los docentes para hacer accesibles los contenidos para los estudiantes.

Los resultados y procedimientos de esta evaluación se encuentran disponibles para su consulta (INEE, 2013a, 2013b).

1

3

En el caso del PEP 2004, no existen contenidos propiamente dichos, sino que se establecen una serie de competencias a desarrollar para cada campo formativo y queda a criterio de los docentes la selección de contenidos específicos a tratar y el diseño de situaciones didácticas para conseguir los fines formativos. Lo que se ha denominado en este estudio “enfoque pedagógico” se refiere a la presencia de rasgos de los enfoques pedagógicos de cada campo formativo en las actividades de aprendizaje propuestas por las educadoras a los niños, a efectos de favorecer el desarrollo de competencias en los niños. La demanda cognitiva se entiende como los procesos cognoscitivos de los niños implicados en la realización de la actividad de aprendizaje; para dar cuenta de éstos se empleó la taxonomía de Anderson y Krathwohl (2001), que contiene seis categorías de procesos cognitivos: recordar, entender, aplicar, analizar, evaluar y crear. Los instrumentos para medir prácticas docentes suelen ser costosos, pues demandan inversión de tiempo y recursos monetarios importantes, sobre todo si se trata de observación directa o mediante video (McDonald, et al., 2009; Pianta & Hamre, 2009; Stigler, Gallimore & Hiebert, 2000); una alternativa empleada han sido las bitácoras (Porter, 2002; Rowan & Correnti, 2009), que generalmente son cuestionarios cerrados. Se desarrolló una variante de este último tipo de instrumento pero en una modalidad abierta; a dicho instrumento se le denominó Bitácora para la Evaluación de la Práctica Docente (BEPP) que es un auto-registro de la práctica docente, que permite recoger información sobre las actividades de aprendizaje desarrolladas en el aula. La tarea consiste en que las educadoras registren durante tres días consecutivos, las actividades realizadas con los niños durante una jornada escolar. El formato les demanda describir de cada actividad realizada: a) qué intención tenía la actividad, b) qué hicieron los niños durante la actividad, c) cómo intervino la docente y d) duración de la actividad (ver figura 1). Figura 1  Vista de la BEPP

4

El instrumento tiene un formato similar a las planificaciones docentes que suelen realizar las educadoras, en términos de que en estas prevén los propósitos, las actividades a realizar, la metodología de trabajo y la distribución del tiempo de la jornada escolar, por lo que su llenado resulta familiar. Para la codificación de la información recabada, se desarrollaron rúbricas, que se validaron por un comité de expertos. Las rúbricas establecían los criterios para la clasificación de la información, algunas más simples, que iban desde la codificación de información literal del registro, como la duración de la actividad; y otras complejas como la clasificación de la información en categorías preestablecidas; hasta la determinación de un juicio sobre la actividad descrita por las educadoras, con base a ciertos criterios.

Para la primera dimensión de evaluación, se identificó si las actividades tenían el propósito de desarrollar alguna de las competencias descritas en el programa y el campo formativo al que correspondían. Para la dimensión de enfoque pedagógico de las actividades, se establecieron una serie de acciones de los niños y de la educadora durante la actividad de aprendizaje que indicaban la presencia de un trabajo congruente con los enfoques didácticos de cada uno de los campos formativos del programa. Por ejemplo en Pensamiento Matemático una acción relacionada es que la actividad de aprendizaje incluya un planteamiento de problema matemático; en Lenguaje y Comunicación, que se propicie la exploración de textos; en Exploración y Conocimiento del Mundo, que se promueva la observación de objetos, seres y eventos de la naturaleza. Para la demanda cognitiva se identificaba la máxima demanda cognitiva involucrada en la tarea de aprendizaje, de acuerdo a la taxonomía antes señalada. El instrumento se aplicó a una muestra piloto de 280 educadoras de preescolar de todas las modalidades educativas. Previo a esta aplicación, se realizaron observaciones de aula para verificar la correspondencia con los registros; aunque cabe señalar que no se tiene documentado este proceso, a juicio del equipo coordinador del estudio, existía una alta correspondencia entre lo registrado por los docentes y lo reportado por observadores externos. También se pudo identificar que elementos como el propósito de la actividad no eran susceptibles de observación, solo podían verificarse mediante entrevista al docente, o quedaban plasmados en los registros. El levantamiento definitivo de la información se realizó con una muestra representativa de escuelas de todas las modalidades educativas; aquí se recopilaron los registros de 2 526 docentes de preescolar. La codificación de la información se realizó mediante una herramienta informática. La pantalla permitía visualizar la bitácora respondida por la educadora, previamente digitalizada y desplegaba las rúbricas para su codificación. El sistema permitía el avance en la calificación de acuerdo a un diagrama de flujo que establecía el orden para la evaluación. La sistematización de la información se realizó previa capacitación del personal; la codificación de los instrumentos de la muestra definitiva se llevó a cabo una vez que se alcanzó un acuerdo inter-jueces de .80 (INEE, 2013). La confiabilidad de la codificación se realizó a partir la teoría de la generalizabilidad (Shavelson & Webb, 1991). Los resultados indicaron que para puntajes globales del instrumento el coeficiente de determinación fue superior a .86 y para puntajes por dimensión, dos fueron menores a .50, el resto de dimensiones tuvieron un coeficiente de determinación entre .61 y .92. Lo que muestra una aceptable confiabilidad de la codificación en los puntajes globales y la mayoría de las dimensiones (INEE, 2013). Una vez conformada la base de datos, la principal unidad de análisis fue cada una de las actividades desarrolladas por las docentes, aunque también se generaron algunos indicadores a nivel de docentes. De esta manera se pudo obtener evidencia del grado en que las actividades que se desarrollan en aula están alineadas al currículo. En la figura 2, puede verse que solo un tercio de las actividades tiene propósitos vinculados al desarrollo de competencias que se proponen en el programa de estudios, mientras un porcentaje similar se destina a actividades de organización escolar (recreo, activación física, honores a la bandera, entre otros). Figura 2  Porcentaje de actividades según su propósito

5

Por su parte, de las actividades que sí buscaban el desarrollo de competencias, solo un porcentaje menor, se desarrolla de acuerdo a los enfoques didácticos de los campos formativos. En la figura 3, se aprecia un mayor grado de congruencia

de las prácticas en el campo formativo de Lenguaje y comunicación, donde 88% de las actividades presenta al menos una característica del enfoque, mientras en Pensamiento Matemático el porcentaje es mínimo, las actividades no se desarrollan de acuerdo al enfoque de solución de problemas. Figura 3  Porcentaje de actividades acordes con los enfoques didácticos

Otro elemento de análisis fue la demanda cognitiva de las actividades. En la figura 4, se muestra que la mayor parte de las actividades involucran solo procesos memorísticos, dejando de lado procesos de mayor complejidad cognitiva, según la clasificación empleada para el análisis. Figura 4  Porcentaje de actividades según la demanda cognitiva

6

Por su parte, al analizar todas las actividades realizadas por las docentes se pudo identificar en qué medida se emplea el tiempo de la jornada escolar para desarrollar las competencias del programa. Se generó el índice de práctica congruente con el programa, que representa la proporción de la jornada escolar que se destina a actividades con propósitos congruentes con el programa de estudios y de acuerdo con los enfoques didácticos.

En la figura 5, se aprecia que a nivel nacional hay diferencias en la forma de implementar el currículo, pues solamente una cuarta parte de las educadoras destina más del 75% del tiempo de la jornada escolar a actividades orientadas al desarrollo de competencias. Se encontró que existen diferencias importantes por modalidad educativa, siendo las docentes de escuelas urbanas y rurales de modalidad general quienes destinan más tiempo al trabajo con el programa; en escuelas de cursos comunitarios e indígenas el porcentaje de educadoras que no destina tiempo a actividades congruentes con el programa oscila entre el 23 y 33%. Los resultados de este estudio ponen de manifiesto las diferencias en las formas de implementación del currículo, lo que representa oportunidades desiguales para los estudiantes de desarrollar las competencias señaladas en el programa. La bitácora aquí descrita permite recoger información sobre la forma en que se está implementando el currículo por parte de las educadoras, y se considera,-por tratarse de un instrumento abierto en que los docentes describen su práctica-, de bajo costo y potencialmente útil para evaluar algunos elementos de la práctica en evaluaciones del desempeño docente. Una de las dimensiones aquí analizadas es el dominio del enfoque pedagógico de los campos formativo en las actividades realizadas, que corresponde en cierta medida al conocimiento pedagógico del contenido, presente en los modelos de evaluación del desempeño y práctica docente (Altet, 2005; García, Loredo Carranza, 2008; Manzi, González & Sun, 2008; Shulman, 2005). Este instrumento permitiría una aproximación a esta dimensión desde el análisis de la práctica de los docentes y no solo a partir de sus conocimientos teóricos medidos mediante exámenes. De cualquier modo cabe señalar que la información recuperada mediante la bitácora permite dar cuenta de las actividades que desarrollan las educadoras en una jornada escolar típica, de modo que representan una muestra de la forma en que se desarrolla el currículo. Sin embargo para efectos de usarlo para determinar la capacidad docente de implementar el currículo se requerirán nuevos estudios de validación que permitan determinar con qué cantidad de días de registro es posible hacer inferencias más precisas sobre el desempeño docente, sobre todo reconociendo que en el caso de educación preescolar, no existe una secuencia preestablecida de contenidos a tratar, que permitan medir el avance en la forma en que se promueven las competencias, que la forma en que se desarrollan las actividades en el aula dependen también de los conocimientos y nivel de desarrollo de los niños, entre otros factores. Figura 5  Porcentaje de docentes según la proporción de la jornada escolar que se destina al programa de estudios

CONCLUSIONES

7

La complejidad para evaluar el desempeño implica necesariamente hacer uso de distintos instrumentos y fuentes de información, las bitácoras como la aquí presentada, es uno de los instrumentos que podrían ser útiles en esta tarea. La Bitácora para la Evaluación de la Práctica Docente se vislumbra como un instrumento potencialmente útil para evaluar el desempeño docente, aunque es necesario realizar estudios que aporten evidencias de validez para este uso.

Algunas características que sobresalen son su aplicación a bajo costo, la flexibilidad para recabar información y la posibilidad de medir algunos rasgos complejos de la práctica docente. El instrumento aquí presentado, por ser auto-administrado, permite obtener una medición de la práctica pedagógica a un costo menor que la observación en vivo o grabada, aun considerando el costo de la codificación. Se considera que es una alternativa adecuada en evaluaciones a gran escala, especialmente en sistemas educativos tan grandes como el mexicano, donde el total de docentes de preescolar en el país es de alrededor de 220,000 lo que hace muy costoso poder hacer observaciones en el aula. Un instrumento de esta naturaleza permite identificar el tipo de prácticas a las que están expuestos los niños en el aula, por ejemplo las demandas cognitivas de las actividades. Ello es especialmente relevante para evaluar el desempeño docente, sobre todo si se considera que uno de los principios pedagógicos que rigen a los estándares de desempeño (Council of Chief State School Officers, 2013; NBPTS, 2013), es que el docente sea capaz de promover un aprendizaje activo por parte del alumno. Otro de los elementos complejos de la práctica pedagógica que permite evaluar el instrumento y su codificación mediante rúbricas es el denominado conocimiento del contenido que implica que el docente no solo conozca el contenido disciplinar sino cómo enseñarlo. La metodología empleada en este estudio podría ser de utilidad en la evaluación de planeaciones docentes, es decir, se podrían emplear las rúbricas para valorar los propósitos, las actividades de aprendizaje en función de su apego a los enfoques pedagógicos, su demanda cognitiva, y la duración; además podría darse cuenta de otros elementos, como su coherencia interna. No obstante, los auto-reportes con preguntas abiertas como las del presente instrumento, también tienen limitaciones, puesto que se basan en lo que los docentes reportan, las preguntas abiertas se ven influenciadas por las habilidades de expresión escrita de los informantes y por el espacio disponible en el instrumento para describir la práctica. Por su parte una consideración adicional será que el proceso de elaboración de rúbricas, capacitación y codificación es una tarea altamente compleja y muy demandante en tiempo; lo que hace elevar un poco los costos en relación a los instrumentos cerrados. Con respecto a la validación de uso de este instrumento para evaluar el desempeño docente, futuros estudios con bitácoras deberían recolectar información de más jornadas escolares, para determinar con cuántas se pueden hacer inferencias en todo el ciclo escolar. Esta estimación podría realizarse a partir de un estudio de dependencia, asegurando un diseño que permita tener información con interacción de codificadores y días de la jornada, que ofrezcan información sobre la variación de la práctica atribuible al evaluador. Resultados de otras bitácoras, como las propuestas por Rowan y Correnti (2009), señalan que 20 mediciones podrían ser un número adecuado para hacer inferencias precisas del desempeño docentes en el ciclo escolar.

BIBLIOGRAFÍA Altet, M. (2005). La competencia del maestro profesional o la importancia de saber analizarlas prácticas. En Paquay, L., Altet, M., Charlier, E. & Perrenoud, P. (Coords.).La formación profesional del maestro. Estrategias y competencias (pp. 33-48). México: FCE. Anderson, L. & Krathwohl, D. (Eds.) (2001).A Taxonomy for Learning, Teaching and Assessing: A revision of Bloom’s Taxonomy of Educational Objectives. New York: Longman. Barber, M. & Mourshed, M. (2008). Cómo hicieron los sistemas educativos con mejor desempeño del mundo para alcanzar sus objetivos. Chile: PREAL, McKinsey & Company. García, B., Loredo, J., & Carranza, G. (2008). Análisis de la práctica educativa de los docentes: pensamiento, interacción y reflexión. Revista Electrónica de Investigación Educativa [número especial], 2-14. Council of Chief State School Officers. (2013). Interstate Teacher Assessment and Support Consortium InTASC Model Core Teaching Standards and Learning Progressions for Teachers 1.0: A Resource for Ongoing Teacher Development. Washington, DC: Autor. 8

Fullán, C. (2002). El significado del cambio educativo: un cuarto de siglo de aprendizaje. Profesorado, revista de currículum y formación del profesorado, 6, 1-2. INEE (2013a).Prácticas pedagógicas y desarrollo profesional docente en preescolar. México: Autor. INEE. (2013b). Prácticas pedagógicas y desarrollo profesional docente en Preescolar. Reporte técnico México: Autor. McDonald, C. et al. (2009). The ISI classroom observation system: Examining the literacy instruction provided to individual students. Educational Researcher, 38(2), 85-99. Manzi. J., González, .R. & Sun, Y. (2008). La Evaluación Docente en Chile. Chile: Pontificia Universidad Católica de ChileMIDE UC. National Board for Professional Teaching Standards (2013).Early Childhood Generalist Standards. Third Edition. Arlintong: NBPTS. Pianta, R. y Hamre, B. (2009). Conceptualization, measurement, and improvement of classroom processes: Standardized observation can leverage capacity. Educational Researcher, 38, 109–11. Porter, C. (2002). Measuring the Content of Instruction: Uses in Research and Practice. Educational Researcher, 31, (3). Rowan & Correnti (2009) Studying Reading Instruction With Teacher Logs: Lessons From the Study of Instructional Improvement. Educational Researcher, 38:120. SEP (2004). Programa de Educación Preescolar 2004. México: SEP. Shavelson, R. & Webb, N. (1991). A Primer on Generalizability Theory.Thousand Oaks, CA: SagePublications. Shulman, L (2005). Conocimiento y enseñanza: fundamentos de la nueva Reforma. Revista de currículum y formación del profesorado, 9, 2 (2005). Shulmeyer, A. (2002). Estado actual de la evaluación docente. Conferencia Regional “El Desempeño de los Maestros en América Latina y el Caribe: Nuevas Prioridades”, Brasilia, Brasil, 10-12 de julio. Stigler, W., Gallimore, R., &Hiebert, J. (2000). Using video surveys to compare classrooms and teaching across cultures: Examples and lessons from the TIMSS video studies. Educational Psychologist, 35 (2), 87-100.

9