Story Transcript
CONSEJO NACIONAL DE EDUCACIÓN DEPARTAMENTO DE INVESTIGACIÓN E INFORMACIÓN PÚBLICA DEPARTAMENTO DE EDUCACIÓN ESCOLAR SECRETARÍA TÉCNICA
¿Qué dicen los cuestionarios del SIMCE sobre las prácticas de docentes de 4º básico de la asignatura de matemática? Construyendo una línea de base para monitorear prácticas docentes en el contexto de la ley SNAC Martes 31 de diciembre de 2013
1
I. Resumen Ejecutivo Durante el año 2013, la Secretaría Técnica del Consejo Nacional de Educación inició una investigación en el ámbito escolar con un especial foco en el análisis de prácticas docentes. Para ello, se analizó las respuestas de docentes de Matemática de 4° Básico en los cuestionarios SIMCE 2011, en relación con prácticas de evaluación, cobertura curricular, y estrategias didácticas, entre otros aspectos relativos a su ejercicio profesional. Este estudio forma parte del convenio colectivo de desempeño suscrito por los departamentos de Información Pública e Investigación y de Educación Escolar. Los resultados del presente estudio permiten mostrar, en términos generales, que los docentes declaran cubrir una importante proporción del currículo; emplear diversas estrategias de enseñanza y evaluación; utilizar y valorar la información que entrega el SIMCE; y percibir de manera positiva la gestión de sus equipos directivos. En cuanto a los contenidos curriculares que los docentes declaran cubrir en mayor medida; no se observa una correspondencia de éstos con aquellos contenidos evaluados en el SIMCE 2011. Esto sería indicativo de que, al menos en este momento previo a la introducción del sistema de responsabilización, las respuestas dadas por los docentes en los cuestionarios SIMCE no permitirían constatar estrechamiento curricular asociado a la utilización de SIMCE. Sobre los formatos de evaluación más utilizados por los docentes, éstos reportan realizar en mayor medida evaluaciones de lápiz y papel; el mismo modelo utilizado por las evaluaciones estandarizadas como SIMCE. Si bien es posible considerar que esta práctica podría constituir una respuesta al uso de la evaluación estandarizada con consecuencias, también se debe tener en consideración que se trata de un formato afín a la naturaleza de la asignatura. Algo similar ocurre con las prácticas instruccionales más utilizadas; si bien se privilegian las clases expositivas y el trabajo individual de los estudiantes por sobre estrategias que fomenten, por ejemplo, las salidas a terreno y el trabajo grupal, esto también podría corresponder a las características de la asignatura. Los docentes se sienten en general apoyados y monitoreados por sus equipos directivos; y reportan recibir, utilizar y valorar la información sobre resultados que entrega el SIMCE. En cuanto a eventuales prácticas de discriminación que pudieran ocurrir en sus establecimientos, éstas son reportadas en bajísima medida. Lo anterior constituye a grandes rasgos, una primera línea de base construida para caracterizar el quehacer docente, previo a la puesta en marcha con consecuencias del SNAC1; en relación a la cual se monitoreará eventuales cambios en las prácticas docentes, luego de la puesta en marcha de los diferentes elementos que considera la respectiva ley. Una correcta implementación de un sistema de rendición de cuentas de los diversos actores e instituciones del sistema escolar, no debiera generar cambios en las prácticas pedagógicas, ya sea restringiéndolas o empobreciéndolas, por el contrario se espera que los apoyos para planes de mejoramiento resulten en incrementos de resultados educativos. Un sistema de responsabilización con un énfasis excesivo en ejercer presión sobre el sistema escolar y sus actores, sin un adecuada ayuda que permita desarrollar fortalezas y superar debilidades, eventualmente podría generar cambios no deseados en las prácticas docentes, 1
Ley 20.529 Sistema Nacional de Aseguramiento de la Calidad de la Educación Parvularia, Básica y Media y su Fiscalización
2
como por ejemplo: enfatizar la realización de evaluación de papel y lápiz con un propósito de entrenamiento para las pruebas estandarizadas; privilegiar el trabajo individual del estudiante por sobre estrategias de aprendizaje más colaborativas; y a nivel de gestión directiva, un énfasis en acciones de supervisión y control hacia los docentes, descuidando la realización de acciones de apoyo y desarrollo profesional. Son estas las prácticas docentes que, al ser monitoreadas, podrían evidenciar las consecuencias antes mencionadas. El Departamento de Educación Escolar y el de Investigación e Información Pública del Consejo Nacional de Educación desean aportar en este análisis con el fin de resguardar que la labor docente tenga un impacto positivo en el aprendizaje de los estudiantes. El presente estudio es un primer aporte en esta línea, el cual debe ser enriquecido con futuros nuevos análisis y la incorporación de nuevos instrumentos y referentes que permitan observar el desempeño docente de un modo objetivo en el tiempo. II. Introducción El presente estudio se propone describir las prácticas pedagógicas declaradas de los docentes de 4° Básico en los cuestionarios SIMCE 2011, con el fin de generar una línea de base que permita monitorear el desempeño docente a medida que se implementan los instrumentos asociados al Sistema de Aseguramiento de la Calidad de la Educación. El sistema educativo chileno ha dado importantes pasos en pos de mejorar la calidad y equidad del aprendizaje y la enseñanza y ha recorrido un importante camino, sobre todo en lo que refiere al desarrollo de instrumentos que permiten dar cuenta no solo de los resultados de aprendizaje de los estudiantes, sino también de las prácticas docentes. Es el caso del SIMCE que, por más de 25 años, ha entregado información censal sobre los resultados de aprendizaje de los estudiantes y los factores que los impactan, entre los cuales se destaca la labor del docente. Otra importante iniciativa que se ha introducido en Chile es la Evaluación Docente que, desde 2003, ha permitido caracterizar el quehacer de todos los docentes que trabajan en el nivel municipal. Estas iniciativas de evaluación han ido de la mano con el establecimiento de medidas que buscan responsabilizar a directivos y docentes por los resultados de aprendizaje de los estudiantes. Dichas medidas han evolucionado en el tiempo desde la publicación de resultados SIMCE de cada escuela hasta el establecimiento del Sistema Nacional de Aseguramiento de la Calidad (SNAC) en 2011, el que incluirá la clasificación de establecimientos según su desempeño en las pruebas SIMCE y en otros indicadores de calidad, ajustando estos resultados según el contexto en el que se inserta cada escuela. En muchos estudios se ha confirmado la importancia de la labor docente en la generación de aprendizajes de calidad. Múltiples factores pueden incidir en la calidad de la docencia: la infraestructura de la escuela, la formación inicial de los docentes, el contexto sociocultural de los estudiantes, las políticas nacionales que se implementen para mejorar resultados de aprendizaje, etc. En relación a este último factor, diversos estudios han mostrado que el establecimiento de medidas externas de responsabilización o rendición de cuentas (external accountability es el término utilizado en inglés) por los resultados de los estudiantes pueden afectar tanto positiva como negativamente el quehacer docente. En Chile, son escasos aún los estudios que analizan el
3
impacto que tienen las medidas de responsabilización en la labor de profesores y profesoras. Dicha situación reviste gran importancia ante la implementación creciente de los elementos que componen el SNAC para llegar a su inminente funcionamiento completo. Las escuelas recibirán nueva información y orientación para desarrollar sus planes de mejoramiento educativo y se espera con ello movilizar al sistema educativo hacia desempeños cada vez más avanzados. Como parte de la Secretaría Técnica del Consejo Nacional de Educación queremos contribuir al análisis educativo de este nuevo contexto. Para ello, consideramos fundamental establecer una línea de base que permita describir y monitorear las prácticas docentes antes de la plena entrada en vigencia de todos los elementos que componen el SNAC. Esta línea de base permite, por un lado, conocer cómo son consideradas las prácticas docentes por los mismos profesores y profesoras que responden los cuestionarios del SIMCE y permitirá, en el futuro, dar cuenta de eventuales cambios en algunas prácticas docentes. La evidencia internacional reporta que los cambios en el desempeño docente podrían estar asociados a la inclusión y extensión de prácticas de responsabilización. La información que brindan instrumentos como el cuestionario de docentes SIMCE cobra una gran relevancia, en tanto resulta de particular interés conocer cómo los docentes describen y caracterizan sus propias prácticas pedagógicas. Si bien resulta insoslayable la naturaleza auto‐ reportada de las respuestas entregadas por los docentes, la que podría comprometer en alguna medida la validez de la información reportada; es indiscutible el interés que reviste conocer qué dicen los docentes sobre sus prácticas, en tanto constituyen una aproximación a lo que ocurre en la sala de clases. III. Antecedentes teóricos A continuación, se presentan algunos antecedentes teóricos que permiten contextualizar los resultados de este estudio. En primer lugar, se presentan antecedentes que permiten comprender la importancia de la labor docente en los resultados de aprendizaje de sus estudiantes. Luego, se presentan una serie de estudios que muestran que la introducción de políticas de responsabilización asociadas a altas consecuencias, impactan de diverso modo en las prácticas docentes. Finalmente, se entregan algunos antecedentes respecto de las prácticas docentes en Chile y el contexto en el que actualmente se desarrollan dentro del sistema educacional de nuestro país, en el que se destaca la puesta en marcha del Sistema Nacional de Aseguramiento de la Calidad de la Educación. 1. El rol del docente en el proceso educativo Si bien son múltiples los factores que inciden en la calidad de la educación, es posible agrupar las variables que impactan en ésta en seis grandes categorías: (1) el estudiante; (2) el hogar; (3) la escuela; (4) el currículum; (5) el docente; y (6) los enfoques pedagógicos o aproximaciones a la enseñanza (Hattie, 2008). En Hattie (2008) se revisaron más de ochocientos meta‐análisis en relación al logro académico, concluyendo que el efecto del docente se encuentra dentro de las influencias más poderosas en los resultados de aprendizaje.
4
Dentro de las variables relativas al docente, es posible agrupar aquellas que tienen un impacto en los resultados educativos en ocho grandes categorías: (1) la calidad de la enseñanza; (2) las expectativas docentes; (3) las preconcepciones que tiene el docente sobre la enseñanza, el aprendizaje, la evaluación, y las expectativas de logro que tiene acerca de sus estudiantes, cobrando relevancia la creencia de que todos sus estudiantes pueden progresar; (4) la apertura a la experiencia que tiene el docente, esto es, su capacidad para sorprenderse; (5) el clima del aula; (6) una clara formulación de los criterios de logro académico; (7) el fomento del esfuerzo; y (8) el compromiso hacia todos los estudiantes (Hattie, 2008). Entre todos los aspectos mencionados, Hattie (2008) señala que los aspectos más críticos a la hora de predecir el logro académico son la calidad del docente y la calidad de las interacciones profesor‐ estudiante que los docentes sostienen. Si bien la calidad de la instrucción que imparte el docente constituye el factor fundamental, se constataría no obstante, un máximo efecto combinado en ciertas circunstancias específicas: aquellos docentes que utilizan ciertos métodos instruccionales específicos, que exhiben altas expectativas hacia sus estudiantes, y que han creado relaciones profesor‐estudiante positivas, son los que tienen una mayor probabilidad de tener el mayor impacto en los aprendizajes de sus estudiantes. La enseñanza eficaz ocurriría cuando el docente establece una intención pedagógica y criterios de éxito claros; hace transparentes dichas intenciones y criterios a los estudiantes; modela los aprendizajes; evalúa pertinentemente si los contenidos fueron comprendidos; y devuelve o refleja a los estudiantes lo planteado por ellos mismos, de modo de consolidar lo planteado por ambas partes del proceso de enseñanza‐aprendizaje. Finalmente, en cuanto a las características de los docentes eficaces es posible enunciar que estos requieren ser: directivos; influyentes; preocupados y solícitos; y activamente involucrados en la pasión de enseñar y aprender (Hattie, 2008). Como complemento a los antecedentes presentados anteriormente, resulta pertinente revisar el estudio publicado por Barber y Mourshed en el año 2007. En este estudio se realizó una revisión de los sistemas educativos con mejores resultados, con el propósito de caracterizar sus prácticas y determinar cuáles son sus factores comunes. Una de las principales conclusiones de esta revisión centra su foco en la importancia de los docentes en la calidad de un sistema educacional. Según se ha observado en dos estudios realizados en Estados Unidos (con datos de los estados de Tennessee y Dallas), los resultados de dos estudiantes promedio pueden divergir hasta en cincuenta puntos porcentuales en un plazo de tres años, por el solo hecho de ser expuestos a la instrucción de un docente eficiente, versus recibir la instrucción de un docente de bajo desempeño. Se ha visto que los estudiantes que han recibido la instrucción de docentes ineficaces no solo no aprenden, sino que además empeoran sus resultados. Así, el impacto negativo de los docentes de bajo desempeño es severo, particularmente durante los primeros años de escolaridad (Barber y Mourshed, 2007). Para que los docentes puedan mejorar sus prácticas requieren: tener acceso a amplias acciones de perfeccionamiento docente; comprender cuáles son las principales fortalezas y dificultades de su propia práctica; lograr un entendimiento específico de las mejores prácticas educativas; sentirse motivados a realizar las mejoras que requieren; y experimentar un sentido de propósito compartido. En cuanto a las acciones de perfeccionamiento docente más eficaces, sin duda se encuentran aquellas con un fuerte énfasis en el ejercicio práctico, realizadas en terreno, y bajo la supervisión de mentores expertos (Barber y Mourshed, 2007).
5
El liderazgo escolar es mencionado como la segunda influencia en el aprendizaje, solo antecedida por el efecto de la instrucción en el aula. Se ha observado que un buen directivo, más que centrarse en la administración escolar debiera centrarse, ante todo, en ser un líder instruccional; esto es, un excelente educador y entrenador de docentes (Barber y Mourshed, 2007). En coherencia con lo anterior, Barber y Mourshed (2007) concluyen que las estrategias empleadas por los países para mejorar los resultados de aprendizaje de los estudiantes solo son efectivas cuando apuntan a impactar y apoyar la labor docente. 2. Políticas de responsabilización por resultados en evaluaciones estandarizadas y su efecto en las prácticas docentes La evidencia internacional ha mostrado que la introducción de políticas de responsabilización o rendición de cuentas a partir de los resultados de aprendizaje obtenidos de pruebas estandarizadas, pueden tener consecuencias positivas y/o negativas en la práctica docente. Los sistema de responsabilización por resultados o de rendición de cuentas se caracterizan por: (a) tener objetivos curriculares claros; (b) tener un sistema de evaluación para medir el logro de esos objetivos curriculares; (c) fijar metas de progreso, usualmente expresadas en aumento de puntajes en la evaluación o en el logro de determinados estándares curriculares, y (d) asociar incentivos o sanciones, en función del logro de metas, por ejemplo, reconocimiento público, dinero, intervención o cierre de la escuela (Hamilton, Stecher, Klein (2002), en Ramírez 2011). A modo de ejemplo, como respuesta a pruebas bien diseñadas y a una amplia y adecuada difusión de los resultados e instrumentos utilizados en las evaluaciones a gran escala, algunos docentes se han visto motivados a explorar prácticas pedagógicas más desafiantes intelectualmente e integrarlas a su enseñanza a través del año escolar (Firestone et al., 2004). A su vez, las pruebas podrían instar a que los docentes exploren áreas del currículum que frecuentemente dejaron de lado y podría motivarlos a considerar contenidos y actividades más desafiantes que proveen a los estudiantes la oportunidad de desarrollar un mejor aprendizaje (Ravela 2010; Gipps et al., 1995). Del mismo modo, cuando los instrumentos utilizados en la evaluaciones estandarizadas son publicados, los docentes pueden acceder a instrumentos de trabajo que les facilitan la tarea cotidiana de evaluar, lo que, a su vez, puede tener como consecuencia que los docentes tomen conciencia acerca de las limitaciones de sus propias prácticas de evaluación, aprenden a poner mayor atención en los procesos cognitivos de los estudiantes y se abren a desarrollar capacidades técnicas en relación a la construcción de instrumentos de evaluación (Ravela, 2010). Tal como se puede observar, los efectos positivos de las evaluaciones estandarizadas requieren de pruebas bien diseñadas, que evalúen elementos relevantes del currículo y cuyos resultados, marcos de referencia e instrumentos sean adecuadamente comunicados a los docentes; además, un uso de este tipo de evaluaciones requiere de docentes y directivos abiertos y preparados frente al uso de este tipo de información (Firestone et al., 2004; Gardner, Harlen, Hayward, Stobart, & Montgomery, 2010). Respecto de las consecuencias negativas, Darling‐Hammond (2003) señala que es importante notar que estas se asocian al uso de las pruebas estandarizadas como medida de rendición de cuentas para las escuelas, más que a las pruebas estandarizadas por sí mismas. Entre estas consecuencias, se ha observado que la introducción de sistemas de responsabilización genera la focalización por parte de los docentes en aquellos conocimientos y habilidades incluidos en las evaluaciones, por
6
sobre aquellas áreas del aprendizaje no consideradas en la evaluación, lo que se denomina estrechamiento curricular (Forster, 2001; Gipps, Brown, & McAlister, 1995; Whetton, 2009). También se ha observado que los docentes tienden a enfatizar la transmisión de contenidos sin detenerse en una reflexión sobre los mismos y se enfocan en un aprendizaje de carácter memorístico (Harlen & Deakin Crick, 2002; McNeil, 2000); del mismo modo, los docentes tienden a emplear una parte importante del tiempo de enseñanza a enseñar técnicas para responder pruebas estandarizadas (McNeil, 2000). Finalmente, el uso de evaluaciones estandarizadas con fines de responsabilización acrecentaría la implementación por parte de las escuelas de estrategias de selección y exclusión de estudiantes (Darling‐Hammond, 2004; Figlio & Getzler, 2002). Asimismo, se ha observado que la instalación de políticas de responsabilización de altas consecuencias se asocia a cambios en las actitudes y percepciones de los docentes en cuanto al sistema educativo, al establecimiento educacional en que se desempeñan, y a su propio ejercicio profesional y condiciones laborales (Boyd, Lankford, Loeb y Wyckoff, 2006). De acuerdo con Ramírez (2011), el SIMCE ha fortalecido un uso de sus resultados para políticas de responsabilización por resultados y presión a las escuelas en desmedro de usos como la generación de información para monitoreo y toma de decisiones a nivel de política pública y, sobretodo, en desmedro de la generación de información que apoye la labor de docentes y directivos al interior de las escuelas. En cuanto a la publicación de los resultados de evaluación, muchos países reportan que las buenas escuelas efectivamente mejoran producto de la presión que introduce la transparencia de los resultados; sin embargo, aquellas escuelas que fracasan raramente verán mejorados sus resultados solo por esta causa. En otras palabras, si una escuela no sabe cómo mejorar, no posee la capacidad de mejorar; no existe cantidad alguna de presión en el sistema, que pueda mejorar la calidad de su instrucción (Barber (2005), en Barber y Mourshed, 2007). En efecto, países como Finlandia y Hong‐ Kong otorgan un carácter confidencial a los resultados de las evaluaciones y auditorías a las que someten a los establecimientos, con el propósito de reducir lo que perciben como presiones excesivas, las que se sumarían a las presiones ya existentes, en relación al logro de los estudiantes y docentes. 3. Prácticas docentes en Chile y contexto educacional en el que se desarrollan Caracterización de los docentes chilenos A continuación se revisarán algunos datos generales de caracterización de los docentes chilenos, según lo reportado en el último informe publicado sobre la Encuesta Longitudinal Docente (en adelante, ELD)2. La ELD caracteriza a los docentes chilenos sobre la base de una muestra que supera los 5600 casos. Los docentes chilenos serían en un 78% mujeres, y su edad promedio se encuentra en torno a los 48 años, siendo el tramo etario entre los 40 y los 59 años el más prevalente dentro de los docentes encuestados. Al consultarles si han participado en acciones de perfeccionamiento, se observa que los docentes que se desempeñan en el nivel municipal son los que más han participado en éstas, en 2
Centro Microdatos, 2005. Si bien existe una segunda ronda de este estudio longitudinal, aplicada en 2009, aún no se ha liberado el informe con sus resultados.
7
81% de los casos. Los docentes del nivel particular subvencionado reportan 79% de participación en perfeccionamientos, y los de establecimientos particular pagado, 73%. En cuanto a su salario promedio, este va aumentando desde el nivel municipal ($434.000) hacia el particular pagado ($536.000), pasando por el nivel particular subvencionado con un sueldo promedio de $419.000. Esta encuesta también rescata algunos elementos de opinión de los docentes encuestados. Para indagar sus actitudes en torno a la profesión al momento de ingreso a la carrera, se les consultó si hubieran querido estudiar otra carrera al momento de entrar a estudiar pedagogía: los docentes de Educación Parvularia respondieron que sí en 44% de los casos, versus 49% de los docentes de Educación Básica, y 60% de los docentes de Educación Media, quienes son los que en mayor proporción hubiesen querido estudiar algo distinto. Se les consulta también si les resulta suficiente el tiempo que les otorgan los establecimientos para preparar las clases. Dentro de los docentes que responden que el tiempo otorgado no alcanza para “Casi Nada”, 34% trabaja en establecimientos municipales, versus 24% que lo hace en establecimientos particulares subvencionados y 14% en particulares pagados. Yendo al otro extremo de la escala, dentro de los docentes que consideran que el tiempo entregado es “Suficiente”, 19% son de establecimientos municipales, 31% de establecimientos particulares subvencionados y 41% de establecimientos particulares pagados, quienes son los que estarían más satisfechos con el tiempo otorgado para estos fines. Finalmente, en cuanto al grado de acuerdo de los docentes encuestados con afirmaciones relativas a razones que les harían considerar dejar la profesión docente, mientras 29% del total de los encuestados refiere que no la dejaría por ningún motivo, 29 % de los docentes sí lo haría por bajos salarios y 27% por el bajo reconocimiento social de la profesión docente. Otra manera de caracterizar a los docentes chilenos, proviene de la prueba INICIA, la cual se ha introducido de manera gradual y, por ahora, con un carácter no vinculante al sistema. INICIA evalúa conocimientos disciplinares, pedagógicos y habilidades de comunicación escrita de los egresados, clasificándolos en tres niveles de desempeño: sobresaliente; aceptable e insuficiente. En 2012, 580 egresados de pedagogía básica rindieron la prueba INICIA, observándose que 56% de ellos tiene un nivel insuficiente de conocimientos disciplinares, siendo este el ámbito más deficitario observado. En cuanto a los conocimientos pedagógicos, 34% de los examinados se encuentra en el nivel insuficiente y, en cuanto a sus habilidades de comunicación escrita, 41% de los egresados no logra un nivel aceptable. A continuación, se revisará algunos resultados provenientes de la Evaluación Docente la cual, a diferencia de INICIA, ya cuenta con diez años de instalación en el sistema, y con un carácter de obligatoriedad para todos los docentes que se desempeñan en el nivel municipal. Si se consideran los resultados de Evaluación Docente del período 2007‐2010, en particular de la aplicación del Portafolio (instrumento que entrega un 60% de la ponderación al resultado global de la Evaluación Docente), es posible advertir que siete de las ocho dimensiones evaluadas por este instrumento se encuentran, de manera sistemática, bajo el límite inferior de la categoría Competente, en otras palabras, los docentes se encuentran en un nivel Insatisfactorio o Básico en todas las dimensiones evaluadas (excepto “Ambiente de la clase”). Las tres dimensiones más bajas, también de manera sostenida a través de los años son “Calidad de la evaluación de la unidad”, “Reflexión a partir de los resultados de la evaluación” e “Interacción pedagógica”, en las que sobre un 75%, 85% y 95% de los
8
docentes, respectivamente, se encuentran en un nivel de desempeño Insatisfactorio o Básico (Sun, Correa, Zapata y Carrasco, 2011). Ahora bien, si se focaliza en aquellos aspectos evaluados a través del Portafolio, es posible apreciar, entre otras cosas, que 53% de los docentes logra un desempeño Competente o Destacado en el indicador “Contribución de las actividades a los objetivos de la clase”, el cual da cuenta de la capacidad del docente de diseñar e implementar actividades coherentes con los objetivos de aprendizaje planificados. Del mismo modo, un 40% de los docentes logra un desempeño Competente o Destacado en el indicador “Capacidad para reformular estrategias didácticas”, y solo un 28% de los docentes alcanza el estándar esperado en el indicador “Calidad de las explicaciones”. En cuanto a las prácticas de evaluación de los docentes, un 44% de ellos alcanza un desempeño Competente o Destacado en el indicador “Coherencia de la evaluación con los objetivos”, y solo cerca de un tercio de los evaluados obtiene el desempeño esperado en relación a la calidad de las preguntas formuladas al evaluar a los estudiantes y la precisión de los criterios de evaluación utilizados. Finalmente, solo un 23% de los evaluados obtiene el desempeño esperado en el indicador “Atribución de los resultados de aprendizaje”, el cual evalúa su capacidad para analizar los resultados de aprendizaje obtenidos, identificar los aspectos logrados y no logrados y los factores que inciden en ello, identificando como principal factor explicativo su propio quehacer docente (Sun, Correa, Zapata y Carrasco, 2011). Los docentes y el sistema de responsabilización por resultados en Chile Los docentes de Chile, actualmente, desempeñan su labor en el contexto de la puesta en marcha del Sistema Nacional de Aseguramiento de la Calidad (Ley Nº 20.529), en el que se despliegan una serie de dispositivos que buscan supervisar, informar, orientar y responsabilizar con consecuencias a los establecimientos, asociados a sus resultados de aprendizaje. El principal mecanismo mediante el cual se introduce la responsabilización es la metodología de Ordenación de establecimientos, cuya función principal es identificar las necesidades de apoyo de los establecimientos y responsabilizar por resultados educativos, fundamentalmente estándares de aprendizaje y otros indicadores de calidad educativa. A través de esta metodología se clasificará a las escuelas con reconocimiento oficial del Ministerio de Educación en cuatro categorías de desempeño: Alto, Medio, Medio Bajo e Insuficiente. En lo específico, se tomarán como insumo los resultados de aprendizaje de los estudiantes en relación a los Estándares de Aprendizaje (67%); los resultados de los estudiantes evaluados mediante la prueba SIMCE, indicadores de progreso (o valor agregado) y el grado de cumplimiento de los Otros Indicadores de Calidad Educativa (estos tres últimos elementos otorgando un 33% a la ponderación). Además, la metodología considerará las características de contexto de los estudiantes, con el fin de asegurar una comparación y evaluación justa de los resultados. En los casos de los establecimientos que sean evaluados por cuatro veces consecutivas en el nivel insuficiente, se les revocará el reconocimiento oficial. Por otra parte, el ejercicio docente en Chile ha estado acompañado, por más de 25 años, por la aplicación de la evaluación SIMCE. En 1988 surge el Sistema de Medición de la Calidad de la Educación (SIMCE) el cual tiene como objetivo informar sobre los logros de aprendizaje de los estudiantes en diferentes áreas de aprendizaje del currículum nacional. Los resultados de cada establecimiento en esta evaluación se hacen públicos desde el año 1995, siendo esta la primera medida de responsabilización por resultados implementada en nuestro sistema, ya que se esperaba que el conocimiento público de los resultados incentivaría a las escuelas a mejorar para conseguir la preferencia de los apoderados, quienes matricularían a sus hijos o hijas y así el establecimiento
9
recibiría un mayor financiamiento (Mineduc, 2003). Además de las pruebas referidas al currículo, existen cuestionarios de información complementaria que recogen datos entregados por los docentes, estudiantes, padres y apoderados, permitiendo contextualizar y analizar los resultados de los estudiantes en las pruebas. En particular, el cuestionario para docentes es respondido por los profesores y profesoras de cada curso evaluado y contiene preguntas relativas a su formación profesional, los contenidos que enseñó durante el año escolar, estrategias de trabajo, metodologías de evaluación, entre otros aspectos. Las respuestas de los cuestionarios aplicados a los docentes son confidenciales y auto‐reportadas. IV. Objetivos del estudio A continuación se describe el objetivo general y los objetivos específicos del presente estudio: 1.1 Objetivo General ‐ Construir una línea de base que describa las prácticas reportadas por los docentes y permita constatar, en el mediano plazo, posibles cambios en las prácticas docentes, producto de la introducción del sistema de responsabilización de altas consecuencias. 1.2 Objetivos Específicos ‐ Caracterizar las prácticas pedagógicas reportadas por los docentes que se verán afectados por la introducción del sistema de responsabilización de altas consecuencias. ‐ Caracterizar las prácticas evaluativas reportadas por dichos docentes. ‐ Describir la utilización que declaran hacer dichos docentes con los resultados de las evaluaciones de altas consecuencias. ‐ Describir algunos factores del contexto en el que los docentes desarrollan sus prácticas pedagógicas. ‐ Cuando corresponda, analizar el grado de asociación de las prácticas reportadas por los docentes con el reporte que sus estudiantes hacen de dichas prácticas.
10
V.
Metodología
1. Metodología definida El presente estudio, en esta etapa inicial tiene un carácter descriptivo y se basa en el análisis secundario de las bases de datos de los cuestionarios de profesores SIMCE, con el propósito de establecer una línea de base que permita caracterizar las respuestas de docentes y estudiantes, previo a la introducción de la Ordenación de establecimientos. Dicha línea de base constituirá un insumo para un posterior análisis comparativo sobre los resultados de aprendizaje de los estudiantes y las declaraciones de prácticas docentes, que se constaten con posterioridad a la implementación de la Ordenación. En suma, el estudio iniciado tiene un carácter descriptivo, algunos de cuyos análisis son de tipo cuantitativo y cuyas conclusiones serán, en esta etapa, de carácter preliminar. 2. Origen y descripción de la base de datos y definición de la muestra La población de docentes a caracterizar pertenece a aquellos docentes respondientes del Cuestionario SIMCE 2011 de cuarto básico, orientado a la asignatura de Matemática. Se escogió este cuestionario en particular por estar asociado a la última medición SIMCE disponible previo a la introducción del SNAC; ser el nivel que cuenta con mediciones más intensivas; y ser el nivel que se ha considerado desde un comienzo para la clasificación SEP. Los datos fueron solicitados a la Agencia de Calidad de la Educación, quien entregó las respectivas bases de datos en el formato de planilla Excel. Cabe mencionar que la información recogida por el cuestionario consiste en datos auto‐ reportados. Dada la amplitud de la base enviada y las características de los respondientes, se decidió definir el universo muestral, como aquellos cuestionarios contestados por los docentes y estudiantes de cuarto básico en la asignatura de matemática en el año 2011. Dado que el objeto de estudio definido fueron las prácticas pedagógicas en la asignatura de Matemática, hizo sentido considerar solo las respuestas de aquellos docentes que indicaron impartir la asignatura. En el estudio se utilizaron archivos con la siguiente información: ‐ Cuestionarios de docentes: contiene la información del cuestionario de docentes, desde donde se recogió la información de cada una de las preguntas analizadas, además del curso y RBD al que pertenece el profesional. ‐ Cuestionario de estudiantes: contiene la información de cuestionario de alumnos y alumnas, desde donde se recogió la información de cada una de las preguntas analizadas, además del curso y RBD al que pertenece el estudiante. ‐ Establecimientos: contiene la información de cada establecimiento. De esta tabla se recogió la información con respecto al nivel socioeconómico y a la dependencia del establecimiento educacional. En todas las tablas mencionadas anteriormente se registra con los dígitos 99, a aquellos individuos que realizan doble marca en el cuestionario y con 0, a quienes omiten la respuesta en la pregunta correspondiente. Se proporcionó un archivo con el libro de los códigos, así como los archivos con los cuestionarios completos. Las respuestas utilizan una escala Likert con diferente número y tipo de niveles de respuesta, dependiendo de cada pregunta.
11
El cuestionario de docentes original contaba con 9713 registros pero, al aplicarse la restricción para considerar solo a los docentes que imparten matemática, el universo final quedó reducido a 7387 registros. 3. Estructura del análisis realizado 3.1 Frecuencias: Primero se efectuó un análisis exploratorio de todas las preguntas del cuestionario de docentes generando tablas de frecuencias con el propósito de establecer algunos patrones y describir que niveles de cada pregunta son los que tienen mayor tasa de respuesta. Se calculó la frecuencia absoluta, relativa y acumulada para cada una de las posibles respuestas que estaban presentadas en una escala Likert. 3.2 Análisis de significancia estadística a nivel de dependencia administrativa y grupo socioeconómico: Las preguntas están desagregadas por dependencia administrativa y por grupo socioeconómico de los establecimientos a los que pertenecen los respondientes. Por lo tanto, surgió de manera natural la necesidad de controlar las preguntas estudiadas anteriormente por estas dimensiones y detectar si existe alguna interacción entre estas variables. Para efectuar los análisis anteriores se efectuó análisis de frecuencia y diferencias de las preguntas solicitadas del cuestionario de docentes (P14, P15, P16, P17, P28, P30, P34, P35, P36, P37) comparando entre los grupos socioeconómicos (en adelante, GSE) y entre las dependencia de los establecimiento: Municipal; Particular Subvencionado y Particular Pagado; en la pregunta analizada (comparación de medianas). El uso de la mediana en variables categóricas ordinales es posible técnicamente, sin embargo su aplicación podría resultar polémica. En este caso, a la usanza de lo que suele realizarse en un contexto de investigación en Ciencias Sociales, se asumió que las distancias entre las alternativas de respuesta resultaban equivalentes3 (Gallardo, 2005). El análisis de asociación se realizó con el test de independencia Chi‐ cuadrado, y las diferencias entre medianas mediante el test no paramétrico de Kruskal‐Wallis, cuya descripción y modo de funcionamiento se revisan, respectivamente, en los apartados 3.5.2 y 3.5.3 del presente informe. 3.3 Correlación entre cuestionario docente y cuestionarios de alumnos: Con respecto al cuestionario de estudiantes se exploró si existía alguna correlación entre lo que contestaban los docentes y lo que contestaban los alumnos y alumnas. Para ello se usó la correlación de Spearman y se contrastó la hipótesis nula donde establece que la correlación es cero. Esto corresponde a las preguntas del cuestionario de docentes y estudiantes (15 – 8), (16‐ 9) y (17‐10). 3.4 Análisis de asociación entre pregunta catorce y dieciocho del cuestionario docente: También interesó estudiar la asociación entre las preguntas 18 y 14 del cuestionario docente, la primera referida a la cobertura de contenidos curriculares y la segunda referida a estrategias de trabajo. Para este análisis se transformó cada una de las partes de la pregunta 18 en respuesta 3
Eugenio Saavedra Gallardo (2005). Contenidos básicos de probabilidad y estadística. Editorial Universidad de Santiago, Santiago de Chile.
12
binaria, donde 1 correspondió a abordar cada contenido consultado “Algo”, “Bastante” y “Por completo”; y 0 si se responde “No lo he visto todavía” o “No se incluye este año”. Posteriormente se contabilizó el número de contenidos abordados en cada apartado de P18 para poder construir los siguientes tres intervalos: “0‐5”, “6‐10” y “11‐15”. Con la pregunta 14 se realizó un procedimiento similar, dejando cada parte de la pregunta como respuesta binaria con 1 si se respondió “Siempre”, “La mayoría de las veces” o “Algunas veces”, y 0 si se respondió “Nunca”. Con esto se realizó análisis de asociación con el test Chi‐cuadrado. 3.5 Descripción de los tipos de análisis y tests realizados: 3.5.1 Análisis de frecuencias A través de este se describió cada una de las preguntas seleccionadas del cuestionario docente y del cuestionario de estudiantes sin realizar cambios. Se calculó frecuencia, porcentaje, frecuencia acumulada y porcentaje acumulado. 3.5.2 Chi cuadrado Este test de hipótesis basa su contraste en el estadístico Chi‐ Cuadrado. El objetivo de este test es identificar si dos variables cualitativas son independientes o no. Para esto utiliza una tabla de contingencia en la cual calcula el valor observado y esperado de la misma. La hipótesis a contrastar en test Chi Cuadrado son las siguientes: H0: Las características A y B son independientes H1: Las características A y B están asociadas Por lo tanto, si rechazamos la hipótesis nula, el test es significativo: esto es, es posible decir que las variables están asociadas. Este test se utilizó para corroborar la existencia de diferencias estadísticamente significativas a nivel de dependencia administrativa y de grupo socioeconómico de los establecimientos. 3.5.3 Kruskal‐Wallis El test de Kruskal‐Wallis es un método no paramétrico que sirve para realizar el equivalente a un análisis de varianza. A diferencia de la ANOVA, generalmente se usa para contrastar la igualdad de medianas en varios niveles de una variable, aunque en algunos textos se ha utilizado además para contrastar la media (Montgomery y Runger, 1996; Newbold, Carlson y Thorne, 2008). La prueba no paramétrica de Kruskal‐Wallis se puede usar tanto con datos ordinales como con datos de intervalo o de razón. Al ser una prueba no paramétrica, no resulta necesario suponer que las poblaciones tienen una distribución normal. De este modo, siempre que los datos de tres o más grupos de poblaciones sean ordinales, o siempre que la suposición de que las poblaciones tengan una distribución normal sea cuestionable, la prueba de Kruskal‐Wallis proporcionará un método estadístico alternativo para probar si las poblaciones tienen una distribución idéntica. La prueba de Kruskal‐Wallis, para efectos de esta investigación, fue utilizada de manera conjunta con el test Chi‐cuadrado, de modo de aumentar la exigencia a la hora de valorar la significancia estadística de las diferencias encontradas en las distintas respuestas. De este modo, se consideró
13
estadísticamente significativos los resultados de solo aquellas preguntas que se comportaron de acuerdo a lo esperado en ambos tests: Chi‐cuadrado y Kruskal‐Wallis. 3.5.4 Correlación de Spearman Una medida que se recomienda en variables ordinales, tamaños de muestra pequeños y problemas de normalidad es el coeficiente de correlación de Spearman. Este coeficiente de correlación por rangos se denota por rs, constituyendo el coeficiente r de Pearson, calculado para los valores ordenados de x y y. Este coeficiente de correlación incluye valores entre ‐1 y 1, los valores cercanos a los extremos indican un alto grado de correlación y los valores cercanos a 0 indican una falta de relación lineal entre las variables. Todos los análisis se realizaron con un 95% de confianza estadística (nivel de significancia de 0.05), es decir, se espera que en los test calculados los valores del p (p‐value) sea menor que 0.05 para poder afirmar que son significativos. Este coeficiente se calculó con el propósito de conocer el grado de asociación entre las respuestas entregadas por docentes y estudiantes, a tres pares de preguntas relativas a prácticas de evaluación. Estas preguntas, al ser equivalentes, resultaban comparables entre sí.
14
VI. Análisis descriptivo prácticas docentes y factores asociados A continuación se describen los principales resultados observados en las respuestas al cuestionario SIMCE, de los docentes que imparten la asignatura de Matemática en 4° básico el año 2011. Las preguntas revisadas se agrupan en cinco temas o categorías, a saber: (1) prácticas pedagógicas; (2) prácticas evaluativas; (3) clima escolar; (4) gestión directiva; y (5) uso de la información SIMCE. La información cuantitativa es presentada a través de tablas que indican, en todos los casos, la proporción o porcentaje de respuestas entregadas a cada alternativa de respuesta, en cada pregunta, considerando la totalidad de la muestra analizada (N=7387). Toda vez que las tablas entreguen resultados desagregados, a nivel de dependencia administrativa o grupo socioeconómico SIMCE de los establecimientos escolares donde ejercen los docentes encuestados, esto será debidamente especificado. Finalmente, como será posible observar, todas las tablas presentan algunos de sus resultados sombreados en un tono gris. Dicha indicación gráfica tiene el propósito de destacar, dentro de los resultados entregados, aquellos en los cuales se centrará el análisis de dicha tabla en particular. Esta selección puede corresponder a: los porcentajes de respuesta, más altos y más bajos observados; los porcentajes en los que se observan diferencias de un tamaño considerable entre grupos (dependencia o GSE); y aquellas respuestas en que es posible constatar algún tipo de tendencia (por ejemplo; el porcentaje de marcado de una respuesta aumenta, al aumentar la vulnerabilidad del establecimiento). 1. Prácticas pedagógicas 1.1 ¿Con qué frecuencia realiza las siguientes estrategias de trabajo durante las clases de Matemática de este curso? Tabla 1: Siempre (%)
1.
Trabajo grupal de los estudiantes en clase.
2.
Trabajo individual de los estudiantes en clase. Exposición de contenidos de aprendizaje.
3. 4. 5. 6. 7. 8.
Organización de la clase sobre la base de preguntas y respuestas. Exposiciones orales por parte de los estudiantes sobre temas del sector. Debates o foros en torno a temas del sector. Salidas a terreno como apoyo a algún contenido del sector. Preparación y realización de un proyecto grupal con informe escrito por parte de los estudiantes.
La mayoría de las veces (%)
Algunas veces (%)
Nunca (%)
9,18 25,22
29,02 54,87
55,58 15,5
1,73 0,15
26,32 34,97
32,33 40,5
35,17 19,55
1,58 0,74
9,5
22,53
55,3
8
4,28 2,25
14,9 6,67
53,57 56,61
23,14 30,4
2,57
10,42
57,84
24,81
15
Según se observa, las estrategias instruccionales más utilizadas son el trabajo individual de los estudiantes, clases expositivas, y organización de la clase a través de preguntas y respuestas; las que se podrían caracterizar como aquellas en que la interacción estudiante‐docente está eminentemente mediada por instrucciones y preguntas orales o escritas. Se señala que se utilizan siempre o la mayoría de las veces, en una proporción superior al 59% en todos los casos. Las estrategias menos aplicadas, según declaran los docentes encuestados serían las salidas a terreno y la preparación y realización de un proyecto grupal; indicándose que se implementan algunas veces o nunca, en una proporción de 72% en ambos casos. Se observan diferencias estadísticamente significativas a nivel de grupo socioeconómico (GSE), para todas las estrategias consultadas. A nivel de dependencia administrativa, se observan diferencias estadísticamente significativas para todas las estrategias analizadas, excepto para las clases expositivas y para aquellas basadas en preguntas y respuestas. A continuación se revisará los mencionados resultados por grupo socioeconómico y dependencia, para aquellas estrategias en que se observó diferencias sustantivas en términos de porcentaje: 1.1.1 ¿Con qué frecuencia utiliza el trabajo individual de los estudiantes durante las clases de Matemática de este curso?
GSE: A B C D E
Siempre (%)
26,25 23,87 28,7 30,69 24,94
Tabla 2: La mayoría de las veces (%)
52,5 57,81 58,65 59,08 65,7
Algunas veces (%)
Nunca (%)
20,91 18,2 12,6 10,09 9,35
0,34 0,12 0,06 0,14 0
Como se observa en la tabla anterior, es al interior del GSE E donde se declara en mayor medida, sobre 90%, que los estudiantes realizan trabajo individual siempre o la mayoría de las veces. En contraste, este tipo de estrategia es utilizada siempre o la mayoría de las veces por 79% de los docentes que trabajan en establecimientos pertenecientes al GSE A. Entre los docentes que reportan utilizar “algunas veces” esta estrategia, también se observa una diferencia entre los grupos A y E, aunque en sentido opuesto. Mientras los docentes del GSE E dicen usarla algunas veces solo en un 9%, los que pertenecen al GSE A reportan su uso en un 21%. 1.1.2 ¿Con qué frecuencia realiza exposiciones orales de los estudiantes durante las clases de Matemática de este curso? Tabla 3
Dependencia: Municipal Particular Subvencionado Particular Pagado
Siempre (%)
La mayoría de las veces (%)
Algunas veces (%)
Nunca (%)
10,93 9,1 6,13
26,69 20,56 14,44
57,06 58,14 61,93
5,31 12,2 17,51
16
Como se observa en la tabla previa, la estrategia de “exposiciones orales por parte de los estudiantes sobre temas del sector” muestra diferencias de un tamaño considerable, entre los establecimientos municipales y particulares pagados. Entre los docentes de establecimientos municipales, 37% declara que siempre o muchas veces sus estudiantes realizan exposiciones sobre un tema del sector; mientras los docentes de establecimientos particulares pagados, declara hacerlo siempre o muchas veces en un 21%. Este contraste se incrementa al observar la respuesta “Nunca”; la cual es de un 5% para establecimientos municipales, y de 18% para particulares pagados.
1.1.3
¿Con qué frecuencia realiza debates o foros en torno a temas del sector durante las clases de Matemática de este curso?
Tabla 4
Dependencia: Municipal Particular Subvencionado Particular Pagado
Siempre (%)
La mayoría de las veces (%)
Algunas veces (%)
Nunca (%)
5,23 3,79 1,95
16,96 14,32 10,82
58,7 53,13 48,05
19,11 28,76 39,18
Como se observó anteriormente, la estrategia de realizar debates o foros en torno a temas de matemática, no es muy utilizada entre los docentes. La principal diferencia en relación a esta estrategia, se observa en los 20 puntos porcentuales que separan las respuestas “Nunca” de los docentes de establecimientos municipales, versus los docentes de establecimientos particulares pagados. Un 19,11% de los docentes municipales refiere nunca realizar foros o debates, mientras un 39,18% de los docentes particulares pagados entregan esta misma respuesta. 1.1.4 ¿Con qué frecuencia realiza salidas a terreno como apoyo a algún contenido del sector durante las clases de Matemática de este curso? Tabla 5
Dependencia: Municipal Particular Subvencionado Particular Pagado
Siempre (%)
La mayoría de las veces (%)
Algunas veces (%)
Nunca (%)
3,03 1,65 0,65
9,18 4,44 3,03
65,3 51,73 48,92
22,49 42,18 47,4
El contraste que se observa en este caso, es el mismo que el observado en la pregunta anterior. Se podría decir que los docentes de establecimientos particulares pagados son más categóricos al declarar que nunca salen a terreno con sus estudiantes, lo cual sería señalado por 47,4% de estos docentes. Esto contrasta con el 22,49% de los docentes de establecimientos municipales que entregan esta respuesta.
17
1.2 Contenidos curriculares cubiertos
1.2.1
Teniendo en cuenta que el tiempo de clases es limitado y que es probable que no haya podido abordar todos los contenidos curriculares, queremos pedirle que nos indique en qué medida pudo usted enseñar los siguientes contenidos de Matemática en el 4° Básico evaluado.
Tabla 6
Lectura, escritura y formación de números naturales hasta el 1.000.000, a partir de los conocimientos adquiridos; interpretación de información proporcionada a través de dichos números y su empleo para comunicar información en diversos contextos. Reconocimiento del valor representado por cada dígito en números hasta el 1.000.000, de acuerdo con su posición y su relación con los conceptos de unidad de mil, decena de mil y centena de mil. Representación de números naturales o subconjuntos de ellos en la recta numérica y empleo de los símbolos e = para ordenar y comparar números naturales dentro del ámbito numérico estudiado. Cálculo escrito de productos y cuocientes con y sin resto, utilizando procedimientos basados en la descomposición aditiva de los números, en las propiedades de la multiplicación y en la relación entre ambas. Cálculo mental y escrito en situaciones donde sea significativo realizar este tipo de cálculo, de operaciones combinadas con números naturales en el ámbito numérico estudiado. Redondeo de números y su aplicación para estimar cantidades o medidas, el resultado de operaciones o para detectar eventuales errores de cálculo. Significado, lectura y escritura de fracciones simples o de uso frecuente (1/2, 1/3, 1/4, 1/8, 3/4, 1/10, 1/100), su empleo para cuantificar y comparar partes de un objeto, de una unidad de medida o de una colección de elementos; comparación entre fracciones y representación en la recta numérica. Lectura, escritura y reconocimiento del valor representado por cada dígito en números decimales entre 0 y 1 (hasta las cifras de las centésimas) y su relación con fracciones (1/2, 1/4, 3/4, 1/10, 1/100), empleo para cuantificar magnitudes, comparación entre números decimales y representación en la recta numérica. Resolución de problemas en contextos significativos, haciendo uso de la estimación y comparación de cantidades y medidas y de las operaciones conocidas en el ámbito de los números naturales hasta el 1.000.000. Uso de calculadora u otras herramientas tecnológicas para el estudio de regularidades numéricas y para facilitar el cálculo numérico, utilizando como criterios la cantidad de cálculos por realizar, el tamaño de los números y la complejidad de los cálculos. Transformación de números por aplicación reiterada de una regla aditiva y estudio de secuencias numéricas constituidas por múltiplos de un número. Empleo de cuadrículas para cuantificar o estimar el área de rectángulos o de figuras que pueden descomponerse en rectángulos. Reconocer redes y representaciones planas de objetos y cuerpos geométricos, e identificación del objeto representado. Producción y comunicación de información a partir de datos organizados en tablas y gráficos de barras simples, tanto verticales como horizontales. Resolución de problemas en los cuales es necesario extraer información desde tablas y gráficos de barras simples verticales y horizontales, comparación y formulación de afirmaciones respecto a las situaciones o fenómenos a los que se hace referencia.
No lo he visto todavía (%)
Algo (%)
Bastante (%)
Por completo (%)
No se incluye este año (%)
0,3
2,06
30,59
61,57
7
0,22
1,72
27,22
65,48
7
3
4,67
35,32
54,28
0,12
0,49
9
48,4
35
7
0,37
10,67
48,52
32,14
7
0,51
10
45,85
37
0,16
2,94
16
37,85
36,83
0,09
22,55
28,06
26,68
14,35
2
0,54
7,96
48,68
37
0,03
10,59
39,42
32,26
11,97
0,8
4,33
22,69
44,82
20,64
0,62
13,89
25,72
32,42
20,18
1,02
3,11
11,29
36,08
43,02
0,19
5,27
18
36,65
34,6
0,09
5,67
18
40,29
31,53
0,12
18
Como se observa en la tabla anterior, los contenidos que se reporta como abordados “por completo” son: “Reconocimiento del valor representado por cada dígito en números hasta el 1.000.000, de acuerdo con su posición y su relación con los conceptos de unidad de mil, decena de mil y centena de mil”, con un 65%; “Lectura, escritura y formación de números naturales hasta el 1.000.000, a partir de los conocimientos adquiridos; interpretación de información proporcionada a través de dichos números y su empleo para comunicar información en diversos contextos”, con un 62%; “Representación de números naturales o subconjuntos de ellos en la recta numérica y empleo de los símbolos e = para ordenar y comparar números naturales dentro del ámbito numérico estudiado”, con un 54%; y “Reconocer redes y representaciones planas de objetos y cuerpos geométricos, e identificación del objeto representado”, con un 43%. Por otra parte, los contenidos que se reportan como menos abordados, “aún no vistos”, son: “Lectura, escritura y reconocimiento del valor representado por cada dígito en números decimales entre 0 y 1 (hasta las cifras de las centésimas) y su relación con fracciones (1/2, 1/4, 3/4, 1/10, 1/100), empleo para cuantificar magnitudes, comparación entre números decimales y representación en la recta numérica”, con un 23%; “Empleo de cuadrículas para cuantificar o estimar el área de rectángulos o de figuras que pueden descomponerse en rectángulos”, con un 14%; “Uso de calculadora u otras herramientas tecnológicas para el estudio de regularidades numéricas y para facilitar el cálculo numérico, utilizando como criterios la cantidad de cálculos por realizar, el tamaño de los números y la complejidad de los cálculos”, con un 11%; y “Resolución de problemas en los cuales es necesario extraer información desde tablas y gráficos de barras simples verticales y horizontales, comparación y formulación de afirmaciones respecto a las situaciones o fenómenos a los que se hace referencia”, con un 6%. 1.3 Relación entre las estrategias de trabajo y la cantidad de contenidos curriculares cubiertos: Se observan diferencias estadísticamente significativas según la cantidad de contenidos curriculares, para todas las estrategias consultadas a excepción de las dos primeras: trabajo grupal; y trabajo individual de los estudiantes. 1. 2. 3. 4. 5. 6. 7. 8.
Tabla 7 0‐5 contenidos cubiertos (%) Trabajo grupal de los estudiantes en clase. 1,31 Trabajo individual de los estudiantes en clase. Exposición de contenidos de aprendizaje. Organización de la clase sobre la base de preguntas y respuestas. Exposiciones orales por parte de los estudiantes sobre temas del sector. Debates o foros en torno a temas del sector. Salidas a terreno como apoyo a algún contenido del sector. Preparación y realización de un proyecto grupal con informe escrito por parte de los estudiantes.
6‐10 contenidos cubiertos (%)
11‐15 contenidos cubiertos (%)
1,43
2,86 3,04
95,83 95,52
1,45 1,43
2,98 3,1
95,58 95,47
1,28
2,82
95,9
1,43 1,51
2,44 2,3
96,13 96,19
1,53
2,33
96,14
19
Como resulta evidente, la mayoría de los docentes refiere cubrir entre 11 y 15 contenidos curriculares, independiente de las estrategias instruccionales que utilizan, reportando dicho grado de cobertura en una proporción sobre el 95% en todos los casos. Cabe señalar que las estrategias instruccionales menos utilizadas, según se vio anteriormente (debates o foros; salidas a terreno; y preparación y realización de un proyecto grupal) son las que se asocian a porcentajes de cobertura curricular ligeramente más altos, sobre un 96% de reportes de 11 a 15 contenidos cubiertos. 2. Prácticas de evaluación 2.1 ¿Con qué frecuencia utiliza las siguientes metodologías de evaluación de aprendizajes en las clases de matemática con este curso? Tabla 8
1. Evaluación de diagnóstico. 2. Pruebas con alternativas o respuestas verdadero falso. 3. Pruebas con preguntas en que estudiantes deben escribir o resolver problemas. 4. Entrega de trabajos o proyectos de investigación individual o grupal, que luego evalúa con nota. 5. Autoevaluaciones o coevaluaciones.
Siempre (%)
La mayoría de las veces (%)
Algunas veces (%)
Nunca (%)
47,85 28,36
23,62 33,44
14,4 25,18
0,28 2,3
45,31
42,34
8,99
0,09
7,91
18,22
54,87
14,8
20,86
26,64
40,31
4,47
De acuerdo a la declaración de los docentes encuestados, la estrategia evaluativa más utilizada sería la de pruebas con preguntas de desarrollo donde los estudiantes deben escribir o resolver problemas; un 88% de los docentes encuestados declara utilizar este tipo de evaluaciones siempre o la mayoría de las veces, y cerca de la mitad de estos declara hacerlo siempre. Si bien se observan diferencias estadísticamente significativas a nivel de dependencia administrativa y GSE de los establecimientos, no es posible encontrar diferencias sustantivas, en términos de porcentaje, respecto de esta práctica evaluativa. En contraposición a lo que sucede con las pruebas donde los estudiantes deben escribir o resolver problemas, cerca del 70% de los docentes encuestados declara que solo algunas veces o nunca emplea como estrategia evaluativa la entrega de trabajos o proyectos de investigación que luego evalúa con nota. Dentro de esta estrategia destaca que más del 29% de los docentes que trabajan en un establecimiento del GSE E declara nunca utilizar esta estrategia, lo cual contrasta con los porcentajes observados en los otros grupos, que en ningún caso son superiores a 18%. Una situación similar se observa cuando los resultados son analizados según dependencia administrativa, donde el 29% de los docentes que trabajan en establecimientos particulares pagados señalan no utilizar nunca este tipo de estrategias, mientras que esta proporción corresponde a un 18% en establecimientos particulares subvencionados y un 12% en establecimientos municipales. Como se señaló anteriormente, estas diferencias serían significativas estadísticamente.
20
Finalmente, se observa que los métodos de evaluación más tradicionales como son las pruebas de “papel y lápiz” (de respuesta cerrada o aquellas donde el estudiante debe producir una respuesta) son, en general, utilizados por los docentes encuestados con una mayor frecuencia que métodos menos tradicionales como la realización de autoevaluaciones y coevaluaciones, y la realización de trabajos de investigación individual o grupal. A continuación se revisará en mayor detalle, algunos resultados por dependencia. Llama la atención que los métodos de evaluación menos tradicionales tienden a ser utilizados con una menor frecuencia, por los docentes de establecimientos particulares pagados o que pertenecen al GSE E. Esta situación se ejemplifica en las diferencias observadas entre dependencias administrativas, respecto del uso de trabajos o proyectos de investigación como método de evaluación. 2.1.1 ¿Con qué frecuencia utilizó trabajos o proyectos de investigación individual o grupal, que luego evalúa con notas en las clases de matemática con este curso? Tabla 9
Dependencia: Municipal Particular Subvencionado Particular Pagado
Siempre (%)
La mayoría de las veces (%)
Algunas veces (%)
Nunca (%)
8,89 7,72 6,07
20,86 17,35 13,23
57,89 57,41 51,41
12,36 17,53 29,28
Según se observa, los establecimientos particulares pagados declaran en mucha menor medida utilizar esta estrategia “Siempre” o “La mayoría de las veces” y, consiguientemente, son los que más indican nunca utilizarla, en un 29,28%. 2.2 ¿Con qué frecuencia deja tareas de matemática para después de la clase para este curso? Tabla 10
Todas las clases (%) 13
La mayoría de las clases (%) 41
Algunas clases (%) 39
Nunca deja tareas (%) 2
Entre los docente encuestados, poco más de la mitad de los docentes declara que después de todas, o de la mayoría de las clases, deja tarea a sus estudiantes. Al comparar las respuestas por dependencia, se observa que los docentes de establecimientos Particulares Pagados y Particulares Subvencionados tienden a reportar que dejan tarea luego de “Algunas clases” o “Nunca”, en una proporción mayor que los docentes que trabajan en establecimientos Municipales: Tabla 11
Dependencia: Municipal Particular Subvencionado Particular Pagado
Todas las clases (%) 14,93 12,35 9
La mayoría de las clases (%) 44,02 40,64 43,29
Algunas clases (%) 39 43,97 43,29
Nunca deja tareas (%) 1,67 3,03 3,46
21
Lo mismo sucede al comparar las respuestas de los docentes que trabajan en establecimientos de los GSE D y E, con aquellos que lo hacen en establecimientos de los grupos A y B, los primeros tienden a reportar una menor frecuencia de envío de tareas: Tabla 12
GSE: A B C D E
Todas las clases (%) 13,95 15,31 12,88 11,05 9,69
La mayoría de las clases (%) 45,35 42,69 40,97 39,52 43,39
Algunas clases (%) 38,83 40,16 43,83 45,04 43,61
Nunca deja tareas (%) 1,87 1,84 2,33 4,39 3,3
Tanto las diferencias observadas por dependencia como aquellas observadas por grupo socioeconómico son significativas estadísticamente. 2.3 ¿Con qué frecuencia hace las siguientes actividades de retroalimentación de Matemática con este curso? Tabla 13
1. Revisa si hicieron las tareas. 2. Resuelve en clases las tareas que envía para la casa. 3. Vuelve a explicar una materia si algún estudiante se lo pide. 4. Explica las materias hasta que todos los estudiantes entiendan. 5. Explica la corrección de las pruebas a todo el curso en el pizarrón. 6. Explica la corrección de las guías y ejercicios a todo el curso en el pizarrón.
Siempre (%)
La mayoría de las veces (%)
Algunas veces (%)
Nunca (%)
74,62 45,12
20,56 36
1,45 13,14
0,24 1,43
83,69
12,68
1,04
0,04
72,33
24,19
0,83
0,01
59,01
29,08
8,66
0,45
64,59
27,32
4
0,3
Según se observa en la tabla, las actividades de retroalimentación más utilizadas son: la revisión de tareas; el volver a explicar una materia si es solicitado; y el explicar las materias hasta que todos los estudiantes entiendan. Los docentes declaran realizar estos tres tipos de actividades siempre o la mayoría de las veces en una proporción superior al 95% en todos los casos. Por otra parte, las actividades de retroalimentación que se harían con menor frecuencia son: la resolución en clase de tareas; y la corrección de pruebas con todo el curso en el pizarrón. Se reporta realizar estas actividades solo “algunas veces” en un 13% y un 9%, respectivamente. Para todas las actividades de retroalimentación consultadas, se observan diferencias estadísticamente significativas por GSE, con excepción de explicar las materias hasta que todos las
22
comprendan. También se observan diferencias significativas a nivel de dependencia administrativa, excepto para “volver a explicar una materia si es solicitado” y “explicar la corrección de guías y ejercicios en el pizarrón”. A continuación se revisará los mencionados resultados por GSE y dependencia, para aquellas actividades de retroalimentación en que se observó diferencias sustantivas en términos de porcentaje: 2.3.1 ¿Con qué frecuencia resuelve en clases las tareas de Matemática que envía para la casa con este curso? Tabla 14
GSE: A B C D E
Siempre (%)
La mayoría de las veces (%)
Algunas veces (%)
Nunca (%)
42,96 45,84 47,79 51,66 59,82
40,03 38,69 38,02 35,21 26,56
15,82 14,26 12,4 11,11 11,16
1,18 1,21 1,79 2,02 2,46
Como se observa en esta tabla, la resolución de tareas enviadas a casa en clase, pareciera ir aumentando a medida que disminuye la vulnerabilidad del GSE. Mientras esta actividad se realizaría siempre solo en un 43% en el grupo A, en el grupo E se declara realizarla siempre en un 60%. 2.3.2 ¿Con qué frecuencia explica la corrección de las pruebas en el pizarrón con este curso? Tabla 15
Dependencia: Municipal Particular Subvencionado Particular Pagado
Todas las clases (%) 66,28 54,97 47,64
La mayoría de las clases (%) 27,25 32,37 37,77
Algunas clases (%) 6,32 12,05 12,45
Nunca deja tareas (%) 0,15 0,62 2,15
En esta tabla ocurre algo similar a lo observado en la tabla anterior, pero esta vez a nivel de dependencia del establecimiento y en sentido inverso; la corrección de pruebas en el pizarrón, pareciera ir disminuyendo a medida que disminuye el financiamiento estatal que recibe el establecimiento. Mientras esta actividad se realizaría siempre en un 66% a nivel municipal, a nivel particular pagado se declararía realizarla en un 48%. Para finalizar este apartado, en cuanto a las tres preguntas de evaluación analizadas, se revisó el grado de asociación entre las respuestas dadas por los docentes y aquellas entregadas por sus propios estudiantes a estas mismas preguntas, aprovechándose la comparabilidad permitida por la estructura en que están formuladas las preguntas, para ambos actores, en los cuestionarios. Si bien
23
se encontró una correlación estadísticamente significativa y directa en todos los casos, ésta siempre exhibió un tamaño o magnitud muy pequeño. 3. Clima escolar 3.1 Durante este año, ¿algún estudiante ha sido descalificado, excluido o maltratado por otros estudiantes, sus profesores o los directivos, por alguno de los siguientes motivos?
Tabla 16
1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Sus notas o calificaciones. La ropa que usa. Su apariencia física. El lugar donde vive. Ser de otro país. Pertenecer a un pueblo originario. Su religión. Tener una discapacidad. Ser hombre. Ser mujer.
Sí (%) 2,72 3,68 8 1,41 3,44 2,46 0,62 2,1 0,31 0,5
No (%) 84,47 86,1 82,59 89,77 88,28 89,13 91,23 90,44 92,46 92,13
No sabe (%) 9 7,04 6,08 5,71 4,7 5 5,12 4,13 3,6 3,6
Los docentes declaran de manera sistemática que no se observarían conductas de descalificación, maltrato o exclusión hacia los estudiantes en su establecimiento. Reportan en una proporción superior al 82% en todos los casos, que dichas conductas no se constatarían para ninguno de los motivos consultados.
En este contexto, destaca el 8% de docentes que declara observar descalificaciones, exclusiones o maltrato a causa de la apariencia física y, aunque en menor medida, las menciones en torno al 3,5% de conductas discriminatorias, a propósito de la vestimenta o la condición de extranjero.
Por otra parte, conductas discriminatorias asociadas a sexo o religión serían las menos declaradas, mencionándose que se observarían, solo en una proporción en torno al 0,5%. Para todos los motivos de discriminación consultados, se observan diferencias estadísticamente significativas por GSE y por dependencia administrativa. Tabla 17
1. 2. 3. 4. 5. 6. 7. 8. 9. 10.
Sus notas o calificaciones. La ropa que usa. Su apariencia física. El lugar donde vive. Ser de otro país. Pertenecer a un pueblo originario. Su religión. Tener una discapacidad. Ser hombre. Ser mujer.
Respuesta “No sabe” por dependencia (%)* M PS PP 9,69 8,87 18,52 6,81 6,89 13,51 5,58 6,46 11,33 5,16 5,65 13,73 4,1 5,15 9,78 4,63 4,93 11,74 4,6 5,54 9,57 3,96 3,9 9,15 3,23 3,7 8,3 3,24 3,73 8,19
*Proporción de respuesta “No sabe” en relación a las otras alternativas de respuesta para cada pregunta; al interior de cada tipo de dependencia administrativa.
24
Según se observa en la tabla anterior, para todos los motivos de discriminación consultados, se observa de manera sistemática una mayor representatividad de las menciones a “No sabe” en los establecimientos particulares pagados. Esto también se constataría a nivel de GSE, para el grupo E, excepto en lo que refiere a sexo y discapacidad. 4. Gestión directiva 4.1 ¿En qué medida está de acuerdo o en desacuerdo con las siguientes afirmaciones relacionadas con el equipo directivo de este establecimiento? Tabla 18
1. 2. 3. 4.
5.
6. 7. 8. 9.
10. 11. 12. 13. 14. 15.
Favorece el trabajo de los profesores. Tiene altas expectativas del trabajo de los profesores. Involucra a los profesores en la definición de las metas pedagógicas. Tiene altas expectativas respecto a los logros de aprendizaje que pueden alcanzar los estudiantes en este establecimiento. Promueve instancias sistemáticas en que los profesores tienen la posibilidad de discutir sobre asuntos y estrategias pedagógicas. Evalúa el impacto de la labor docente en los logros de los estudiantes. Observa y supervisa sistemáticamente los métodos utilizados por los docentes en la sala de clases. Después de la observación y supervisión, ayuda y apoya a los docentes para mejorar su rendimiento, Propone a los docentes, estrategias pedagógicas específicas para mejorar el aprendizaje de los estudiantes. Realiza un seguimiento sistemático de la situación y progreso del aprendizaje de los estudiantes. Define con claridad metas de aprendizaje para el año escolar. Evalúa las metas de aprendizaje a través de pruebas de nivel. Se hace responsable y partícipe de los resultados obtenidos por los estudiantes. Promueve el perfeccionamiento de los profesores (becas, tiempo para capacitaciones). Procura que los profesores no se distraigan de su labor principal (enseñanza) a través de la reducción de presiones externas o administrativas.
Muy de acuerdo (%)
De acuerdo (%)
En Muy en desacuerdo desacuerdo (%) (%)
50,21 51,29 49,05
37,43 36,25 36,17
4,55 4 6,63
0,84 0,69 1
49,78
38,5
4,47
0,43
41,63
37,92
11,32
1,91
42,45
40,5
8,75
1,07
39,56
40,44
10,8
1,83
37
37,61
14,42
3,02
37
38
13,17
2,88
37,08
41,59
11,97
2
48,04
37,08
6,82
1,38
43,58
36,28
10,74
2,38
41,97
37
11,41
2
36,58
35,22
14,78
5,54
33,76
36,6
15,05
6,42
Los docentes son consultados en esta pregunta sobre distintos aspectos de la gestión de los equipos directivos de sus establecimientos. Todos los aspectos podrían ser considerados positivos o deseables. Se observa una marcada tendencia, sobre un 70% en todos los casos, a reportar que se encuentran “Muy de acuerdo” o “De acuerdo” en que estos aspectos se cumplen.
25
Las afirmaciones sobre el equipo directivo sobre las que se reporta estar “Muy de acuerdo” en mayor medida, en una proporción superior al 48%, son las relativas a: altas expectativas del trabajo de los profesores; favorecer el trabajo de los profesores; altas expectativas respecto a los logros de aprendizaje de los estudiantes; involucrar a los profesores en la definición de metas pedagógicas; y definir con claridad las metas de aprendizaje para el año escolar.
Las afirmaciones sobre el equipo directivo menos declaradas refieren a: la promoción del perfeccionamiento de los profesores; y la reducción de presiones externas o administrativas; mencionándose en ambos casos en una proporción superior al 20%, que se encuentran “En desacuerdo” o “Muy en desacuerdo” en que estos aspectos se cumplen.
Para todas las afirmaciones consultadas (excepto para “Tiene altas expectativas del trabajo de los profesores”), se observa diferencias estadísticamente significativas por GSE y por dependencia administrativa. Si bien todos los docentes se ubicaron en su mayoría en las respuestas de acuerdo (“Muy de acuerdo” y “De acuerdo”), se observa una mayor representatividad de dichas respuestas, distribuidas homogéneamente, entre los GSE más vulnerables (A, B y C). También se observa una mayor representatividad de dichas respuestas (excepto para “Tiene altas expectativas del trabajo de los profesores”) entre los establecimientos municipales y particulares subvencionados. 5. Uso de la Información SIMCE 5.1 El Informe de Resultados para Docentes y Directivos SIMCE 4° Básico 2010 es un documento donde aparecen los resultados de SIMCE que obtuvo el establecimiento. Durante el año 2011, ¿tuvo acceso a dicho informe?
Los docentes declaran haber tenido acceso a este informe en un 84,11%; mientras un 10,5% señala no haberlo recibido; y un 5,28% no entrega respuesta a esta pregunta. A aquellos docentes que reportaron “Sí” haber accedido al mencionado informe se realizó la siguiente pregunta:
5.2 Pensando en el Informe de Resultados para Docentes y Directivos SIMCE 4° Básico 2010 ¿Cómo evalúa la claridad de los siguientes aspectos?4
Tabla 19
1. 2. 3. 4. 5.
Presentación de los resultados nacionales (puntajes promedio y niveles de logro). Comparaciones de los resultados nacionales. Presentación de los resultados de su establecimiento (puntajes promedio y niveles de logro). Comparaciones de los resultados de su establecimiento. Taller de Análisis de Resultados SIMCE.
Muy claro (%) 53,91
Bastante claro (%) 41,53
Poco claro (%) 3,79
Nada claro (%) 0,77
52,5 55,98
41,54 38,21
5,01 4,48
0,95 1,33
54,81
38,68
4,91
1,6
46,51
42
8,62
2,86
4
Esta pregunta y la que sigue a continuación (5.2 y 5.3) debían ser respondidas solo por aquellos docentes que declararon en la pregunta 5.1, sí haber accedido al informe. De acuerdo a las bases de datos analizadas, 6312 profesores respondieron afirmativamente dicha pregunta; sin embargo, se encontró en todos los casos un número superior de respuestas (entre 6390 y 6513) sobre claridad y utilidad del Informe. Dado lo anterior, para efectos del presente informe, los porcentajes de respuesta de estas preguntas se reportaron sobre la base del N de respuestas disponibles para cada caso.
26
Los docentes son consultados en esta pregunta, sobre la claridad de los contenidos del informe de resultados SIMCE. Se observa una marcada tendencia, sobre el 88% en todos los casos, a declarar que los aspectos consultados son abordados en el informe de manera “Muy clara” o “Bastante clara”. Los resultados nacionales; las comparaciones de resultados nacionales; la presentación de los resultados del establecimiento; y las comparaciones de los resultados del establecimiento; resultan “Muy claros” en una proporción superior al 52% en todos los casos. En este contexto, el taller de análisis de resultados SIMCE comparativamente, es el aspecto del informe considerado en menor medida muy claro, con un 46,51% de menciones a dicha respuesta. Para todos los aspectos consultados, se observa diferencias estadísticamente significativas por GSE. A la vez, no se observa diferencias significativas por dependencia administrativa, excepto en cuanto a la claridad del taller de análisis de resultados SIMCE. Dentro de la mayoría de docentes que reportaron considerarlo muy claro o bastante claro, más del 50% de ellos pertenecen a establecimientos municipales. 5.3 ¿Cuán útil considera el Informe de Resultados para Docentes y Directivos SIMCE 4° Básico 2010 para realizar las siguientes estrategias? Tabla 20
1. 2. 3. 4. 5.
6.
Identificar los conocimientos y habilidades alcanzados por los estudiantes. Identificar los conocimientos y habilidades que requieren mayor trabajo con los estudiantes. Retroalimentar sus prácticas de aula. Redefinir la metodología y el tipo de evaluaciones que realiza este nivel. Complementar la información que usted obtiene a partir de las evaluaciones internas (por ejemplo, pruebas aplicadas al finalizar una unidad de contenidos). Trabajar en conjunto con otros profesores del nivel, un plan de trabajo para mejorar los aprendizajes de los estudiantes.
Muy útil (%) 56,87
Bastante útil (%) 38,12
Poco útil (%) 4,55
Nada útil (%) 0,45
58,66
36,31
4,62
0,4
58,32
35,66
5,33
0,69
53,21
38,93
7,15
0,71
53,02
40,21
6,12
0,65
55,1
37,74
6,17
0,99
Los docentes son consultados en esta pregunta, sobre la utilidad del informe de resultados SIMCE. Se observa una marcada tendencia, sobre el 93% en todos los casos, a declarar que el informe resulta “Muy útil” o “Bastante útil”, para la realización de determinadas estrategias.
Identificar conocimientos y habilidades de estudiantes; Identificar conocimientos y habilidades que requieren mayor trabajo; retroalimentar sus prácticas de aula y; trabajar en conjunto con otros profesores; son las estrategias para las que el informe resultaría “Muy útil” en una proporción superior al 55% en todos los casos. En este contexto, redefinir la metodología y tipo de evaluaciones, es la estrategia que en menor medida se sirve de la utilidad el informe, con un 7,15% de docentes que lo considera “Poco útil” para este propósito. Para todas las estrategias consultadas, se observa diferencias estadísticamente significativas por GSE y por dependencia administrativa.
27
Tabla 21
Respuesta “muy útil” por dependencia (%)* M PS PP
1. 2. 3. 4. 5.
6.
Identificar los conocimientos y habilidades alcanzados por los estudiantes. Identificar los conocimientos y habilidades que requieren mayor trabajo con los estudiantes. Retroalimentar sus prácticas de aula. Redefinir la metodología y el tipo de evaluaciones que realiza este nivel. Complementar la información que usted obtiene a partir de las evaluaciones internas (por ejemplo, pruebas aplicadas al finalizar una unidad de contenidos). Trabajar en conjunto con otros profesores del nivel, un plan de trabajo para mejorar los aprendizajes de los estudiantes.
58,33
56,21
52,38
60,87
57,18
52,24
61,94
54,92
49,73
55,47
51,55
44,53
54,67
52,1
46,48
57,08
54,14
47,14
*Proporción de respuesta “No sabe” en relación a las otras alternativas de respuesta para cada pregunta; al interior de cada tipo de dependencia administrativa.
Si bien todos los docentes reportaron en su mayoría una percepción de utilidad (“Muy útil” y “Bastante útil”), se observa una mayor representatividad de dichas respuestas, distribuidas homogéneamente, entre los GSE más vulnerables (A, B y C). Según se observa en la tabla anterior, todos los docentes reportaron en su mayoría una percepción de mucha utilidad (“Muy útil”) del informe SIMCE. En todos los casos, si bien las diferencias son muy pequeñas, disminuye de manera sistemática la percepción de utilidad, a medida que disminuye el financiamiento estatal que recibe el establecimiento. También se observaría una mayor percepción de utilidad (“Muy útil” y “Bastante útil”), entre los GSE más vulnerables (A, B y C). 5.4 Las Orientaciones para la Medición SIMCE 4° Básico 2011 es un documento que entrega información de los niveles que deben rendir las pruebas, los conocimientos y habilidades que se evaluarán, entre otros aspectos ¿Tuvo usted acceso a este documento? Un 64,72% de los docentes refiere haber tenido acceso al documento de orientaciones para la medición SIMCE; versus un 21,56% que refiere no haberlo recibido; un 9,48% que declara no saber si accedió al documento o no; y un 4,2% que no entrega respuesta a esta pregunta.
28
VII. Conclusiones El análisis de datos anteriormente presentado permite mostrar, en términos generales, que de acuerdo al reporte de los mismos docentes, éstos emplean una diversidad de estrategias de enseñanza y evaluación, cubren una importante proporción del currículo, tienen una percepción positiva de la gestión de sus equipos directivos y conocen, comprenden y utilizan la información provista por SIMCE. Dado que esta investigación tiene por propósito establecer una línea de base para monitorear el efecto que la puesta en marcha del SNAC pudiese tener en las prácticas docentes resulta pertinente describir, en particular, cómo son las prácticas docentes declaradas por ellos mismos en los ámbitos que, según se ha demostrado en estudios a nivel internacional, tienden a ser modificados producto de la introducción de políticas de responsabilización por resultados de aprendizaje. En cuanto a dichos ámbitos, se describirá aquellas prácticas docentes que permitirán monitorear en el futuro los siguientes fenómenos: modificación de la cobertura curricular; orientación de las prácticas evaluativas y didácticas hacia aquellas más coherentes con evaluaciones estandarizadas a gran escala; y discriminación de estudiantes por su rendimiento. También se dará cuenta de las posibilidades de uso constructivo de la información del SIMCE a las que pueden abrirse los docentes, cuando declaran acceder y comprender la información sobre los resultados de esta evaluación. Finalmente se describirá las prácticas que los docentes refieren como más comunes por parte de los equipos directivos de sus establecimientos, pudiendo distinguirse entre prácticas orientadas a brindar apoyo a la labor docente y prácticas para monitorear el logro de resultados de aprendizaje. Cobertura curricular Respecto de la cobertura curricular, los contenidos para los que los docentes reportan una mayor cobertura son: “Reconocimiento del valor representado por cada dígito en números hasta el 1.000.000, de acuerdo con su posición y su relación con los conceptos de unidad de mil, decena de mil y centena de mil”, con un 65% de reportes de haberlo cubierto completamente; “Lectura, escritura y formación de números naturales hasta el 1.000.000, a partir de los conocimientos adquiridos; interpretación de información proporcionada a través de dichos números y su empleo para comunicar información en diversos contextos”, con un 62%; “Representación de números naturales o subconjuntos de ellos en la recta numérica y empleo de los símbolos e = para ordenar y comparar números naturales dentro del ámbito numérico estudiado”, con un 54%; y “Reconocer redes y representaciones planas de objetos y cuerpos geométricos, e identificación del objeto representado”, con un 43% reportado de cobertura completa. Por otra parte, los contenidos que se reportan como menos abordados, son: “Lectura, escritura y reconocimiento del valor representado por cada dígito en números decimales entre 0 y 1 (hasta las cifras de las centésimas) y su relación con fracciones (1/2, 1/4, 3/4, 1/10, 1/100), empleo para cuantificar magnitudes, comparación entre números decimales y representación en la recta numérica”, con un 23% de reportes de aún no haberlo visto; “Empleo de cuadrículas para cuantificar o estimar el área de rectángulos o de figuras que pueden descomponerse en rectángulos”, con un 14%; “Uso de calculadora u otras herramientas tecnológicas para el estudio de regularidades numéricas y para facilitar el cálculo numérico, utilizando como criterios la cantidad de cálculos por realizar, el tamaño de los números y la complejidad de los cálculos”, con un 11%; y “Resolución de problemas en los cuales es necesario extraer información desde tablas y gráficos de barras simples
29
verticales y horizontales, comparación y formulación de afirmaciones respecto a las situaciones o fenómenos a los que se hace referencia”, con un 6% de reportes de no haberlo cubierto. Al analizar estos resultados de cobertura curricular comparándolos con los contenidos evaluados en la prueba SIMCE 2011 de Matemática para cuarto básico, no es posible observar alguna relación entre aquellos contenidos que, según los docentes encuestados, presentan una mayor cobertura curricular y aquellos que son evaluados por el SIMCE5. Prácticas instruccionales y evaluativas Respecto de las estrategias de enseñanza más empleadas por los docentes, se destacan el trabajo individual de los estudiantes, la realización de clases expositivas, y la formulación de preguntas y respuestas. Este tipo de prácticas son más frecuentes que aquellas que requieren trabajo grupal, debate entre los estudiantes y trabajo fuera de la sala de clases. Mientras el primer tipo de estrategias es empleada siempre o la mayoría de las veces por entre un 75% y un 80% de los docentes, el otro grupo de estrategias es empleado con esta frecuencia por entre un 38% y un 13% de los docentes encuestados. A la hora de interpretar estas frecuencias se debe tener en consideración la pertinencia de las estrategias instruccionales en relación a la asignatura impartida. Por ejemplo, resulta esperable la baja frecuencia de resultados “Siempre”, para la estrategia de salidas a terreno en el contexto de la enseñanza de matemática. Llama la atención que la frecuencia de este tipo de prácticas no se distribuye homogéneamente entre grupos socioeconómicos ni entre dependencias administrativas, observándose una tendencia en el nivel municipal a reportar en mayor medida la utilización de técnicas más innovadoras como la realización de exposiciones orales de los estudiantes, debates y foros, y salidas a terreno. En cuanto a sus prácticas evaluativas, el formato más utilizado es la prueba con preguntas y resolución de problemas, con un 87% de menciones a nivel general, seguido de pruebas con alternativas o respuestas verdadero/falso (62%), ambas correspondientes a pruebas en formato de “papel y lápiz”. Si bien la preponderancia a entregar esta respuesta atraviesa todos los niveles socioeconómicos y dependencias administrativas; se observa en mayor medida en los establecimientos particulares pagado y de GSE E, que en los de nivel municipal y GSE A. Por otra parte, la estrategia de evaluación menos utilizada es la realización de trabajos de investigación individual o grupal, con solo un 26% de menciones a nivel general. Si bien la mayoría de los establecimientos reportan usarla algunas veces o nunca; esto se observa en mayor medida en los establecimientos particulares pagados, con un 29% de respuesta “Nunca”, en contraste con un 12% de esta respuesta a nivel municipal. Los docentes encuestados suelen dejar tareas la mayoría o alguna de las clases, según declara el 80% de ellos. Si bien no hay una diferencia sustantiva entre las respuestas de los distintos tipos de establecimientos, igualmente se observa que los docentes de establecimientos particulares 5
Ver folleto de Orientaciones para la Medición SIMCE 4° Básico 2011, disponible en: http://www.agenciaeducacion.cl/wp‐ content/uploads/2013/02/Folleto_de_Orientaciones_SIMCE_2011_4to_Basico.pdf
30
tenderían a dejar tarea con una menor frecuencia que sus pares de colegios municipales. Lo mismo ocurriría con los establecimientos de los GSE A y B, en comparación al resto de los grupos socioeconómicos. Dentro de las actividades de retroalimentación, las más realizadas (siempre o la mayoría de las veces) son la revisión de “si hicieron las tareas” con un 95% de menciones; y la reiteración de contenidos y explicaciones con un 96% de menciones. En cuanto a la resolución de tareas en clase, la frecuencia de esta actividad pareciera ir aumentando de la mano con el nivel socioeconómico de los establecimientos. Por su parte, la corrección de pruebas en el pizarrón tiende a aumentar desde el nivel particular pagado hacia el nivel municipal. Prácticas de discriminación de estudiantes Los docentes tienden a reportar en baja proporción conductas de discriminación en sus establecimientos, las que no superan una presencia de 3,7% en estas respuestas. Llama la atención una importante proporción de docentes que señala no saber si estas conductas están presentes en sus establecimientos (entre 3,6 y 9% de las respuestas). La mayor proporción de docentes que refieren no saber si se constatan estas conductas en sus escuelas, pertenecen a establecimientos particular subvencionado y particular pagado. Por otro lado, la respuesta “no sabe” se presenta con una mayor frecuencia frente a la discriminación por notas o calificaciones, Este es un aspecto que será de particular interés al realizar el seguimiento del presente estudio, en tanto se trata de prácticas con frecuencia asociadas a la introducción de sistemas de responsabilización, sobre todo en lo que refiere a la discriminación de estudiantes por sus notas o calificaciones. Percepción de la gestión de los equipos directivos Los docentes tienden a valorar de manera muy positiva la gestión de los equipos directivos de sus establecimientos. Las áreas donde se observa una menor valoración de los equipos directivos serían la promoción del perfeccionamiento continuo de los docentes, y la reducción de presiones externas y administrativas para que los docentes puedan enfocarse en su quehacer, cuyas menciones se encuentran en torno al 70% (en comparación al resto de las menciones en torno al 90%). Al igual que en el caso anterior, este constituye un aspecto relevante de monitorear; en tanto, en un sistema de responsabilización donde no se tomen las medidas adecuadas para apoyar a las escuelas en el uso constructivo de la información de pruebas estandarizadas, eventualmente los equipos directivos se podrían orientar más hacia acciones de control y monitoreo, que a acciones de apoyo y acompañamiento. Uso de la información SIMCE En cuanto al uso de la información SIMCE, ésta se valora de manera general como muy útil y clara (con respuestas de “mucha” o “bastante” utilidad y claridad, sobre un 90% prácticamente en todos los casos), reportándose un alto acceso a ésta, en torno al 84%. En todos los casos, si bien las diferencias son muy pequeñas, disminuye la percepción de utilidad, desde el nivel municipal hacia el nivel particular pagado. También se observaría una mayor percepción de utilidad (“Muy útil” y “Bastante útil”), entre los GSE más vulnerables (A, B y C). Este resultado constituye un aspecto que será importante seguir monitoreando, en tanto una consecuencia deseada de la introducción de sistemas de responsabilización, dice relación con un efecto positivo del uso y difusión de los resultados de evaluación, los que podrían informar la mejora de las prácticas de los docentes.
31
Consideraciones sobre el cuestionario y cotejo con otros resultados docentes Como es posible apreciar, de manera general y sistemática, los docentes entregan una percepción ampliamente favorable hacia todos los aspectos consultados, al tiempo que reportan un repertorio rico y variado de prácticas pedagógicas. En este contexto, es importante considerar de manera moderada dicho reporte, en atención a la naturaleza auto‐reportada de esta información. Si bien es un instrumento que asegura confidencialidad a sus respondientes, es posible que éstos no sientan la libertad de plasmar de manera fidedigna una evaluación crítica de su propio quehacer o la realidad de su establecimiento. O bien, otra posibilidad es que, independiente del temor a una consecuencia, los docentes no se encuentren familiarizados con la realización de valoraciones o juicios críticos acerca de su propio quehacer, lo cual sería consistente con algunos de los resultados de la Evaluación Docente, como se verá a continuación. Si se atiende al discreto resultado obtenido por los docentes en la Evaluación Docente, en el indicador de “atribución de los resultados de aprendizaje”, se observa que los docentes exhiben dificultades a la hora reflexionar a partir de los resultados de evaluación (según nos indica una de las ocho dimensiones de la Evaluación Docente), y de identificar los factores que inciden en los resultados de aprendizaje obtenidos, sobre todo en lo que refiere a la centralidad que tiene su propio rol docente en el proceso educativo. Esta reflexión debe considerarse a la hora de utilizar los cuestionarios SIMCE como un instrumento para monitorear lo que los docentes hacen un sus salas de clases. De ser efectivo que la condición de ser auto‐reportado impacta en los resultados que se obtienen de este cuestionario, es razonable esperar que a medida que aumenten las consecuencias de SIMCE sobre los establecimientos, los docentes tiendan a modificar en mayor medida sus respuestas de acuerdo a lo que podría considerarse como deseable. Por esta razón, un desafío a abordar en el futuro es la búsqueda de medios de triangulación de la información reportada a través de los cuestionarios SIMCE de manera de verificar su validez y confiablidad y, por tanto, su utilidad para el monitoreo y evaluación de elementos relevantes para el sistema educacional que son recogidos a través de estos instrumentos. Líneas de investigación a seguir Según los resultados observados en el presente estudio, surgen algunas posibles líneas de profundización que ayuden a continuar respondiendo a sus propósitos. En primer lugar, se espera poder triangular la información recogida en este estudio con información levantada en terreno a través de métodos cualitativos respecto de los mismos ámbitos consultados en los cuestionarios SIMCE de docentes. Esto permitirá complementar la información recogida por SIMCE y, además, estimar en términos genéricos el efecto que pudiese tener el hecho de que los cuestionarios requieran el autorreporte de los docentes respecto de sus propias prácticas. En segundo lugar, luego de un plazo razonable de la puesta en marcha de la ordenación y clasificación de establecimientos en el contexto del SNAC, se compararán los resultados obtenidos en este estudio con los resultados de futuros cuestionarios SIMCE para docentes, en las mismas dimensiones aquí relevadas. Complementariamente, y mientras se implementa el SNAC, estos datos pueden ser analizados considerando diferentes agrupaciones de escuelas sometidas a diferentes niveles de “presión” por la obtención de buenos resultados SIMCE de acuerdo a las categorías de clasificación de establecimientos para la obtención de la Subvención Escolar Preferencial (SEP) y,
32
además, de acuerdo al tiempo que llevan distintos establecimientos como parte de esta iniciativa. Este análisis puede ser una primera aproximación a lo que se podría observar con la entrada en vigencia del SNAC, dado que la SEP es la primera iniciativa a nivel de sistema educacional que vincula los resultados de evaluaciones estandarizadas a fuertes consecuencias para los establecimientos.
33
VIII. Bibliografía Barber, M., & Mourshed, M. (2007). How the World's Best‐performing Schools Systems Come Out on Top. McKinsey & Company. Boyd, D., Lankford, H., Loeb, S. & Wyckoff, J. (2008). The Impact of Assessment and Accountability on Teacher Recruitment and Retention: Are There Unintended Consequences? Public Finance Review, January 2008 36: 88‐111. Centro Microdatos (2005). Encuesta Longitudinal Docente. Rescatado de: http://www.encuestalongitudinaldocente.cl/ Darling‐Hammond, L. (2003). Standards and assessments: Where we are and what we need. Descargado desde http://consortium.mspnet.org/index.cfm/10134 Darling‐Hammond, L. (2004). Standards, Accountability, and School Reform. Teachers College Record, 106 (6), pp. 1047–1085. Figlio, D. N. & Getzler, L. S. (2002). Accountability, ability and disability: Gaming the system. Massachussets: National Bureau of Economic Research. Firestone, W. A., Schorr, R. Y. & Monfils, L. F. (2004). The Ambiguity of Teaching to the Test: Standards, Assessment, and Educational Reform. New Jersey: Routledge. Forster, M. (2001). A Policy Makers Guide to Systemwide Assessment Programs. Melbourne: ACER. Gardner, J., Harlen, Wynne, Hayward, L., Stobart, G., & Montgomery, M. (2010). Developing Teacher Assessment. Berkshire: Open University Press. Gipps, C., Brown, M. & McAlister, S. (1995). Intuition or Evidence?: Teachers and National Assessment of Seven Year Olds. Berkshire: Open University Press. Harlen, W. & Deakin Crick, R. (2003) A systematic review of the impact on students and teachers of the use of ICT for assessment of creative and critical thinking skills. (EPPI‐Centre Review) In: Research Evidence in Education Library, Issue 2. London: EPPI‐Centre, Social Science Research Unit, Institute of Education Hattie, J. (2008). Visible learning: A synthesis of over 800 meta‐analyses relating to achievement. Routledge. McNeil, L. (2000). Contradictions of School Reform: Educational Costs of Standardized Testing (1st ed.). New York: Routledge. Mineduc (2003). Evaluación de Aprendizajes para una Educación de Calidad. Comisión para el Desarrollo y Uso del Sistema de Medición de la Calidad de la Educación. Mineduc: Santiago. Mineduc
Rescatado de: (2012). Resultados Evaluación INICIA. http://www.mineduc.cl/usuarios/mineduc/doc/201308221629100.RESULTADOS_EVA LUACION_INICIA.pdf
Montgomery, M. & Runger, G. (1996). Probabilidad y estadística aplicadas a la ingeniería. Mac Graw Hill Interamericana Editores. México. Newbold, P.; Carlson, M. & Thorne, B. (2008). Estadística para administración y economía. Pearson Prentice Hall. Madrid, España.
34
OECD (2013). PISA 2012 Results: What Makes Schools Successful? Resources, Policies and Practices (Volume IV). PISA, OECD Publishing. Ramírez, M. (2011). El SIMCE en el contexto de la ley de Aseguramiento de la Calidad de la Educación: opciones para mejorar nuestro sistema de evaluación. Estudios Públicos, 123. Ravela (2010) ¿Qué pueden aportar las evaluaciones estandarizadas a la evaluación en el aula? Serie Documentos Nº 47. PREAL. Saavedra, E. (2005). Contenidos básicos de probabilidad y estadística. Editorial Universidad de Santiago. Santiago, Chile. Sun, Y., Correa, M., Zapata, A, & Carrasco, D. (2011). Resultados: qué dice la Evaluación Docente acerca de la enseñanza en Chile. En: Manzi, J., González, R. & Sun, Y. (eds.), La Evaluación Docente en Chile, 1º ed. MIDE UC. Santiago, Chile. Whetton, C. (2009). A brief history of a testing time: national curriculum assessment in England 1989–2008. Educational Research, 51(2), 137.
35