REPÚBLICA ORIENTAL DEL URUGUAY ANEP – CODICEN GERENCIA GENERAL DE PLANEAMIENTO Y GESTIÓN EDUCATIVA GERENCIA DE INVESTIGACIÓN Y EVALUACIÓN PROGRAMA DE EVALUACIÓN DE APRENDIZAJES
E C
VALUAR PARA CONOCER
ONOCER PARA MEJORAR
EVALUACIÓN NACIONAL EN LOS BACHILLERATOS DIVERSIFICADOS DEL CONSEJO DE EDUCACIÓN SECUNDARIA Y EN LOS BACHILLERATOS TECNOLÓGICOS DEL CONSEJO DE EDUCACIÓN TÉCNICO PROFESIONAL AÑO 2003
RESULTADOS
EN
CIENCIAS
Octubre de 2004
Programa de Evaluación de Aprendizajes Pza. Independencia 822 1er. E.P. Tels.: (0598) (2) 902 3879 – 903 0446 – 903 0447 www.anep.edu.uy –
[email protected]
NATURALES
Director Nacional de Educación Pública DR. LUIS YARZÁBAL Sub Director Nacional de Educación Pública PROF. JOSÉ PEDRO BARRÁN Consejeros del Consejo Directivo Central MTRO. HÉCTOR FLORIT PROF. LILIÁN D’ELÍA
Directora General Enseñanza Secundaria PROF. ALEX MAZZEI
Director General Enseñanza Técnico Profesional PROF. WILSON NETTO
Consejero PROF. ALFREDO GUIDO
Consejero PROF. JUAN JOSÉ DE LOS SANTOS
Gerente General de Planeamiento y Gestión Educativa MAG. SONIA SCAFFO Gerente de Investigación y Evaluación SOC. CARLOS FILGUEIRA Coordinadora General del Programa MEMFOD EC. BEATRIZ GUINOVART Coordinadora Programa de Evaluación de Aprendizajes MAG. BEATRIZ PICARONI Redactores responsables
Mag. Beatriz Picaroni Prof. Olga Bernadou Mag. Carmen Haretche Asesoramiento: Mag. Pedro Ravela La Prof. Julia Leymonié estuvo a cargo de la coordinación del trabajo en Ciencias Naturales hasta agosto de 2003.
Colaboraron en distintas etapas del trabajo: Mtra. Graciela Loureiro, Prof. María José Larre Borges, Sec .María de los Ángeles Martín.
Equipo Responsable de la Evaluación Mag. Beatriz Picaroni, Prof. Felipe Monestier, Mag. Carmen Haretche, Prof. Olga Bernadou, Prof. Ivanna Centanino, Prof. María H. Sánchez, Soc. Martín García, Lic. Sebastián de Almeida. Secretaría: Virginia D’Alto, María A. Martin, Laura Vallejo, Raquel Gómez.
La Evaluación Nacional de Aprendizajes en los Bachilleratos Diversificados de Educación Secundaria y Bachilleratos Tecnológicos de Educación Técnico Profesional-2003 fue realizada bajo la dirección técnica de la Gerencia de Investigación y Evaluación de la Gerencia de Planeamiento y Gestión Educativa, con financiación del Programa de Modernización de la Enseñanza Media y Formación Docente (MEMFOD).
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
ÍNDICE Pág Presentación
5
1
7
La Evaluación en el tercer año de los Bachilleratos La evaluación en Ciencias Naturales
2
10
La organización del trabajo
13
1
El proceso realizado y los actores involucrados
13
2
La prueba de Ciencias Naturales
16
3
La población evaluada
21
4
Niveles de desempeño
25
1
El modelo de análisis
25
2
Escala y niveles de desempeño en Ciencias Naturales
26
3
Descripción de los niveles de desempeño
29
4
Ejemplos de actividades que definen niveles
30
5
Los niveles de desempeño según contexto sociocultural
35
5
6
Los resultados
41
1
El puntaje promedio, su dispersión y el contexto sociocultural
41
2
Bachilleratos Diversificados Públicos
43
3
Bachilleratos Diversificados Privados
47
4
Bachilleratos Tecnológicos
49
Reflexiones desde la didáctica
55
Bibliografía
65
Anexo 1
67
Anexo 2
71
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
5
PRESENTACIÓN Desde comienzos de la década de los noventa, la Administración Nacional de la Educación Pública viene desarrollando evaluaciones nacionales de los aprendizajes en el último grado de los diferentes niveles educativos, con la intención de monitorear la marcha del trabajo bajo su responsabilidad. En este marco, el Consejo Directivo Central de la ANEP resolvió realizar la Evaluación Nacional de Aprendizajes en los Bachilleratos Diversificados de Educación Secundaria y Bachilleratos Tecnológicos de Educación Técnico Profesional- 2003 (Resolución Nº 4, Acta Nº 58 del 18 de setiembre de 2001), en la que se trabajó con los alumnos que estaban cursando el último año de la Educación Media Superior. La Educación Primaria uruguaya cuenta ya con una tradición en evaluaciones nacionales permanentes y sistemáticas en el último año de dicho nivel educativo. Con este estudio se está culminando una primera etapa de evaluaciones nacionales en el último año de cada uno de los dos ciclos la Educación Media (en el año 1999 se realizó el primer censo de aprendizajes en tercer año de Ciclo Básico). El presente documento tiene como propósito informar sobre los resultados obtenidos por los estudiantes en las pruebas de Ciencias Naturales. Tal como es de uso en las evaluaciones nacionales en el Uruguay, los rendimientos académicos se contextualizan por una variable de control del origen social de los alumnos. Ello de ninguna manera significa desconocer que los rendimientos educativos tienen una explicación multicausal. Es necesario advertir al lector sobre la baja participación de los estudiantes, en los centros públicos, especialmente en Montevideo. Por esta razón se recomienda ser cauteloso en la interpretación de los resultados como representativos del Sistema Educativo en su conjunto. No obstante este hecho, se considera que del estudio surgen evidencias en relación a los rendimientos académicos en este nivel de la escolaridad que, sin lugar a dudas, podrán contribuir a la toma de decisiones en todos los niveles de autoridad del sistema educativo. Este informe está organizado en seis capítulos complementados por dos anexos. El primero da cuenta del propósito del estudio así como de los aspectos en los que se centró la evaluación de las Ciencias Naturales. El segundo ofrece datos sobre el diseño del estudio y en especial se ofrece al lector información sustantiva sobre la prueba aplicada. En el tercero se informa sobre la cobertura lograda con el operativo definitivo y se caracteriza socialmente a la población evaluada. En los capítulos 4 y 5 se presentan los resultados obtenidos por los estudiantes, dando cuenta de los logros que demuestran los alumnos evaluados según la metodología de
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
6 análisis utilizada, presentando ejemplos de actividades con detalle del nivel de dificultad que cada una presentó a los estudiantes que realizaron la prueba. A partir de la información presentada es posible contextualizar socioculturalmente los rendimientos académicos de los alumnos y, para el caso de los Bachilleratos Diversificados de Educación Media, también es posible asociar los logros en Ciencias Naturales según la orientación de los Bachilleratos en 5º año. En el capítulo 6 se ofrecen algunas reflexiones didácticas centradas en la importancia de la argumentación en la construcción del conocimiento científico que incluyen entre otros aspectos, el análisis de algunas ideas previas que suelen ser obstáculo en el desarrollo de los procesos de aprendizaje de los estudiantes. En los anexos se ofrece información complementaria a los capítulos dos y cuatro. Este documento integra una primera serie compuesta de cinco trabajos con el fin de devolver resultados Resultados Generales, Resultados en Ciencias Naturales, Resultados en Lengua, Resultados en Matemática, Resultados en Ciencias Sociales. Están prontos para enviar los resultados personalizados a los casi cinco mil estudiantes que lo solicitaron expresamente en octubre de 2003 cuando se aplicaran los instrumentos para relevar la información. Ya está en proceso de redacción un nuevo informe que presentará los resultados de la encuesta aplicada a los estudiantes para indagar sobre sus hábitos, actitudes y valores frente a la sociedad democrática, el trabajo, los estudios y las nuevas tecnologías. La información que se devuelve en este documento, especialmente dirigida a los docentes que trabajan en el área de las Ciencias Naturales, es solamente un insumo para la construcción colectiva de aportes que coadyuven a las decisiones que los docentes toman en sus actividades de aula. A modo de ejemplo, en el capítulo 4 se presenta una descripción de los niveles de desempeño de los estudiantes, de acuerdo a lo relevado en este estudio. La misma necesita someterse al análisis colectivo para que los docentes y los especialistas del área puedan determinar cuáles deben ser los puntos de corte de la suficiencia: aquellas competencias y aquellos conocimientos que todo estudiante debería lograr en Ciencias Naturales luego de doce años de educación sistemática, para ser un ciudadano solvente para enfrentar las exigencias del mundo actual. Los resultados que hoy se ofrecen son el producto del esfuerzo y compromiso de numerosos actores del sistema educativo. Vaya pues el agradecimiento a los miles de estudiantes que colaboraron en forma desinteresada, con el fin de contribuir al éxito de esta instancia de evaluación y el reconocimiento a los aportes del profesorado uruguayo, que se adecuó desde lo institucional y desde lo personal, para apoyar en diferentes formas este trabajo. Octubre de 2004
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
7
CAPÍTULO 1 LA EVALUACIÓN EN EL TERCER AÑO DE LOS BACHILLERATOS El modelo adoptado en Uruguay para las evaluaciones nacionales de aprendizajes se ha denominado “enfoque de la evaluación centrado en el apoyo al desarrollo profesional de los docentes” (UMRE 2000)1. Su principal finalidad es generar información que pueda ser empleada por todos los actores del sistema educativo para conocer situaciones y desarrollar acciones de mejoramiento.
A su vez, busca facilitar la evaluación
sistemática del impacto de diferentes programas e innovaciones que se desarrollan. Adicionalmente, estos trabajos de evaluación permiten a la Administración Nacional de la Educación Pública (ANEP) informar periódicamente a la ciudadanía sobre el estado del sistema educativo.
La ANEP entiende que la responsabilidad por los resultados debe ser compartida por las autoridades, los técnicos, los supervisores, los docentes de aula y la sociedad en su conjunto, en tanto existe una multiplicidad de factores propios y ajenos al sistema educativo, que también inciden positiva o negativamente en los aprendizajes de los estudiantes. Este modelo se contrapone a otros que han sido puestos en práctica en diversos países, en los que las evaluaciones nacionales de aprendizajes tienen como finalidad principal establecer incentivos económicos a partir de los resultados, generar un mercado competitivo entre las instituciones o 'responsabilizar' solamente a los docentes o a los establecimientos educativos por los resultados.
Con la Evaluación Nacional en los Bachilleratos se buscó relevar información sobre los logros de los estudiantes del país que cursan el último año de Bachillerato, para devolverla a todos los actores del sistema con el fin de fortalecer a la Educación Media en su conjunto. Además, se buscó establecer una “línea de base” sobre la cual evaluar en el futuro el impacto que puedan tener sobre la calidad de los aprendizajes de los alumnos de este nivel, las modificaciones que se introduzcan en la estructura curricular de la Educación Media Superior. 1
(ANEP-UMRE) Evaluaciones Nacionales de Aprendizajes en Educación Primaria en el Uruguay (1995-1999). Montevideo.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
8
Como se aplicó un enfoque acumulativo de la evaluación se trabajó solamente con los alumnos del último año de los Bachilleratos. Todos los instrumentos se aplicaron solamente a los alumnos que estaban cursando sexto en la Enseñanza Media (tercer año de Bachillerato). Este hecho implica que solamente se relevó información sobre las competencias y contenidos fundamentales que la Educación Media debería garantizar a todos los estudiantes que están próximos a culminar el ciclo, independientemente de sus contextos sociofamiliares, de las instituciones en donde están cursando y de la orientación que han elegido.
El supuesto de partida del estudio realizado es que luego de doce años de educación dentro del Sistema Educativo, todo joven debería haber desarrollado ciertas competencias y haber construido ciertos conocimientos fundamentales en Lengua, en Matemática, en Ciencias Naturales y en Ciencias Sociales, para poder desempeñarse como ciudadano en una sociedad democrática, continuar estudios superiores e iniciarse en el mundo del trabajo2. Si bien tradicionalmente se le ha asignado a los Bachilleratos un objetivo de preparación para los estudios terciarios, hoy se espera que al finalizar la Educación Media Superior, los jóvenes estén preparados para insertarse en la vida social en forma plena, pudiendo incluso trabajar en forma simultánea al cursado de estudios terciarios.
Este nuevo trabajo de evaluación nacional se basó pues, en el análisis de las competencias y conocimientos fundamentales que se espera que todo estudiante debería haber logrado en Lengua, Matemática, Ciencias Sociales y Ciencias Naturales cuando está cursando el último año de la Educación Media Superior. De ninguna manera se pretendió evaluar todo lo que los alumnos han aprendido en estas áreas del conocimiento, ni todo lo que los profesores habitualmente trabajan en este nivel de la enseñanza. Por esta razón, los resultados, por ejemplo en Matemática, no informarán sobre todos los logros obtenidos por los aspirantes a cursar las carreras que tradicionalmente enfatizan en ella (Ingeniería, Licenciatura en Física, Profesorado de Matemática, etc.). 2
“La Evaluación no tendrá como objetivo principal las currículas existentes ni el trabajo que actualmente realizan los profesores, sino producir información acerca del grado en que los estudiantes del último año de los Bachilleratos están alcanzando un conjunto de conocimientos y competencias generales pero imprescindibles para: i. Desempeñarse como ciudadanos en una sociedad democrática; ii. Continuar estudios superiores; y iii. Insertarse en el mundo del trabajo.” Resolución Nº 4 del Consejo Directivo Central de la ANEP, Acta 58 del 18 de setiembre de 2001, ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
9
La opción de evaluar determinadas competencias y determinados contenidos fundamentales, no significa desconocer el hecho de que los alumnos también deben haber logrado conocimientos y competencias específicos, tanto para el trabajo como para los estudios superiores. Solamente se establece que estos aspectos específicos no fueron considerados dentro de los objetivos de esta evaluación3. Naturalmente se ha tenido en cuenta en los análisis de resultados, la procedencia diversificada de los alumnos. Por eso la información que se devuelve permite analizar los resultados según la orientación que el alumno haya hecho en 2º de Bachillerato y según otras variables (nivel sociocultural, tipo de institución, región, hábitos de lectura, expectativas para el futuro).
El Consejo Directivo Central de la ANEP, por Resolución Nº4, acta Nº58 del 18 de setiembre de 2001 estableció qué evaluar: “… se aplicarán los siguientes tipos de instrumentos:
Los alumnos también respondieron una encuesta, donde se indagaba sobre algunos de sus hábitos y actitudes.
a.
prueba de competencia en lectura y comprensión de textos escritos;
b.
prueba de competencia en producción de textos escritos;
Desde siempre, la función de los
c.
prueba de conocimientos básicos de Matemática y competencia en razonamiento lógico-matemático;
sistemas educativos ha ido más allá de la
d.
prueba de conocimientos científicos y sociales fundamentales en la cultura general de un ciudadano;
e.
encuesta de hábitos y actitudes de los jóvenes en relación con la sociedad democrática, los valores, el estudio, el trabajo, la cultura y las nuevas tecnologías.”
mera
enseñanza
y
aprendizaje
de
contenidos curriculares que se consideran relevantes. En Uruguay particularmente, la enseñanza ha jugado desde los tiempos de la Reforma Vareliana, un papel
preponderante en la formación de ciudadanos para la vida en una sociedad democrática. Naturalmente, que un individuo desarrolle o no estos valores no depende solamente de aquello que ha vivido en los centros educativos por los que ha pasado a lo largo de su vida. La familia y otros muchos espacios de interacción social –formales e informalescontribuyen a la formación de las diferentes dimensiones de la personalidad. Sin embargo, el sistema educativo reivindica un papel central en ese proceso y es desde la aceptación de este desafío que se plantea el interés por conocer algo más que los niveles de aprendizajes que han alcanzado los estudiantes que se acercan a la finalización de la enseñanza media. Con esta finalidad se desarrolló la encuesta.
3
Una característica fundamental de la evaluación es la necesidad de acotar el campo de trabajo a efectos de poder centrar correctamente el objeto de estudio, en el marco de las condicionantes del trabajo a realizar.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
10
Además, en ella se incluyó un La encuesta integró los siguientes aspectos: ¾ ¾ ¾ ¾
conjunto de preguntas sobre las
Los hábitos, actitudes y valores en relación a la vida ciudadana El estudio y las expectativas de futuro Los estudiantes y el uso del tiempo libre Valoración y uso de las nuevas tecnologías
características de los hogares de
los
estudiantes.
Los
resultados académicos de los
mismos suelen estar afectados por diversos factores que van más allá de su contracción al estudio y su capacidad cognitiva. El nivel educativo de los padres, su nivel socioeconómico, el equipamiento del hogar, la cantidad de libros en el hogar, la existencia o no de lugares adecuados para estudiar, son algunos de los aspectos que afectan considerablemente los niveles de aprendizaje y, en consecuencia, las evaluaciones que se realizan en Uruguay analizan los desempeños de los estudiantes contextualizándolos en función de estos factores.
La evaluación en Ciencias Naturales En la determinación del marco de la evaluación en Ciencias Naturales se trabajó con un grupo de docentes con experiencia en la educación media y terciaria del país, expertos en las diversas disciplinas que integran este área del conocimiento, los que conformaron el llamado Comité Técnico en Ciencias Naturales. De acuerdo a este grupo de docentes uruguayos, los estudiantes que están próximos a egresar de los Bachilleratos deberían, en términos generales, ser capaces de: aplicar el conocimiento científico adquirido en sus estudios formales a distintas situaciones de la vida cotidiana y elaborar conclusiones basadas en evidencias, distinguiendo éstas de las opiniones o especulaciones. En suma: se entendió que para desempeñarse adecuadamente en el mundo laboral, en los estudios formales terciarios y en el ejercicio de la ciudadanía, los alumnos deberían comprender el mundo natural y las transformaciones realizadas en el mismo por la actividad humana y poder tomar decisiones fundamentadas en relación a estos aspectos.
La explosión de los conocimientos científicos y tecnológicos de las últimas décadas hace muy difícil estructurar un currículo que contemple todos los aspectos que los educadores valoran como imprescindibles para que los alumnos alcancen una base científica que les permita entender y criticar los problemas científicos fundamentales de la sociedad contemporánea.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
11
Los criterios actuales en la educación científica para todos, predominantes en los ámbitos académicos y materializados ya en muchos países, determinan el uso de cuidadosos criterios de selección de contenidos científicos adaptados a dos fines: − contenidos básicos, estructurantes de las disciplinas científicas, adaptados a cumplir con el cometido de “enseñanza para todos” − contenidos que permitan comprender la cultura contemporánea e interactuar con ella. En esta evaluación nacional se acepta la concepción de contenido que actualmente maneja la Didáctica de las Ciencias4 en el que se incluye cuatro dimensiones: procedimientos, hechos, conceptos y actitudes. Interesa destacar las apreciaciones de Pozo (1999) acerca de las “actitudes específicas”: gusto por el rigor y la precisión en el trabajo; respeto hacia el medio; cuidado del orden y la limpieza del material de trabajo; actitud crítica ante los problemas que plantea el desarrollo de la ciencia. También es interesante poner atención en lo que el mismo autor entiende por actitudes hacia las implicaciones sociales de la ciencia: valoración crítica de los usos y abusos de la ciencia; reconocimiento de la relación entre desarrollo de la ciencia y cambio social; reconocimiento y aceptación de diferentes pautas de conducta en los seres humanos.
Estos aspectos son de la mayor relevancia para la vida en sociedad en este siglo; la educación científica debería plantearle a los alumnos preguntas tales como: ¿justifica el avance tecnológico la desaparición de formas y tradiciones culturales?, ¿son responsables los científicos de los usos sociales de sus conocimientos?, ¿son los conocimientos un bien público o privado?, ¿es posible el desarrollo sustentable?, entre otras. También debería proporcionar las herramientas para que el alumno pueda asumir una postura fundamentada.
La evaluación realizada pretende informar sobre los logros de los alumnos, próximos a egresar de la Educación Media Superior, con el fin de contribuir a mejorar la claridad y precisión con la cual el sistema educativo diseñe las metas de la educación científica
4
(Coll, 1995; Kaufman & Fumagalli, 1999; Pozo, 2000; Zabala, 1997)
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
12
hacia el gran público, más allá de la comunidad científica, para desarrollar una sociedad con ciudadanos capaces de apropiarse del conocimiento científico y sus productos, manejándolos en el marco de un clima de democracia y libertad.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
13
CAPÍTULO 2 LA ORGANIZACIÓN DEL TRABAJO 1.
El proceso realizado y los actores involucrados
El trabajo fue involucrando, en varias etapas, a especialistas de diferentes sectores de la educación nacional.
En marzo de 2002 se constituyó un Grupo de Consulta con el cometido de asesorar técnicamente y formular aportes y recomendaciones tanto para la organización de la tarea como para el análisis y difusión de los resultados. El mismo estuvo integrado por: Prof. Jorge Carbonell (Director General de Educación Secundaria), Prof. Hilda Surraco (Insp. General de Enseñanza Secundaria), Prof. Martín Pasturino (en representación del Consejo de Educación Técnico Profesional), Mag. Renato Opertti (Coordinador General del Programa MEMFOD), Soc. Federico Baccino (Programa MEMFOD), Prof. Daniel Martínez (Comisión de Transformación de la Educación Media Superior), M.T. Nilson Rabaza, M.T. Daniel Maciel (ATD C.E.T.P)5, Prof. Néstor Pereira, Prof. Graciela Almeida, Prof. Líber Romero (ATD C.E.S), Prof. Alberto Martínez Graña, Dr. Nelson Morales (AIDEP), Prof. Edgardo Bruzzoni (AUDEC), Dra. Denise Vaillant, Mag.Sonia Scaffo (Gerencia General de Planeamiento y Gestión Educativa), Mag. Pedro Ravela, Mag. Beatriz Picaroni y Prof. Felipe Monestier (Gerencia de Investigación y Evaluación).
Para la elaboración de los fundamentos de la evaluación en Ciencias Naturales con sus respectivos marcos (competencias y contenidos a considerar)6 se constituyó un Comité Técnico en el que participaron docentes de diversos sectores del sistema educativo uruguayo. Este
Comité Técnico de Ciencias Naturales Prof. Olga Bernadou (Formación Docente) Insp. Andrea Cabot (Inspección CETP), Prof. Ricardo Echarri (ATD del CETP), Lic. Lía Fernández, Q.F. Marina Míguez (Universidad de la República), Insp. Marianella Maxera (Insp. CODICEN). Actuó como coordinadora la Prof. Julia Leymonié (Programa de Evaluación de Aprendizajes).
5
Con fecha 26 de junio de 2003 la ATD del CETP manifestó “que por decisión unánime de la Mesa Permanente no se concurre a reuniones donde participen miembros o asesores del CODICEN”.
6 El Comité produjo un Documento con los fundamentos y los marcos de la Evaluación el que fue presentado a diferentes actores del sistema educativo y distribuido en todas las instituciones a partir de agosto de 2002. En el anexo se adjuntan las Tablas de Competencias, de Contenidos y de Especificaciones
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
14
Comité Técnico también participó en el proceso de selección y de capacitación de los docentes en actividad que tomaron a su cargo la redacción de las actividades para integrar las pruebas. En el diseño de las actividades de las pruebas de Ciencias Naturales trabajaron diez profesores con amplia experiencia en la educación media superior del país. Estos profesores fueron seleccionados a partir de un llamado público a docentes de las diferentes asignaturas pertenecientes a las áreas del conocimiento a evaluar, en actividad en la enseñanza media y en la enseñanza universitaria (febrero de 2002).
El Consejo Directivo Central de la ANEP designó un Tribunal constituido por la Dra. Denise Vaillant, el Mag. Renato Opertti y el Mag. Néstor Da Costa con el fin de ordenar por antecedentes profesionales a treinta docentes aspirantes a trabajar en CIENCIAS NATURALES. Estos treinta docentes seleccionados fueron invitados a participar en un seminario que tuvo por finalidad capacitar y seleccionar, a través de una evaluación individual, a diez de los participantes para que redactaran las actividades de prueba.7 Este seminario fue diseñado y desarrollado por los integrantes del Comité Técnico; se concretaron en mayo de 2002.
Entre julio y agosto de 2002, los diez docentes seleccionados en Ciencias Naturales redactaron cincuenta actividades cada uno. Para esta tarea siguieron las pautas de las tablas de especificaciones y contaron con el seguimiento y apoyo del Profesor del Programa de Evaluación de Aprendizajes, a cargo de la Coordinación de la Evaluación
Redactores de Actividades: Profesores: Eduardo Fiore, Reina Pintos, Mariana Castelnoble, Ricardo Indarte, Alejandro Parrella, María Cristina Rebollo, Paulina Alaluf, Marcelo Berruti, Emy Soubirón, Silvia De Palleja.
en Ciencias Naturales.
7
Luego de la selección realizada por quienes tuvieron a su cargo la organización y desarrollo de los Seminarios de Capacitación y Evaluación todos los docentes aspirantes quedaron integrados en un registro de aspirantes a participar en diferentes actividades de esta evaluación (como aplicadores, como correctores, etc). El ordenamiento del registro fue el siguiente: en primer término, los docentes que obtuvieron los primeros diez lugares a partir de la evaluación del seminario; en segundo lugar los docentes restantes que habían sido ordenados en los treinta primeros lugares; en tercer lugar, también ordenados por prioridad, el resto de los docentes aspirantes a trabajar en Ciencias Naturales cuyos antecedentes habían sido estudiados por el Tribunal mencionado. Cabe señalar que la mayoría de los docentes del Registro trabajó como Aplicador y/o como Corrector de prueba, en alguna instancia de desarrollo de la Evaluación (Operativo Piloto de 2002 y Operativo Definitivo de 2003).
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
15
En octubre del año 2002 se procedió a validar las pruebas de Ciencias Naturales aplicando diferentes formas a una muestra aleatoria de alumnos representativa de los Bachilleratos del país. Comités de Expertos: Dra. Sara Viñas (Insp. CES), Insp. Ángeles Beri (Universidad de la República), Prof. Silvia Loureiro ( CES).
En junio de 2003, luego de que el equipo de docentes del Programa de Evaluación conformara los bloques que integrarían los cuadernillos de las pruebas, se contó con el aporte técnico de un Comité de Expertos.
Este grupo estuvo integrado por tres docentes de relevante actuación en el sistema educativo, quienes opinaron sobre la calidad de las actividades y ofrecieron sugerencias técnicas al Profesor Coordinador de la evaluación en Ciencias Naturales.
Entre el 24 de setiembre y el 7 de octubre de 2003 se concretó el operativo definitivo para el relevamiento de la información. Se trabajó con una muestra de 9374 casos, estratificada por orientación, tipo de institución y región, en el caso de los Bachilleratos Diversificados de Educación Secundaria (públicos y privados). Se censó a los alumnos de los Bachilleratos Tecnológicos de la Enseñanza Técnico Profesional (2171 casos en el universo). De igual manera se procedió con los alumnos de la Micro Experiencia de Enseñanza Secundaria (Plan 93) lo que implicó agregar 1445 alumnos de centros del país que aplican este plan, a los que ya habían sido seleccionados aleatoriamente en la muestra nacional.
El operativo definitivo, al igual que el piloto, implicó el trabajo de los estudiantes durante dos jornadas pedagógicas para responder las cinco pruebas: Comprensión de Textos, Producción de Texto Escrito, Matemática, Ciencias Naturales y Ciencias Sociales. También se aplicó, al comienzo de la primera jornada, la encuesta sobre hábitos, actitudes y valores de los jóvenes así como sobre sus características socio familiares con el fin de construir una variable de contexto social.
Al igual como se había hecho en el operativo piloto, se trabajó con aplicadores externos a los centros (207 docentes) con el fin de asegurar condiciones homogéneas de aplicación. Estos aplicadores son docentes de la Educación Media del país, integrantes
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
16
de los registros de aspirantes conformados a partir del llamado de prensa realizado en febrero de 2002. Correctores de Actividades: Profesores: Paulina Alaluf, Marcela Armúa, María Carugati, Mariana Castelnoble, Almir De Fleitas, Ricardo Indarte, Jesús Méndez, Mercedes Peyrou, Reina Pintos, Emy Soubirón.
Para corregir las actividades de la prueba de Ciencias Naturales en las que los alumnos debían producir su respuesta se integraron equipos de correctores, a partir del registro anteriormente mencionado, tanto en el operativo piloto como en el operativo definitivo.
2.
La prueba de Ciencias Naturales
2.1
Las competencias y contenidos que involucran las actividades
Se elaboraron actividades que permiten evaluar si los alumnos son capaces de pensar científicamente, es decir si pueden basarse en evidencias y tener hábitos de razonamiento riguroso y crítico dado que estas características son las que debería tener el adulto para su desempeño en la vida social.
Para la elaboración de las mismas se consideraron tres aspectos que fueron previamente consensuados y que están definidos en el marco de la evaluación8. En primer lugar, se establecieron los procesos o destrezas científicas que se iban a evaluar. Esto quedó estipulado en las competencias. En segundo lugar, se seleccionaron los conceptos y contenidos considerados apropiados para el uso de esos procesos. En tercer lugar se consideraron los contextos o sea las situaciones más apropiadas para que se apliquen los procesos y los conceptos. Los contextos más frecuentemente seleccionados fueron: situaciones de aula, situaciones de la vida cotidiana y problemas mundiales. Los procesos, contenidos y contextos, están incluidos en la tabla de competencias y contenidos que se establecieron en el marco de la evaluación9.
8 Ver EVALUACIÓN NACIONAL DE APRENDIZAJES EN LOS BACHILLERATOS DIVERSIFICADOS DE EDUCACIÓN SECUNDARIA Y BACHILLERATOS TECNOLÓGICOS DE EDUCACIÓN TÉCNICO PROFESIONAL-2003- CIENCIAS NATURALES. 9
Por mayor información ver ANEXO Nº 1 de este documento.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
17
En síntesis, en este estudio, los logros educativos en Ciencias Naturales se valoran en una escala que considera algunas capacidades agrupadas en tres competencias que se corresponden con tres tipos de operaciones:
Competencia 1 (información) se corresponde con operaciones receptivo-reproductivas, que implican la capacidad de identificar reconocer y reproducir informaciones presentadas en soportes diversos.
Competencia 2 (producción) se corresponde con operaciones productivas donde hay confrontación con situaciones que no se pueden resolver por medio de operaciones puramente receptivo-reproductivas. Implican la capacidad de interpretar informaciones de producir soluciones en forma convergente o divergente.
Competencia 3 (comunicación) se corresponde con una operación comunicativa donde se valora la capacidad para el dominio de los recursos de la expresión oral y escrita, el manejo del lenguaje científico-tecnológico, así como el diseño de tablas y gráficos.
No obstante haber descripto estas competencias para orientar la elaboración del instrumento de evaluación en Ciencias Naturales, es necesario tener presente que esta evaluación pretende medir básicamente una sola variable a la que se denomina “Competencia en Ciencias Naturales”.10 En consecuencia, los resultados no discriminan los desempeños de los estudiantes en cada una de las competencias.
La calidad de competente supone el dominio de diversos tipos de contenidos, seleccionados y adaptados para adquirir una alfabetización científica básica que permita comprender la cultura contemporánea e interactuar con ella.
Los ejes temáticos seleccionados para elaborar las actividades que contemplan las características anteriores fueron: 1. Energía 2. Interacciones 3. Estructura y propiedades de la materia
10
De ahí la idea de “Unidimensionalidad” de la que se habla en el Capítulo 4 de este documento.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
18
4. Niveles de organización de la materia 5. Relaciones Ciencia, Tecnología y Sociedad (C-T-S)
2.2
Los bloques de actividades
En este marco de evaluación se diseñaron 7 bloques (A,B,C,D,E,F,y G) equivalentes de 14 actividades cada uno. A los efectos de evitar sesgos en el orden de aparición de los bloques se confeccionaron 7 cuadernillos con 3 bloques cada uno rotando los bloques y el orden de ubicación en los mismos.
Cada bloque consta de 14 actividades, 10 cerradas y 4 abiertas. Las mismas se distribuyen ordinalmente de la siguiente forma como se muestra en la Tabla 1 Tabla 1 Competencias
2.3
Ejes temáticos 1
2
3
4
5
1
1
1
1
1
1
2
1
1
1
1
1
3
1
1
1
1
0
Los cuadernillos de la prueba de Ciencias Naturales
Cada cuadernillo de prueba consta pues de 42 actividades, 30 cerradas con 5 alternativas de respuesta de las que solo una es correcta y 12 actividades en las que el estudiante debe producir su respuesta (en forma breve o en forma extendida). Todos los cuadernillos contienen 9 actividades de cada contenido del 1 al 4, exceptuando el contenido 5 (Relaciones C-T-S) del que solo se proponen 6 actividades. Todos los contenidos son valorados con 3 actividades por cada competencia salvo en el caso de las actividades correspondientes al contenido 5 donde no se valoró la competencia Comunicación.
Los alumnos dispusieron de una hora reloj para responder la prueba de Ciencias Naturales.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
19
Los cuadernillos están conformados por tres bloques, de modo que el alumno debió responder 42 actividades (o ítemes) según se muestra en la Tabla 2 Competencias
Tabla 2 Ejes temáticos
Total de actividades
1
1 3
2 3
3 3
4 3
5 3
2
3
3
3
3
3
15
3
3
3
3
3
-
12
Total de actividades
9
9
9
9
6
42
15
Los contenidos de las actividades (o ítemes) para cada cuadernillo se distribuyen de acuerdo a la Tabla 3. Tabla 3 Ejes temáticos
Número de actividades
Peso relativo %
Energía
9
21,4
Interacciones
9
21,4
Estructura y propiedades de la materia
9
21,4
Niveles de organización de la materia
9
21,4
Relaciones CTS
6
14,3
Según competencias, las actividades para cada cuadernillo se distribuyen de acuerdo a lo que aparece en la Tabla 4 Tabla 4 Competencia
Número de actividades
Peso relativo %
Información
15
36
Producción
15
36
Comunicación
12
28
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
20
Según tipo de actividad, para cada cuadernillo el peso relativo se distribuye según lo que se expresa en la Tabla 5.
Tabla 5 Total
Peso relativo %
Abierta
12
28,6
Cerrada
30
71,4
Tipo de actividad
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
21
CAPÍTULO 3 LA POBLACIÓN EVALUADA Los Bachilleratos Diversificados (BD) fueron evaluados mediante una muestra en la cual se sortearon grupos (conglomerados) dentro de los estratos definidos (ver Cuadro 1).
Todos
los
grupos
tuvieron
la
misma
probabilidad
de
ser
sorteados
independientemente de su tamaño. También se incluyó a todos aquellos alumnos que no fueron sorteados en la muestra pero que concurrían a centros donde se implementa la Micro Experiencia de forma tal de contar con un censo de los mismos. Los Bachilleratos Tecnológicos fueron censados. Cuadro 1 Universo y muestra de Bachilleratos Diversificados Estrato Universo* Montevideo Público Biológico 2714 Montevideo Público Científico 1541 Montevideo Público Humanístico 4678 Interior Público Biológico 5870 Interior Público Científico 2376 Interior Público Humanístico 7927 Privado Biológico s/d Privado Científico s/d Privado Humanístico s/d Total --
Muestra** 1382 896 1791 1441 940 1618 362 411 533 9374
* Matrícula del año 2003 ** La muestra de los centros públicos se estimó según la matricula del año 2003, para centros privados se utilizó la matrícula del año 2002.
El Cuadro 2 presenta la cantidad de casos que conforman el censo de los Bachilleratos Tecnológicos y los casos que fue necesario incluir para completar el censo de la Micro Experiencia. Cuadro 2 Total de alumnos involucrados en la evaluación Población Universo Bachilleratos Diversificados -Bachilleratos Tecnológicos 2174 Casos agregados para censo de Micro Experiencia 1445 Total -- *
Muestra 9374 2174 1445 12993
* No se incluye la matrícula de privado.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
22
Una vez realizada la aplicación, se obtuvieron las tasas de respuesta que se detallan en el Cuadro 311. La prueba de Ciencias Naturales fue respondida por casi el 85% entre los alumnos de centros privados, por algo más de la mitad de los alumnos de centros públicos con BD del interior del país, por la mitad de los alumnos que asisten a BT y por apenas un quinto o la cuarta parte (dependiendo de la orientación) de los alumnos de centros públicos con BD en Montevideo.
Cuadro 3 Tasa de respuesta por instrumento según estrato (sobre muestra prevista) Estrato Encuesta Lengua Matemática Naturales Montevideo Público Biológico 36.0 24.0 24.5 24.3 Montevideo Público Científico 37.9 25.0 26.3 25.9 Montevideo Público Humanístico 30.0 20.2 20.2 20.2 Interior Público Biológico 67.4 57.0 56.8 56.8 Interior Público Científico 59.7 52.8 54.3 53.2 Interior Público Humanístico 59.9 52.5 52.7 52.6 Privado Biológico 91.7 83.7 83.7 84.3 Privado Científico 90.3 81.0 84.9 83.9 Privado Humanístico 91.6 84.6 84.8 83.9 Escuelas Técnicas 59.3 50.1 50.0 51.0 Agregado Microexperiencia 58.5 48.9 49.0 49.0 Total 55.4 45.9 46.3 46.3
Sociales 24.9 25.7 20.0 56.0 54.1 52.6 84.3 83.2 82.9 50.2 48.7 46.1
A partir de lo expuesto, es posible concluir que los niveles de respuesta a nivel del subsistema público son extremadamente bajos, especialmente en Montevideo, y comprometen la confiabilidad de cualquier inferencia acerca del universo estudiado. Además, las distintas tasas de respuesta obtenidas en cada subsistema conllevan a que no sea pertinente realizar comparaciones entre los resultados de los mismos.
Este hecho debe tenerse siempre presente ya que, suponiendo que el sesgo de respuesta fuera nulo, sigue siendo cierto que la proporción de estudiantes sobre los que se procesa la información llegaría a ser, para el peor de los casos, de 20 de cada 100 previstos para ser relevados.
11
Los porcentajes de respuesta de la encuesta son aproximadamente un 10% superiores a los de las áreas evaluadas porque aquella siempre fue respondida en primer lugar por todos los alumnos que participaron en la evaluación. Las tasas de respuesta de las distintas áreas son similares entre sí, porque se rotó su aplicación con el fin de evitar distintos niveles de respuesta. ANEP/Programa de Evaluación de Aprendizajes Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
23
Además de las diferencias en los niveles de respuesta registrados en cada estrato, estos se diferencian según su composición sociocultural12, aspecto que también es muy relevante a tener en cuenta para evitar comparaciones inadecuadas entre los estratos (Gráfico 1).
Gráfico 1 Distribución porcentual de los alumnos13 de cada subsistema según contexto sociocultural del turno Bajo 4
Medio bajo
Medio
Medio alto
Alto
3 12 21 23 20
50
35
86
25 72
37
26 43
9 1
13
14
Público Mdeo
Público Interior
Privado
Bachillerato Diversificado
7
Bach.Tecnolog.
MicroExp.
Entre los alumnos de la muestra de Bachillerato Diversificado encontramos que la población más desfavorecida es la que asiste a centros públicos del interior del país, seguida por los liceos públicos de Montevideo y por último la de los centros privados. En estos últimos no se registran casos que correspondan a los contextos “bajo” o “medio bajo”, mientras que en Montevideo público un 10% y en el interior público un 39% de los alumnos se encuentran en dicha situación. En el otro extremo vemos que el 100% de los alumnos que asisten a centros privados está en los contextos “alto” o “medio alto”, disminuyendo al 54% en Montevideo público y a 26% en el interior público. Los alumnos que asisten a centros con Micro Experiencia se encuentran mayoritariamente en el contexto “medio” (72%), mientras que aquellos que cursan 12
Para profundizar en como se construyó la variable de “contexto sociocultural” ver el capítulo 3 del informe RESULTADOS GENERALES 13 Los cálculos se realizaron tomando como referencia los alumnos que contestan la encuesta. Base = alumnos. ANEP/Programa de Evaluación de Aprendizajes Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
24
Bachilleratos Tecnológicos presentan una situación claramente más desfavorecida, ya que el 68% se ubica en el contexto “bajo” o “medio bajo” y solamente un 12% en el contexto “medio alto”.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
25
CAPÍTULO 4 NIVELES DE DESEMPEÑO 1.
El modelo de análisis
Mientras que en las evaluaciones nacionales anteriores, el análisis de los resultados siempre se realizó en función de los postulados de la llamada Teoría Clásica de los Tests (TCT), en esta oportunidad se trabajó con la Teoría de Respuesta al Ítem (TRI). Esta teoría ofrece un modelo de análisis de los resultados que complementa los aportes de la TCT. El valor de la variable “Competencia en Ciencias Naturales” no indica la cantidad de actividades resueltas correctamente por cada sujeto en la prueba, sino que representa la capacidad de los individuos en el área de conocimiento. El puntaje final de dos sujetos con igual cantidad de actividades correctamente contestadas puede ser diferente según la dificultad y la discriminación de las actividades que cada uno haya respondido. En la Teoría de Respuesta al Ítem (TRI) pues, la puntuación de un individuo refleja su
habilidad.
Ésta
es
de
carácter
unidimensional, y no varía según la prueba que se aplica. A cada actividad se asocian parámetros que se obtienen a partir de las respuestas de los sujetos pero que son independientes de los mismos. Esto permite que
las
actividades
sean
aplicadas
a
poblaciones diferentes y que los resultados (al estar expresados en la misma métrica) puedan ser equiparados. Por lo tanto, si se utiliza este modelo de análisis de resultados se facilita
la
evaluaciones
realización
de
diferentes
Algunas diferencias TRI TCT El resultado de un sujeto es el mismo independientemente de la actividad (puede cambiar la probabilidad de aciertos a cada una, pero no el puntaje que obtiene el sujeto).
El resultado en una prueba está ligado a la prueba misma. Dos pruebas diferentes (que midan lo mismo) aplicadas al mismo sujeto pueden dar dos resultados distintos.
Las propiedades de la actividad no varían según el grupo de sujetos a los que se aplica. Cada muestra va a tener una distribución diferente en el rasgo, pero se van a mantener los parámetros de las actividades porque la probabilidad de acierto del ítem no está en función de la distribución de los sujetos, sino de la escala del rasgo.
Las propiedades de una prueba o de una actividad están en función de los sujetos a los que se les aplica. Una actividad tendrá un índice de dificultad mayor o menor según la población que la responda.
para seguir a una misma población en distintos momentos del
tiempo. Además es posible hacer seguimientos de los diversos ciclos del sistema educativo.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
26
.
Supuestos básicos de la TRI ¾ Unidimensionalidad. Esto implica que todas las actividades de una misma prueba se diseñaron para medir la misma variable (competencia lectora, competencia matemática, etc.) por lo que constituyen una única dimensión. Esto se garantiza por la comprobación estadística mediante un análisis factorial, complementado por el juicio de los expertos en las diversas áreas del conocimiento implicadas en la evaluación. ¾ Independencia local. La resolución de cada actividad es independiente de la resolución de las demás; las actividades no están encadenadas. El resultado de una actividad no puede ser insumo para la resolución de otra.
Herramientas de la TRI ¾ Cálculo de los parámetros (dificultad, discriminación y probabilidad de aciertos al azar) y ajuste de los Ítemes. ¾ Generación de las curvas características de los ítemes y del conjunto de la prueba. Esta es la relación entre los valores de la variable medida y la probabilidad de acertar a cada actividad. En cada curva se puede observar la dificultad, la discriminación y la probabilidad de aciertos al azar asociados a los Ítemes y a la prueba. ¾ Cálculo de las funciones de información de las actividades. La función de información (curva de información) indica cuanta información aporta cada ítem en cada nivel del rasgo. La curva de información es inversa al error de medida. ¾ Cálculo de los errores típicos de medida para cada nivel del rasgo o variable medida. ¾ Elaboración de pruebas equivalentes, utilizando bancos de actividades donde se registran los parámetros de cada ítem.
La TRI trabaja en dos etapas sucesivas con un referente normativo y con un referente criterial. En una primera etapa se asignan puntajes que fijan la Media14 en un punto de la escala y se establece un valor para la Desviación Estándar15, lo que permite ver cómo se han comportado los evaluados en relación a la distribución normal. En una segunda etapa, con los aportes pedagógicos se fijan, a juicio de los expertos, los puntos de corte que permiten distribuir los resultados en niveles de desempeño.
2.
Escala y niveles de desempeño en Ciencias Naturales
Para diseñar la escala de desempeños el modelo de análisis usado permite estimar en forma simultánea la habilidad de los estudiantes que son evaluados y la dificultad de los ítemes aplicados. De esta forma se ubican los valores de habilidad del estudiante y de dificultad del ítem en una misma escala. Entonces, para generar esa escala se necesita: 1. la dificultad relativa de los ítemes de una prueba, que fue estimada considerando la proporción de personas que responden cada ítem correctamente. 2.
la habilidad relativa de los estudiantes en Ciencias Naturales, que fue estimada considerando la proporción de ítemes que responden en forma correcta y la dificultad de esos ítemes.
14
MEDIA, medida de tendencia central que es el promedio aritmético de los puntajes. En esta evaluación la media se fijó en 500 puntos. 15 DESVIACIÓN ESTÁNDAR, medida de dispersión que indica el grado de homogeneidad de los casos con respecto a la media. En esta evaluación se fijó en +100 y -100. ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
27
Una vez que los ítemes (actividades) fueron ordenados según su dificultad, el desempeño de cada estudiante se generó asignándole un puntaje en función de la predicción del ítem más difícil que hubiera podido responder. Esta predicción se realiza en base al comportamiento del estudiante al resolver todos los ítemes que le correspondieron en la prueba. Esto no significa que los estudiantes podrán siempre resolver ítemes en el nivel o debajo del nivel de dificultad asociado a su propia posición en la escala, y tampoco que nunca podrán resolver actividades más difíciles. En realidad los puntajes se calculan por probabilidades. Los estudiantes evaluados tienen una probabilidad relativamente alta de responder en forma correcta ítemes debajo de su propio nivel (con la probabilidad aumentando para los ítemes de los niveles más bajos de la escala), y tienen relativamente poca probabilidad de poder resolver los ítemes de mayor dificultad. El resultado de estos procedimientos es una escala continua de puntajes16 que genera una métrica para la competencia en Ciencias Naturales. En esa escala es posible estimar la ubicación de un estudiante en particular, a través del nivel de la competencia que demuestra en la prueba y también es posible estimar la ubicación de ítemes individuales a través del nivel de competencia en el área que se requiere para resolverlos. La escala de puntajes generada para Ciencias Naturales de media arbitrariamente fijada en 500 puntos y desvío estándar 100, tiene un mínimo de 186 puntos (dificultad del ítem más fácil de la prueba) y un máximo de 740 puntos (dificultad del ítem más difícil de la prueba). El ítem más fácil fue respondido correctamente por el 82,8% de los alumnos que lo abordaron y hubo una omisión del 1,7%. En cuanto a la actividad más difícil solo un 8,6% accedió al crédito total con un 22,3% de omisión. A continuación, a partir del proceso de generación de puntos de cuadratura, se obtuvieron cinco niveles de desempeño constituidos por agrupamientos de ítemes de dificultad ascendente con el Nivel 5 como el más alto y Nivel 1 el más bajo. Cada nivel de desempeño queda caracterizado por el conjunto de ítemes que han sido respondidos en forma correcta por el 60% o más de la población y que a la vez la 16
El modelo matemático que se usó en la evaluación Bachillerato 2003 para analizar los datos implementa procesos iterativos que estiman simultáneamente la probabilidad de que una persona en particular responda en forma correcta a un ítem de una prueba y la probabilidad de que un determinado ítem sea respondido en forma correcta por una determinada persona. ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
28
diferencia con el porcentaje de estudiantes que lo responde correctamente en el nivel inmediato inferior es por lo menos del 30%.17 Por lo tanto, el nivel de desempeño que un ítem define, tiene un rango de puntajes algo mayor que la propia dificultad del ítem porque: 1. La dificultad del ítem está dada por el punto de la escala donde los sujetos tienen una habilidad que les permite responder correctamente dicho ítem con un 50% de probabilidad. 2. Como se dijo anteriormente, un ítem define un determinado nivel de desempeño en la escala cuando lo contesta correctamente el 60% o más de los sujetos evaluados. Entonces, por ejemplo, un ítem con un puntaje de 438 (habilidad necesaria para tener el 50% de probabilidad de responderlo correctamente) caracteriza al nivel de puntajes de alumnos que va desde 551 a 650 (habilidad que el estudiante necesita para responder correctamente los ítemes de ese rango de puntajes). Se definieron cinco niveles. El siguiente cuadro muestra el número y el porcentaje de alumnos en cada uno de los niveles de desempeño definidos. Cuadro 4 Distribución absoluta y porcentual de los alumnos en los niveles de desempeño definidos NIVELES DE DESEMPEÑO
Nº de alumnos
PORCENTAJE
Menos de 250
3
0,1
1
250-450
1976
33,1
2
451-550
2191
36,9
3
551-650
1364
22,8
4
651-750
398
6,7
5
751 y más
45
0,8
Total
5977
100,0
17
Por mayor información ver en el Anexo 2 el listado de los ítemes que definen niveles con los procesos que ellos implican. ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
29
3. Difícil 900
Descripción de los niveles de desempeño
Nivel 5: 751 y más Los estudiantes son capaces de manejar conceptos más complejos, usar mayor cantidad de datos en una secuencia de razonamientos con mayor rigurosidad de lenguaje y más precisión en la comunicación. Comienzan a reconocer argumentos y/o comprender los datos integrándolos a una red conceptual que explique el porqué y las consecuencias de los hechos así como atribuir significados. Comienzan a usar contenidos básicos estructurantes de mayor generalidad que los conceptos específicos. Estos contenidos son los principios, que son conceptos muy generales, de un alto nivel de abstracción, que suelen atravesar las disciplinas y permiten comprender otros aspectos más específicos para producir explicaciones coherentes por escrito empleando ideas jerarquizadas y bien organizadas.
800 Actividad 5 – pág. 34
700
Nivel 4 : 651 – 750 Los estudiantes son capaces de usar modelos conceptuales para dar explicaciones, para analizar diferentes situaciones ya sean de aula o aplicadas a la vida cotidiana donde hay que comparar datos, para comprender informaciones y para evaluar puntos de vista. Comienzan a usar un lenguaje científico-tecnológico más riguroso y a operar con notación científica. Actividad 4 – pág. 33
600
Nivel 3: 551 - 650 Los estudiantes son capaces de comenzar a usar la notación científica en cálculos sencillos y a interpretar diagramas simbólicos más complejos. Actividad 3 – pág. 32
500
Nivel 2: 451 - 550 Los estudiantes son capaces de priorizar conceptos científicos para predecir o construir explicaciones, seleccionar información relevante, establecer secuencias de razonamiento para evaluar y elaborar conclusiones. Comienzan a reconocer la terminología que caracteriza distintos tipos de problemas vinculados a aspectos significativos de la cultura de la humanidad y a las transformaciones que los seres humanos, principales agentes de cambio, realizan sobre el medio ambiente. Actividad 2 – pág. 31
400
Nivel 1: 250 – 450 Los estudiantes son capaces de recuperar conocimientos factuales simples y concretos como nombres, hechos, jerarquías organizativas, terminología y reglas simples. Comienzan a usar el conocimiento científico básico como herramienta para elaborar o evaluar conclusiones sobre fenómenos del mundo real en los cuales la ciencia puede ser aplicada. Pueden trasponer dichos conocimientos desde situaciones escolares a situaciones de la vida cotidiana o situaciones de interés para la comunidad mundial.
300
Actividad 1 – pág. 30
Fácil
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
30
4.
Ejemplos de actividades que definen niveles
4.1
NIVEL 1 (250-450)
1
Los seres vivos presentan diferentes niveles de organización. Podemos encontrar seres unicelulares y pluricelulares. Diferentes grados de complejidad dentro de los pluricelulares que asocian sus células formando tejidos y estos a su vez constituyendo órganos encargados de diferentes funciones vitales. Estos órganos se pueden asociar para cumplir una función determinada como por ejemplo el Sistema Nervioso. ¿Cuál de estos ordenamientos corresponde a niveles crecientes de organización? a) b) c) d) e)
Tejidos, órganos, aparatos o sistemas, célula. Órganos, tejidos, aparatos o sistemas célula. Órganos, aparatos o sistemas, tejidos, célula. Célula, tejidos, órganos, aparatos o sistemas. (Clave) Célula, órganos, tejidos, aparatos o sistemas.
Competencia.- Comunicación Eje temático.- Niveles de organización de la materia. Contenido.- Seres vivos superiores. Contexto.- Situación de aula (Biología). Alternativas de respuesta.La elección de la
alternativa d (clave) supone que el estudiante ha evocado los
conceptos de ser uni y pluricelular y puede diferenciar los conceptos de célula, de tejido, de órgano y de sistema. La elección de las opciones (a), (b) y (c) indicarían la existencia de una idea previa que suele persistir en los alumnos: suponer que la célula es el nivel de mayor organización. La elección de la opción (e) recoge la confusión entre órganos y tejidos que a veces se manifiesta.
La actividad valora la capacidad para interpretar comunicaciones científicas y tecnológicas usando correctamente la terminología acordada por la comunidad biológica y la identificación de jerarquías organizativas usando los conceptos de organización y complejidad. Cuadro 5 Porcentaje de alumnos que respondieron correctamente la actividad 1, según el nivel de desempeño manifestado en la prueba TOTAL
Nivel 1 250-450
Nivel 2 451-550
Nivel 3 551-650
Nivel 4 651-750
Nivel 5 751 y más
71,8
52,3
81,5
89,5
95,2
100,0
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
31
4.2
2
NIVEL 2 (451-550) La disminución de las selvas y los bosques así como la combustión de maderas, carbón y petróleo, originan un aumento en la proporción de anhídrido carbónico que contiene la atmósfera. La acumulación de anhídrido carbónico y otros gases propicia el calentamiento de la tierra. El aumento en la concentración de anhídrido carbónico en la estratosfera actúa de modo muy parecido al techo y paredes de un invernadero. De lo expuesto, el aumento del anhídrido carbónico de la estratosfera favorece: a) Una disminución de la temperatura de la Tierra. b) Una disminución de la fotosíntesis. c) Un aumento de la capa de ozono. d) Un aumento de la temperatura de la Tierra. (Clave) e) La información ofrecida no permite responder a la pregunta
Competencia.- Comunicación Eje temático.- Interacciones. Contenido.- Reacciones químicas (efecto invernadero) Contexto.- Problemas mundiales Alternativas de respuesta.- La elección de la opción correcta d permite suponer que se
ha reconocido los términos científicos que aparecen en el texto y se es capaz de establecer secuencias de razonamiento para evaluar conclusiones. La elección de la opción (a) indicaría no entender la dependencia del aumento del dióxido de carbono con la temperatura de la tierra. La elección de la opción (b) indicaría que se reconoce otro fenómeno donde interviene el dióxido de carbono vinculado a la absorción del mismo por los vegetales. La elección de la opción (c) daría cuenta de que interpreta un fenómeno de amplia difusión, no relacionado con la información proporcionada en el texto. La elección de la opción (e) probablemente estaría señalando que los alumnos que no están familiarizados con la terminología.
Esta actividad valora la interpretación y el análisis de comunicaciones científicas y tecnológicas. Cuadro 6 Porcentaje de alumnos que respondieron correctamente esta actividad según el nivel de desempeño manifestado en la prueba Total
Nivel 1 250-450
Nivel 2 451-550
Nivel 3 551-650
Nivel 4 651-750
Nivel 5 751 y más
67,6
35,6
72,8
90,7
94,9
94,4
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
32
4.3
NIVEL 3 (551-650)
Competencia.- Información Eje temático.- Energía. Contenido.- Fisión nuclear Contexto.- Impacto de la ciencia sobre la sociedad Alternativas de respuesta.- La elección de la opción correcta e, implica seleccionar datos proporcionados en el texto, reconocer símbolos físicos, recordar la estructura del átomo, aplicar los principios de conservación de masa y energía a una reacción nuclear. La elección de la opción (a) implicaría una jerarquización de la conservación de la masa, mientras que la elección de la opción (b) jerarquiza la conservación de la energía. La elección de las opciones (c) y (d) demostraría que no se interpreta la ecuación de Einstein.
A través de esta actividad se valoran conocimientos relacionados con el concepto de conservación (masa y energía) en una reacción que puede usarse con diferentes fines. Cuadro 7 Porcentaje de alumnos que respondieron correctamente esta actividad según el nivel de desempeño manifestado en la prueba Total
Nivel 1 250-450
Nivel 2 451-550
Nivel 3 551-650
Nivel 4 651-750
Nivel 5 751 y más
54,0
26,6
54,2
81,8
94,6
100,0
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
33
4.4
4
NIVEL 4 (651-750) El agua presenta propiedades que la tornan una sustancia especial. Entre ellas se encuentra la tensión superficial que le permite por ejemplo a un mosquito posarse y flotar en la superficie de un charco. Dicha propiedad es también responsable de: a) b) c) d) e)
La menor densidad del hielo con respecto al agua. La formación de gotas de agua esféricas. (Clave) El punto de fusión normal de 0 º Celsius. El elevado punto de ebullición normal. Su solubilidad en alcohol etílico.
Competencia.- Comunicación Eje temático.- Interacciones Contenido.- Fuerzas (Tensión superficial) Contexto.- Situación de aula (Química y Física) Alternativas de respuesta.Para poder seleccionar la opción correcta b, el alumno debe vincular la tensión superficial con la formación de gotas, para lo que debe evocar el modelo conceptual que ilustra las fuerzas intermoleculares que actúan a nivel molecular en la superficie de un líquido y compararlas con las que actúan en el interior. Debe reconocer que las moléculas que están en la superficie experimentan una fuerza hacia dentro y que esta fuerza empuja las moléculas de la superficie al interior, reduciendo así el área superficial (las esferas tienen la menor área superficial respecto a su volumen). Las opciones (a), (c), (d) y (e) son propiedades del agua no vinculadas a la tensión superficial estudiadas en cursos básicos y probablemente seleccionadas por aquellos alumnos que no han incorporado el modelo conceptual que explica el fenómeno.
La actividad valora un tipo de fuerza específica. Cuadro 8 Porcentaje de alumnos que respondieron correctamente esta actividad según el nivel de desempeño manifestado en la prueba
Total
Nivel 1 250-450
Nivel 2 451-550
Nivel 3 551-650
Nivel 4 651-750
Nivel 5 751 y más
31,9
15,7
27,2
47,3
82,3
87,0
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
34
4.5
5
NIVEL 5 (751 y más) Cuando los astronautas se encuentran en el espacio no pesan, sin embargo su masa no varía. ¿Puedes explicar este fenómeno?
…………………………………………………………………………………………………………………………………… …………………………………………………………………………
Competencia.- Producción Eje temático.- Ciencia-tecnología- sociedad Contenido.- Astronáutica Contexto.- Situación que puede ser planteada desde múltiples contextos (desde el aula hasta la ciencia-ficción)
La actividad propone producir un texto explicativo sobre las afirmaciones científicas que aparecen en el texto. Para responderla en forma correcta se debe evocar y analizar contenidos estructurantes ya adquiridos como la fuerza peso y el principio de conservación de la masa. Para obtener el máximo puntaje (crédito total) se deben aplicar estos contenidos para argumentar y dar significado al hecho de porqué la masa del astronauta se conserva en el espacio y vincular la afirmación sobre el peso con el principio de masa.18 Cuadro 9 Porcentaje de alumnos que respondieron correctamente esta actividad según el nivel de desempeño manifestado en la prueba
Total
15,0
18
Nivel 1 250-450
Nivel 2 451-550
Nivel 3 551-650
Nivel 4 651-750
Nivel 5 751 y más
3,6
15,8
27,4
38,8
66,7
El estudio de esta actividad se retoma en el Capítulo 6 de este documento.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
35
5.
Los niveles de desempeño según contexto sociocultural
5.1
Bachilleratos Diversificados Públicos
Gráfico 2 Porcentaje de alumnos de BD Público en cada nivel de desempeño en Ciencias Naturales 1,1%
0,5% 5,8%
0,9% 6,3%
14,4%
0,5% 10,0%
11,9%
29,8%
23,9%
34,7%
38,5%
25,0%
24,8%
Medio alto
Alto
0,9%
0,6% 7,1%
18,1% 23,5%
23,6%
35,4%
751 y + 651 - 750 551 - 650 451 - 550 250 - 450 Menos 250
38,3% 36,7%
36,3%
48,7% 37,4%
32,7%
32,3%
0,4% Bajo
0,0% Medio bajo
Medio
Quintiles factor sociocultural (turno) * Se excluye a los alumnos que se agregaron para el censo de ME
Total
El Gráfico 2 muestra la distribución porcentual de los alumnos de los Bachilleratos Diversificados Públicos en cada nivel de desempeño. En el mismo se observa que los niveles de desempeño aumentan con el contexto sociocultural. En total de la población de Bachillerato Diversificado, el 7,7% se ubica en los niveles de desempeño 4 y 5, porcentaje que varía entre 1,1% en el contexto Bajo y 12,8% en el contexto Alto. Por su parte el porcentaje total de alumnos que se ubican en el nivel 1 o por debajo del mismo, es de 32,3%, porcentaje que varía en entre el 49% en el contexto Bajo y el 24,8% en el contexto Alto.
A continuación, en el Gráfico 3 se presenta la distribución porcentual de los alumnos en cada nivel de desempeño, según el contexto sociocultural de los alumnos, discriminando por orientación cursada en 5º año (Humanística, Biológica y Científica)
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
36 Gráfico 3 Porcentaje de alumnos de BD Público en cada nivel de desempeño en Ciencias Naturales 1%
1% 8%
18%
22% 29%
1% 10%
3%
1%
11%
15%
8%
2% 18%
2%
2%
3%
15%
21% 29%
25% 36%
29%
24% 38%
30%
35% 38%
46%
33%
45% 43% 36%
62%
36%
57%
28%
50% 25%
25% 16%
44%
41%
44% 22%
12%
14% 3%
Bajo Medio bajo * Se excluye a los alumnos que se agregaron para el censo de ME
Medio
Medio alto
Humanístico
Científico
Biológico
Humanístico
Científico
Biológico
Humanístico
Científico
Biológico
Humanístico
1% Biológico
37% 21%
Humanístico
32%
40%
Científico
751 y + 651 - 750 551 - 650 451 - 550 250 - 450 Menos 250
1% 7%
1% 6%
Alto
Se puede observar que al controlar por las orientaciones seguidas por los alumnos en 5º año, en todos los contextos los que obtienen mejores desempeños en Ciencias Naturales son los alumnos de la orientación Científica, seguidos por los alumnos de la orientación Biológica. Cabe señalar además, que es amplio el porcentaje de alumnos que se ubican en los niveles de desempeños más bajos (1 y 2), encontrándose los porcentajes más altos entre los que cursaron la Orientación Humanística y la Orientación Científica, independientemente del contexto sociocultural. Entre los desempeños más bajos, los porcentajes de la Orientación Humanistica oscilan entre el 93% para el contexto Bajo y el 77% para el contexto Alto. En el caso de la Orientación Biológica los porcentajes oscilan entre el 77% para el contexto Bajo y el 63% para el contexto Alto. Por su parte, para el caso de los alumnos que cursaron la Orientación Científica descienden a 52% en el contexto Bajo y a 25% en el contexto Alto.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
37
5.2
Bachilleratos Diversificados Privados Gráfico 4 Porcentaje de alumnos de BD Privado en cada nivel de desempeño en Ciencias Naturales 0,6% 5,1%
2,2%
1,9%
14,2%
12,9%
26,3%
31,8%
751 y + 651 - 750 551 - 650 451 - 550 250 - 450
30,9%
34,0%
31,8%
32,1%
34,0% 20,0%
Bajo
Medio bajo
Medio
Medio alto
22,1%
Alto
Quintiles factor sociocultural (turno)
Total
El Gráfico 4 muestra la distribución porcentual de los alumnos de BD Privado en cada nivel de desempeño. El gráfico permite concluir que si bien la población de los BD Privados es mucho más homogénea en términos de su composición sociocultural que la población de los BD Público, los desempeños en la prueba de Ciencias Naturales también están asociados al contexto sociocultural. Cabe señalar que más de la mitad de los alumnos se ubicó en los niveles 1 y 2 (54%). Este porcentaje varía entre el 68% en el contexto Medio alto y 51,8% en el contexto Alto.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
38 Gráfico 5 Porcentaje de alumnos de BD Privado en cada nivel de desempeño en Ciencias Naturales 2% 9%
11%
5%
4%
25%
24%
39%
40%
16%
39% 751 y + 651 - 750 551 - 650 451 - 550 250 - 450 Menos 250
37% 33%
34%
35% 53% 21% 32%
19%
Biológico
15%
Humanístico Medio alto
Biológico
10% Científico
Humanístico
Alto
En el Gráfico 5 se presenta la distribución porcentual de los alumnos de BD Privado según niveles de desempeño por contexto sociocultural, discriminando por orientación de Bachillerato en 5º año19. Al analizar de esta forma la información, se observa que se registra el mismo ordenamiento de los alumnos de acuerdo al desempeño en la prueba de Ciencias Naturales ya señalado para los BD Públicos: los resultados más altos los obtienen los alumnos de la Orientación Científica seguidos por los alumnos d ela Orientación Biológica.
Cabe señalar que: -
Solamente en el caso de la Orientación Científica del contexto Alto, la mayoría de los alumnos se ubican en los niveles más altos (3, 4 y 5);
-
Los desempeños de los alumnos de la Orientación Humanística del contexto Alto son más bajos que los de los alumnos de la Orientación Biológica del contexto Medio alto (72% y 53% en los niveles 1 y 2 – 28% y 48% en los niveles 3 y 4 respectivamente).
19
En los Bachilleratos Diversificados Privados, los alumnos pertenecientes al contexto Medio alto de la muestra, que cursaron la Orientación Científica en 5º año, fueron solamente 19. Por ser tan escaso este número no se presentan resultados para dicha Orientación en dicho contexto sociocultural. ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
39
5.3
Bachilleratos Tecnológicos Gráfico 6 Porcentaje de alumnos de BT en cada nivel de desempeño en Ciencias Naturales 1,3%
1,8%
2,3%
15,0%
14,9%
15,1%
0,1% 2,2%
0,9% 6,8%
15,5% 19,7%
751 y + 651 - 750 551 - 650 451 - 550 250 - 450 Menos 250
40,6%
41,8%
41,7%
45,2% 39,3%
42,9%
41,5%
37,4%
40,4% 33,3%
0,2% Bajo
0,1% Medio bajo
Medio
Medio alto
Quintiles factor sociocultural (turno)
Alto Total
El Gráfico 6 presenta la distribución porcentual de los alumnos de BT en cada nivel de desempeño. En él se observa que: -
No hay alumnos de Bachilleratos Tecnológicos en el contexto sociocultural Alto.
-
Más del 80% de los alumnos de BT no alcanza el nivel de desempeño 3.
-
Los datos correspondientes a los alumnos de los contextos Bajo, Medio bajo y Medio son muy similares entre sí. No hay alumnos que se ubiquen en el nivel de desempeño más alto (5). Entre un 1,3% y un 2,3% de los alumnos se ubican en el nivel 4. Entre un 82,6% y un 83,7% se ubican en los niveles más bajos (1 y 2).
-
Los resultados mejoran en los alumnos que proceden de los contextos Medio Alto y Alto.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
40
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
41
CAPÍTULO 5 LOS RESULTADOS 1. El puntaje promedio, el factor sociocultural y la dispersión del puntaje promedio Como ya se dijo, los puntajes de esta evaluación en Bachillerato se fijaron en una escala arbitraria con una Media de 500 puntos y Desviación Estándar de 100 puntos (+ – 100). Por esta razón, si bien los resultados en las cuatro áreas del conocimiento se expresan en la misma escala, los puntajes no son comparables entre sí (la Media es independiente de cuán altos o cuán bajos hayan sido los desempeños de los estudiantes).
En este capítulo en primer término se presenta los cuadros con el puntaje promedio, obtenido en la Prueba de Ciencias Naturales; luego, su asociación con el factor sociocultural (línea de regresión); y por último, la dispersión del puntaje promedio en gráficos de barras.
El lector deberá tener en cuenta que: •
Los cuadros presentan el puntaje promedio de los alumnos en distintos niveles del contexto sociocultural para cada uno de los estratos20. Ello permite observar cómo varía el puntaje según los niveles del contexto y a la vez realizar comparaciones entre orientaciones controlando el nivel sociocultural.
•
Los gráficos que presentan las líneas de regresión muestran la relación para cada orientación entre el puntaje de los alumnos y el factor sociocultural del turno al cual asisten. -
La ordenada en el origen de las líneas está relacionada con el puntaje obtenido en las pruebas.
-
La pendiente de las líneas refiere a la fuerza de la asociación entre el contexto sociocultural y los puntajes en las pruebas. Las rectas con mayor pendiente indican que existen mayores diferencias en el puntaje de los alumnos de una misma orientación con distinto contexto sociocultural. En
20
Categoría, región y orientación.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
42
cambio, cuando las rectas son más horizontales se puede decir que el efecto del factor sociocultural sobre los resultados de aprendizaje es menor. -
En cada una de las líneas de regresión se señalan cinco puntos que corresponden al valor del factor de contexto sociocultural en el cual se encuentra el percentil 5, 25, 50, 75 y 95. De esta forma es posible considerar las diferencias en la composición social de cada grupo de estudiantes al realizar las comparaciones.21
•
Dado que iguales puntajes promedios pueden obedecer a distribuciones nada similares entre sí, en los gráficos de barras se presenta el grado de dispersión de dichos puntajes. En ellos se podrá observar entonces: -
cuáles orientaciones son más homogéneas en sus resultados;
-
qué proporción de alumnos de cada orientación se ubica por encima y por debajo de los distintos puntajes.
En este esquema se indica qué representa cada uno de los niveles señalados en las barras:
Puntaje correspondiente al 5% superior
Puntaje
Puntaje correspondiente al 25% superior Promedio Puntaje correspondiente al 25% inferior Puntaje correspondiente al 5% inferior
21
Los percentiles del factor sociocultural que se presentan en estas gráficas pueden tener algunas diferencias con los que se presentan en la gráfica 3 del capítulo 4, ya que en aquel caso se consideró a todos los alumnos independientemente de la prueba que hayan contestado y en éste caso se considera a los alumnos que respondieron cada prueba.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
43
De esta manera se cuenta con información acerca de entre cuáles puntajes varían los desempeños y además se puede apreciar en qué medida hay mayor o menor dispersión entre los mismos. Sin duda se trata de un aspecto importante ya que distintas distribuciones en los puntajes pueden generar los mismos resultados promedio. Para apreciar este aspecto se debe observar la distancia entre, por ejemplo, el puntaje del 25% superior y 25% inferior de la población: distancias pequeñas indican distribuciones más homogéneas y distancias mayores indican distribuciones más heterogéneas. 2.
Bachilleratos Diversificados Públicos
Los resultados obtenidos en la prueba de Ciencias Naturales permiten observar que los puntajes promedio aumentan conjuntamente con el contexto sociocultural. Los resultados por nivel al interior de cada una de las orientaciones también permiten observar este fenómeno. Cuadro 10 Bachilleratos Diversificados Públicos Puntaje promedio en CIENCIAS NATURALES según orientación y contexto sociocultural Bajo Biológico Bachilleratos Científico Diversificados Humanístico Total BD Biológico Micro Experiencia Científico Humanístico Total ME
486 * 437 460 ** ** ** **
Niveles factor sociocultural Medio-Bajo Medio Medio-Alto 512 514 520 548 554 565 439 458 473 486 500 523 * 494 545 538 532 441 435 486 472 477 516
Alto * 608 480 525 ** ** ** **
Total + 513 561 455 502 505 536 445 485
(*) No se presenta el dato porque hay menos de 30 alumnos. (**) No hay casos en el nivel. (+) Los promedios incluyen los casos de los niveles con menos de 30 alumnos.
Entre los estudiantes de la Micro Experiencia la relación entre contexto sociocultural y desempeños en la prueba parece desdibujarse, probablemente debido a la mayor homogeneidad de la población.
Los estudiantes que provienen de la orientación Científica obtienen los mejores puntajes promedio (561), por encima de quienes cursaron la orientación Biológica (513) y a una distancia apreciable del promedio de los de la orientación Humanística (455). El mismo ordenamiento se registra cuando se realizan comparaciones al interior de los niveles.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
44
Los resultados de los estudiantes de la Micro Experiencia son levemente inferiores a los del conjunto de los Bachilleratos Diversificados. Estas diferencias deben tomarse con cautela, por razones que van desde los problemas de representatividad de la muestra de Bachillerato Diversificado público hasta la magnitud de las distancias en los puntajes de los diferentes grupos y las variaciones observables cuando las comparaciones se realizan entre estudiantes del mismo nivel de contexto.
Gráfico 7 Bachilleratos Diversificados Públicos Relación entre factor sociocultural y puntaje promedio Público *
Puntaje en Naturales
700
600
500
400
300 -1,5
-1
-0,5
0
0,5
1
1,5
Factor sociocultural Biológico
Científico
Humanístico
* Los puntos señalados en cada linea marcan el lugar en que se ubica el 5%, 25%, 50%, 75% y 95% de los alumnos, según su distribución en el factor sociocultural.
El Gráfico 7 permite observar claramente que los puntajes aumentan a medida que lo hace el contexto sociocultural, observándose a su vez mayor similitud entre los resultados de los alumnos que provienen de la orientación Científica y de la orientación Biológica con respecto a los que cursaron la orientación Humanística. Los puntajes de los alumnos que están en el percentil 5 del factor sociocultural y cursaron orientación Biológica son similares a los puntajes de los alumnos provenientes de orientación Humanística que se encuentran en el percentil 95. Los resultados de los estudiantes que cursaron orientación Científica son mayores a los de la orientación Humanística en todos los niveles de la escala sociocultural. Por otra parte, lo señalado acerca de la relación entre los puntajes y el factor sociocultural para los estudiantes de orientación Biológica y de orientación Humanística, también se registra entre las orientaciones Biológica y Científica. Los
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
45
alumnos con una composición social más favorable de la orientación Biológica obtienen resultados similares a los de composición social más desfavorable en la orientación Científica. Gráfico 8 BD Públicos Dispersión de los puntajes promedio
Público Montevideo 800 700
Puntaje en Naturales
600 500 400 300 200 100 0 Biológico
Científico
Humanístico
Total Mvd PU
Gráfico 9 BD Público Interior Dispersión de los puntajes promedio Público Interior 800 700
Puntaje en Naturales
600 500 400 300 200 100 0 Biológico
Científico
Humanístico
Total Int PU
Si bien la dispersión de los puntajes promedio obtenidos por los alumnos de los distintos estratos de los liceos públicos se presenta independientemente para Montevideo e interior (Gráficos 8 y 9 respectivamente), dado que las tendencias son muy similares, los comentarios que siguen son válidos para los dos.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
46
En ninguno de los casos se observan diferencias importantes en cuanto a la distribución de los puntajes de cada una de las orientaciones. Lo más destacable es que los puntajes de los alumnos que cursaron la orientación Humanística son más homogéneos entre el 5% superior y el 5% inferior. Por otra parte, tanto entre quienes cursaron las orientaciones Humanística como la Biológica la distancia entre los puntajes del 5% y 25% inferior es menor a la distancia en los puntajes entre el 5% y 25% superior. En la orientación Científica, por lo contrario, se encuentra mayor dispersión entre los puntajes de los alumnos que obtienen resultados más bajos.
Por otra parte, vemos que el 75% de los alumnos que cursaron la orientación Científica obtiene resultados mayores a la media del conjunto de los alumnos de liceos públicos tanto en Montevideo como en el interior. Algo más del 25% de los alumnos provenientes de la orientación Biológica obtiene resultados iguales o superiores a la media de los de la orientación Científica.
Entre los alumnos que cursaron la orientación Humanística, el 75% registra puntajes iguales o inferiores a la media de los provenientes de la orientación Biológica. Una proporción algo menor obtiene puntajes por debajo de los alcanzados por el 25% inferior de los alumnos de la orientación Científica. El puntaje del 25% inferior de los alumnos que cursaron la orientación Biológica es similar al puntaje promedio de quienes optaron por la orientación Humanística. El puntaje que obtiene el 5% con más bajos desempeños de la orientación Científica es similar al que obtiene el 25% con puntajes más bajos de la Humanística.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
47
3.
Bachilleratos Diversificados Privados Cuadro 11 Bachilleratos Diversificados Privados Puntaje promedio en CIENCIAS NATURALES según orientación y contexto sociocultural Niveles de contexto sociocultural Bajo
Medio-Bajo
Medio
Medio-Alto
Alto
Total +
Biológico
**
**
**
536
555
551
Científico
**
**
**
*
592
592
Humanístico
**
**
*
450
494
487
Total
**
**
*
501
544
538
(*) No se presenta el dato porque hay menos de 30 alumnos. (**) No hay casos en el nivel. (+) Los promedios incluyen los casos de los niveles con menos de 30 alumnos.
Los estudiantes que cursaron orientación Humanística en 5º año obtuvieron el puntaje promedio más bajo (487), seguidos por los que provienen de la orientación Biológica (551) y los que cursaron la orientación Científica (592). El ordenamiento se repite cuando se compara a los estudiantes que pertenecen al mismo nivel de contexto sociocultural. Gráfico 10 Bachilleratos Diversificados Privados Relación entre factor sociocultural y puntaje promedio Privado *
Puntaje en Naturales
700
600
500
400
300 0
0,5
1
1,5
2
2,5
Factor sociocultural
Biológico
Científico
Humanístico
* Los puntos señalados en cada linea marcan el lugar en que se ubica el 5%, 25%, 50%, 75% y 95% de los alumnos, según su distribución en el factor sociocultural.
En el Gráfico 10 puede observarse que los resultados de los alumnos que cursaron la orientación Biológica se ven menos afectados por el factor sociocultural que los que cursaron la orientación Científica y la orientación Humanística. Las menores diferencias entre los desempeños de los alumnos provenientes de las orientaciones Biológica y Humanística se registran en los puntajes obtenidos por los alumnos con más alta ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
48
composición social de esta última (percentil 95) y los de más baja composición social de la primera (percentil 5). A su vez, los alumnos de la orientación Humanística de contexto sociocultural más favorable (percentil 95) presentan resultados más bajos que los de la orientación Científica de contextos más desfavorecidos (percentil 5). Por otra parte, los alumnos de la orientación Biológica de contextos más favorables (percentil 95) obtienen resultados similares a los de la orientación Científica que se ubican en el percentil 25 del factor sociocultural. Gráfico 11 Bachilleratos Diversificados Privados Dispersión de los puntajes promedio
Privado 800 700
Puntaje en Naturales
600 500 400 300 200 100 0 Biológico
Científico
Humanístico
Total Privado
El Gráfico 11 permite observar que el puntaje de los alumnos que asisten a centros privados es algo más homogéneo entre quienes provienen de la orientación Humanística que en el resto de las orientaciones. En este grupo a su vez se registra la menor distancia entre el puntaje del 25% superior y el 25% inferior. En los que cursaron la orientación Biológica se registra la distancia mayor entre esos puntos.
En estas dos orientaciones no se observan diferencias en la dispersión de los puntajes entre el 5% y 25% superior y entre el 5% y 25% inferior. Para los alumnos que cursaron orientación Científica es claramente mayor la dispersión entre los del 5% y 25% inferior.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
49
Una vez más se observa que aproximadamente el 75% de los alumnos que provienen de la orientación Científica, obtiene puntajes similares o mayores a la media del conjunto de las orientaciones. Al mismo tiempo, algo menos del 75% de quienes provienen de la orientación Humanística obtiene puntajes iguales o inferiores a dicha media. El desempeño de los alumnos que cursaron la orientación Biológica se encuentra entre los dos anteriores. Se observa que su media es algo superior al puntaje que obtiene el 25% inferior de quienes cursaron la orientación Científica. El puntaje máximo del 25% inferior de los alumnos provenientes de la orientación Biológica es similar a la media de los de la orientación Humanística.
4.
Bachilleratos Tecnológicos Cuadro 12 Bachilleratos Tecnológicos Puntaje promedio en CIENCIAS NATURALES según orientación y contexto sociocultural Niveles de contexto sociocultural
Administración
Bajo 459
Medio-Bajo 468
Construcción
473
Electrónica
Medio
Medio-Alto
Alto
Total +
470
*
**
465
473
504
**
**
481
485
*
*
**
**
491
Electromecánica
*
*
*
**
**
501
Mecánica
*
*
*
**
**
437
Turismo
*
*
*
*
**
443
484
*
*
533
**
500
**
*
**
*
**
*
Agraria
464
*
**
453
**
455
Total E.T.
467
471
476
495
**
473
Informática Química
(*) No se presenta el dato porque hay menos de 30 alumnos. (**) No hay casos en el nivel. (+) Los promedios incluyen los casos de los niveles con menos de 30 alumnos.
En las pruebas de Ciencias Naturales la mayoría de las orientaciones de los Bachilleratos Tecnológicos obtuvo puntajes promedio levemente inferiores a la media. La relativa homogeneidad también se puede apreciar si se observa la distancia registrada entre los grupos que obtuvieron el mejor y el peor puntaje promedio: Electromecánica (501) y Mecánica (443).
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
50 Gráfico 12 Bachilleratos Tecnológicos Relación entre factor sociocultural y promedio Escuelas Técnicas *
Puntaje en Naturales
700
600
500
400
300 -2
-1,5
-1
-0,5
0
0,5
1
1,5
2
Factor sociocultural * Los puntos señalados en cada linea marcan el lugar en que se ubica el 5%, 25%, 50%, 75% y 95% de los alumnos, según su distribución en el factor sociocultural.
El resultado del conjunto de los alumnos de los Bachilleratos Tecnológicos no se ve afectado de manera relevante por el factor sociocultural, aunque no deja de observarse la tendencia al aumento de los puntajes conjuntamente con el mismo. Gráfico 13 Bachilleratos Tecnológicos Dispersión de los puntajes promedio Escuelas Técnicas 700
Puntaje en Naturales
600 500 400 300 200 100 0
En el Gráfico 13 se observa que la distribución del puntaje de los alumnos de los Bachilleratos Tecnológicos es más homogénea entre quienes obtienen resultados más bajos (5% a 25% inferior) que entre los que obtienen puntuaciones más altas (5% a 25% superior).
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
51
En síntesis, a partir del análisis realizado se puede concluir que los resultados en la prueba están asociados a la orientación seguida en 5º año por los alumnos y al factor sociocultural del turno en que asisten a clase.
En los centros públicos el desempeño de los alumnos de la orientación Científica los ubica, independientemente del factor sociocultural, por encima de sus pares que cursan otras orientaciones. •
Los puntajes promedio obtenidos por los alumnos que cursaron orientación Científica son los más altos, en segundo lugar se ubican los desempeños de los alumnos provenientes de la orientación Biológica, y a mayor distancia se encuentran los de quienes cursaron la orientación Humanística.
•
El efecto del factor sociocultural sobre los desempeños se observa con mayor claridad entre los estudiantes que provienen de la orientación Científica.
En el caso de los centros privados se encuentra el mismo ordenamiento por orientaciones que se registra en los centros públicos. •
El efecto del factor sociocultural es menor entre los alumnos provenientes de la orientación Biológica que entre los de las orientaciones Humanística y Científica.
•
Se observa que la dispersión de los puntajes de los alumnos que cursaron la orientación Científica es mayor entre quienes obtienen puntajes más bajos, mientras que entre los alumnos provenientes de las orientaciones Biológica y Humanística es mayor entre los que obtienen resultados más altos.
Tanto en centros públicos como privados: •
Aproximadamente el 75% de los alumnos provenientes de la orientación Científica obtienen resultados iguales o superiores a la media del conjunto de los alumnos de su mismo subsistema.
•
El puntaje más bajo registrado por los alumnos que cursaron la orientación Científica (correspondiente al percentil 5 del factor sociocultural), es alcanzado solamente por los alumnos de mejor composición social (percentil 95) que provienen de orientación Humanística.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
52
En los Bachilleratos Tecnológicos se observa que el factor sociocultural tiene un efecto moderado sobre los resultados de las pruebas. Esto indica que, tal vez, el poder discriminatorio del factor sociocultural sobre los resultados es menor cuando nos encontramos
ante
poblaciones
con
un
perfil
sociocultural
homogéneamente
desfavorecido.
Por otra parte, el desempeño de estos alumnos en las pruebas de aprendizaje presenta mayor variabilidad entre los estudiantes que obtienen los puntajes más altos y menor variabilidad entre los alumnos que obtienen los puntajes más bajos.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
53
CAPÍTULO 6 REFLEXIONES DESDE LA DIDÁCTICA 1.
El texto argumentativo en la prueba de Ciencias Naturales
Los siete bloques utilizados para la elaboración de la prueba, permiten observar que cuatro de las catorce actividades que forman un bloque proponen, a partir de la lectura de un texto informativo, producir otro texto usando argumentos, o seleccionar el argumento apropiado entre una oferta de cinco opciones. Un análisis de los resultados de las 28 actividades con estas características, permite afirmar que aproximadamente algo menos de la mitad de las actividades resultan de dificultad promedio (46,4%) mientras que más de la mitad resultan difíciles y muy difíciles (53,6%). Si se tiene en cuenta que la capacidad de argumentar implica recordar conocimientos científicos, usar el lenguaje propio de la ciencia y elaborar explicaciones en un texto, resulta comprensible que estas actividades se ubiquen en este nivel de dificultad. La posibilidad de usar argumentos está vinculada a la capacidad de elaborar hipótesis. Para ello es necesario: •
Contrastar información documentada.
•
Razonar con las pruebas.
•
Interpretar fenómenos basando las argumentaciones en datos comprobados y explicaciones convincentes.
•
Relacionar las ideas, las estrategias y los comportamientos más adecuados para comprender la complejidad de los sistemas y sus interacciones.
El desarrollo de la capacidad de argumentar implica poder diferenciar en el contexto las afirmaciones científicas que pertenecen al argumento de qué se habla, de las no científicas y de impacto emotivo.
Para usar esta capacidad hay que poseer:
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultado en CIENCIAS NATURALES
54
•
Una base de conocimientos de leyes generales que constituya un patrimonio de parámetros de juicio respecto a los cuales poder valorar la solidez y la probabilidad de las afirmaciones.
•
El hábito de recurrir a otras fuentes, lo que implica la posibilidad de trasponer los conceptos a otros contextos.
2.
La selección de argumentos
En una tarde de verano, sacamos de la heladera (5ºC) un refresco y del freezer (3ºC) unas piedritas de hielo. Un estudiante dice que, entre el refresco y el hielo se dan tres transferencias 1] transferencia de calor del refresco al hielo 2] transferencia de temperatura del refresco al hielo 3] transferencia de frío del hielo al refresco ¿Con cuál o cuáles de las transferencias propuestas por el estudiante estás de acuerdo? a) La nº 1 b) La nº 2 c) La nº 3 d) La nº 1 y la nº2 e) La nº 1 y la nº3 Esta actividad propone una situación de la vida cotidiana que plantea descubrir por percepción selectiva, comparativa y discriminativa informaciones científicas, donde se valora la capacidad de reconocer y aplicar los conceptos de temperatura y calor. Para ello, se debe identificar los datos presentados y reconocer el fenómeno de transferencia de energía implicado en el texto.
Es una actividad de discriminación ideal (a = 1,433), de dificultad promedio (557), donde el azar prácticamente no incide en los resultados (c = 0,056) y con baja omisión de respuesta (4,9%). Evalúa un contenido transversal en el doble sentido de la interdisciplinariedad y de los múltiples contextos en que es abordado,
desde lo
cotidiano hasta la enseñanza formal. Se trata de un contenido básico, estructurante, cuyo dominio permite interpretar fenómenos científicos y tecnológicos del mundo actual.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultado en CIENCIAS NATURALES
55
En la Tabla 6 se presenta el porcentaje de respuesta a cada una de las alternativas de respuesta, especificando la justificación de las mismas. Tabla 6 ALTERNATIVA DE RESPUESTA
%
a b c d e
15,2 14,3 19,1 10,5 36,0
JUSTIFICACIÓN
Clave. Confunde calor con temperatura. Usa el término transferencia incorrectamente. Confunde conceptos (calor, temperatura). Confunde conceptos (calor, frío).
En el Cuadro 13 se presenta la distribución porcentual de las respuestas de los estudiantes a cada una de las alternativas, según el nivel de desempeño manifestado en la prueba. Cuadro 13 Distribución porcentual de las respuestas de los alumnos a la actividad a las diferentes alternativas según su nivel de desempeño en la prueba NIVELES DE DESEMPEÑO a (clave) b
250-450
451-550
551-650
651-750
751 y más
TOTAL (%)
5,7
8,3
24,7
56,1
94,1
15,2
13,9
14,7
15,0
12,8
0
14,3
c
26,8
21,3
10,7
3,0
0
19,1
d
12,0
11,0
8,9
7,3
0
10,5
e
33,9
39,6
38,8
19,5
5,9
36,0
NO RESPONDE
7,7
5,0
2,0
1,2
0
4,9
TOTAL
100,0
100,0
100,0
100,0
100,0
100,0
Uno de los obstáculos con los que se enfrenta el docente que pretende enseñar conceptos ligados al campo disciplinar de la termodinámica es la dificultad que se les plantea a los estudiantes para distinguir los conceptos de “calor” y “temperatura”. La confusión entre estos conceptos podría provenir del significado diferente al científico que en la vida cotidiana se les da a ambas palabras.
El estudio de la influencia de la enseñanza de la construcción de estas ideas, fue realizado por Andrée Tiberghien (Driver 1992).
En el mismo se señalan algunas
consideraciones surgidas de la investigación con niños franceses entre 10 y 14 años.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultado en CIENCIAS NATURALES
56
2.1
Consideraciones sobre la construcción de la noción de temperatura
En relación al tema es fundamental tener presente dos cuestiones básicas. •
Los científicos saben que, cuando se calienta un objeto, su temperatura crece necesariamente, salvo si se produce una transformación física o química. Sin embargo la relación causal “calentamiento-aumento de temperatura” no es sistemáticamente reconocida por todos los alumnos. Para algunos, esta relación depende de la sustancia: solo un tercio de los alumnos investigados, piensan que la temperatura de la arena, el agua y el azúcar se incrementan cuando se calientan. Muchos sostienen que “la arena no puede ser calentada”.
•
La segunda cuestión se vincula con el concepto de equilibrio térmico. Cuando varios objetos están en contacto prolongado alcanzan la misma temperatura. Los alumnos tienen dificultad para reconocer la igualdad de temperaturas cuando se establece el equilibrio térmico. Por ejemplo, si se plantea la pregunta sobre la temperatura de un objeto de metal y otro de plástico situados en la misma habitación las respuestas más frecuentes es que no están a la misma temperatura.
2.2
Consideraciones sobre la adquisición de la noción de calor
La investigación muestra que, a partir de la enseñanza, los alumnos tienden a emplear los términos caliente, frío, aislante, conductor, en casi todos los tipos de explicaciones y en diversas situaciones. Sin embargo estas palabras son usadas con significado diverso de un alumno a otro e incluso por el mismo alumno de acuerdo a la situación a la que refiere.
De acuerdo a Marcelo & Soussan (1985) los alumnos evolucionan desde una explicación de los fenómenos limitada por la percepción y el lenguaje de la vida cotidiana hacia un modelo explicativo bastante cercano al científico, pasando por etapas donde manifiestan ideas análogas a las propuestas por la teoría del calórico. Se ha observado repetidamente en la investigación didáctica la tendencia al isomorfismo entre
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultado en CIENCIAS NATURALES
57
las concepciones previas de los alumnos y las concepciones vigentes a lo largo de la historia del pensamiento científico (Furió Más, 1996).
Varela Nieto (1996) sintetiza los errores de los estudiantes indicando que existen confusiones entre calor y fuente de calor; calor y estado del sistema; calor y efectos que produce. También recoge la presencia en los estudiantes de la idea de “temperatura como cantidad de calor” o que la temperatura de un cuerpo depende de su naturaleza: “hay cuerpos fríos como los metales o calientes como la lana”.
Hierrezuelo & Montero (1989) establecen que las concepciones previas condicionan la trasposición didáctica; la primera noción que se debe tener clara es la de temperatura. Es necesario comprender que se trata de una magnitud intensiva que solo depende del estado del sistema y no de la naturaleza de la sustancia. Luego hay que incorporar la noción de equilibrio térmico que resulta difícil de adquirir porque las experiencias cotidianas parecen contradecir esa idea. Los alumnos sostienen: “las patas de hierro de la mesa están más frías que la mesada de madera” sin tener en cuenta que el organismo no detecta la temperatura, sino transferencias de calor. Un cuerpo nos parece que está muy frío cuando al estar en contacto con él nuestro organismo le cede mucho calor. El calor intercambiado depende de la diferencia de temperatura, de la conductividad térmica y de la superficie de contacto. Por eso, como la conductividad térmica del hierro es mucho mayor que la de la madera, el flujo de calor hacia el hierro es mucho más rápido que hacia la madera y como consecuencia nuestro organismo lo nota más frío.
Para algunos alumnos, el frío tiene una existencia material como algo diferente al calor. Son dos sustancias antagónicas que al mezclarse neutralizan sus efectos. Los resultados de la alternativa e de la actividad 6 (página 56) confirman esa idea (ver cuadro 13).
En cuanto a la adquisición del concepto de calor el primer obstáculo lo plantea la tendencia a considerar el calor como algo almacenado en los cuerpos. La idea de calor como energía intercambiada exige un conocimiento previo del concepto de energía. Una vez establecido el significado del calor queda la dificultad de comprender la naturaleza
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultado en CIENCIAS NATURALES
58
de esa magnitud, que requiere de la comprensión y la capacidad de aplicación del modelo cinético-molecular. 3.
La producción de argumentos
Cuando los astronautas se encuentran en el espacio no pesan, sin embargo su masa no varía. ¿Puedes explicar este fenómeno? La actividad transcripta exige la producción de la respuesta por parte del estudiante y está enmarcada en un contexto de la astronáutica. En ella el alumno es confrontado con situaciones que no se pueden resolver por medio de presencia manifiesta en la conciencia de una información determinada. La actividad
evalúa la producción
interpretativa en la cual el alumno debe analizar, inferir, explicar, resumir, relacionar, comparar informaciones. Para obtener el crédito total debe conocer el principio de conservación de la masa y aplicarlo a una situación particular. También debe reconocer el peso como una fuerza.
Dentro de las respuestas sin crédito se codificaron las que argumentaban respuestas que asocian la ingravidez con la ausencia de oxígeno o de atmósfera, de otras respuestas, por tratarse de una idea previa muy arraigada, aún luego de un período de aprendizaje. La actividad resultó de discriminación débil (a = 0,625), de dificultad alta (609), con un 15,3% de omisión. Evalúa un contenido básico, estructurante, transversal, abordado desde múltiples contextos: desde la vida cotidiana y desde las diferentes disciplinas como tema de aula. Sólo un 15,0 % del total de alumnos que lo abordan consiguen alcanzar el crédito total.
En el Cuadro 14 se hace un análisis de las respuestas producidas por los estudiantes.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultado en CIENCIAS NATURALES
59 Cuadro 14 Distribución porcentual de las respuestas de los estudiantes a la actividad presentada en la página 48, según el nivel de desempeño logrado en la Prueba de Ciencias Naturales Menos de 250-450 451-550 551-650 651-750 751 y más TOTAL % 250 SIN CRÉDITO
33,3
69,1
73,7
68,8
60,3
33,3
69,7
0
3,6
15,8
27,4
38,3
66,7
15,0
NO RESPONDE
66,7
27,3
10,4
3,7
1,4
0,0
15,3
TOTAL
100,0
100,0
100,0
100,0
100,0
100,0
100,0
CRÉDITO TOTAL
Los niveles de logro del crédito total evolucionan favorablemente junto al mejor desempeño. Se puede observar que en el nivel más bajo sólo un 3,6 % logra el crédito total, mientras que en el nivel más alto el 66,7% lo alcanza. Estos datos concuerdan con los trabajos publicados sobre las investigaciones de estos temas. Hierrezuelo & Montero (1989), señalan que muy pocos alumnos interpretan correctamente el término “gravedad” porque no diferencian su uso cotidiano con su uso científico. Las confusiones de este concepto van desde aquellos alumnos que no distinguen la fuerza de la gravedad (el peso) con la aceleración de la gravedad, hasta los que consideran imprescindible la presencia del aire para la existencia de la fuerza de la gravedad. La influencia de las películas de ciencia-ficción y las informaciones sobre los viajes espaciales, parecen decisivas en la relación entre el aire y la fuerza de la gravedad. Refuerza esta idea el hecho que en televisión es frecuente ver los paseos de los astronautas por el espacio exterior, flotando, donde no hay aire. En estos mismos programas también se observa cómo los astronautas flotan en el interior de la nave espacial, donde hay aire. Lo antedicho permite deducir que la existencia o no del aire es un factor sin importancia. Sin embargo esta información es insuficiente y se requiere de un soporte teórico que guíe la observación y centre la atención en los aspectos relevantes que se observan. La investigación muestra que esta misma idea es mantenida por adultos no especialistas en Física.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultado en CIENCIAS NATURALES
60
3.1
Consideraciones sobre algunas ideas que tienen los alumnos de “la
gravedad” y el peso
Los alumnos suelen usar el término “gravedad” para referirse a la fuerza de la gravedad o a la aceleración de la gravedad. Son algunos ejemplos de ideas previas: •
La gravedad es algo que causa la caída de los cuerpos al actuar sobre el peso de los mismos.
•
El peso es entendido como una propiedad intrínseca de los objetos.
•
En ausencia de aire no actúa la fuerza de la gravedad.
•
La gravedad aparece asociada con la fuerza que hace que los cuerpos caigan hacia la Tierra.
•
Contrariando la ley de la gravitación universal, muchos alumnos sostienen que la fuerza de la gravedad aumenta con la altura.
•
Los alumnos que conocen la relación correcta entre la fuerza de la gravedad y la altura, tienen una idea errónea del valor de esta dependencia.
3.2
Algunas consideraciones sobre la adquisición de la conservación de la masa
Rosalind Driver (1992) en sus estudios sobre el tema, indica que la noción de masa tiene diversas connotaciones para los estudiantes, que incluyen el volumen y el peso.
Los alumnos consideran que el peso de una sustancia, que a menudo se emplea como alternativa de masa, varía con las circunstancias. Por ejemplo: •
Se asocia con nociones relativas a la densidad.
•
Se ve influido por la flotabilidad.
Estos factores interfieren con la construcción del concepto de cantidad, sustancia y masa. Con el tiempo, algunos estudiantes desarrollan la noción de sustancia como algo que se conserva, más allá de las apariencias, como es el caso de la disolución de azúcar en agua. Puede ser que la construcción del concepto de que la materia está formada por partículas fundamente el desarrollo de la conservación de la masa, así los cambios de apariencia pueden ser justificados con la redistribución de partículas indestructibles.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultado en CIENCIAS NATURALES
61
Afirma R. Driver que, aunque los alumnos hayan asimilado conceptos acerca de los átomos y de las moléculas, cuando se encuentran ante un fenómeno físico que deben trasponer estos contenidos para generar explicaciones, tienden a considerar relevantes sus propias ideas intuitivas. Lo importante a considerar es, por un lado, la adquisición del modelo teórico que se le ha enseñado y, por otro, si lo consideran apropiado y útil para interpretar los hechos.
3.3
Algunos aportes para ayudar a los alumnos a producir argumentos
De acuerdo con las recomendaciones de Van Dijk, T. A. (1978) aparecen algunas actividades apropiadas para adquirir la capacidad para argumentar. Estas pueden resumirse en: •
Discutir sobre hechos, fenómenos, datos y resultados de una experiencia, así como la interpretación de varios aspectos que están relacionados con éstos.
•
Detectar,
durante
la
realización
de
un
procedimiento
científico,
incoherencias y errores con el fin de mejorar sus resultados y considerar los hechos desde otros puntos de vista. •
Proponer metáforas para interpretar fenómenos nuevos haciendo referencia a situaciones más familiares y discutir a fondo su conveniencia.
También el mismo autor valora la elaboración de textos como una tarea que permite alcanzar algunos objetivos didácticos como: •
Poner en marcha el proceso de comprensión de ideas.
•
Entender el proceso de construcción de la ciencia a través del contraste histórico entre las nuevas hipótesis y los conocimientos ya aceptados.
•
Favorecer el desarrollo del espíritu crítico y la capacidad de escoger entre varias interpretaciones y propuestas que se presentan.
La argumentación es una actividad que permite el desarrollo del razonamiento lógico y el aprendizaje de estrategias de persuasión.
Por eso es un objetivo educativo su
enseñanza y su puesta en práctica en evaluaciones.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultado en CIENCIAS NATURALES
62
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultado en CIENCIAS NATURALES
65
ANEXO 1 COMPETENCIAS, CONTENIDOS Y ESPECIFICACIONES DE LA PRUEBA TABLA 7 CONTENIDOS
ENERGÍA
INTERACCIONES
ESTRUCTURA Y PROPIEDADES DE LA MATERIA
NIVELES DE ORGANIZACIÓN DE LA MATERIA
RELACIONES C–T-S
Fuentes, formas, transformaciones y conservación de la energía Radiaciones electromagnéticas (características, aplicaciones, efectos sobre los seres vivos) Luz Sonido Calor y temperatura Fuerzas y conservación de p (aplicados a situaciones de la vida diaria) Reacciones químicas (aplicadas en temas de interés social como lluvias ácidas, ozono, etc.) Gravitación universal Propiedades extensivas e intensivas: masa, volumen, densidad. Conservación de la masa Estructura atómica (modelos) Isótopos Moléculas y biomoléculas Características de los sistemas vivos Vida en el Universo Medidas (órdenes de magnitud, cifras significativas, instrumentos) Célula Clasificación y evolución de los sistemas vivos Sistema S-T-L, Sistema solar, Universo, Estrellas Salud Recursos naturales y contaminación (radiactiva, sonora, etc.) Biomecánica Electricidad y magnetismo Estaciones y calendario Satélites y comunicaciones Astronáutica Biotecnologías Mejoramiento genético Centrales nucleares
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
66
OPERACIONES RECEPTIVO – REPRODUCTIVAS
-
TABLA 8 COMPETENCIAS Descubrir por percepción selectiva, comparativa y discriminativa informaciones científicas Identificar situaciones problema científicamente investigables
Identificación reconocimiento y reproducción de informaciones científicas presentadas en soportes diversos OPERACIONES PRODUCTIVAS
-
Confrontación con situaciones que no se pueden resolver por medio de operaciones puramente receptivo – reproductivas
-
OPERACIONES de tipo COMUNICATIVO Comunicación de informaciones científicas
-
-
Encontrar la solución a un problema aplicando los conocimientos incluidos en la situación problemática y procesando la información apropiada adquirida previamente. Encontrar soluciones a un problema aplicando los conocimientos adquiridos previamente; no existiendo una única solución válida sino varias. Elaborar conclusiones a partir de las informaciones incluidas en la situación problema Analizar, explicar, traducir, comparar, resumir datos científicos. Encontrar ideas centrales o conceptos clave Establecer relaciones a partir de datos que pueden ser nuevas en su forma y/o en su contenido Elaborar hipótesis Realizar inferencias Aportar juicios de valor sobre un asunto específico a la luz de criterios proporcionados o no Comunicar información científica y tecnológica usando correctamente el sistema de símbolos acordados por la respectiva comunidad Manejo del lenguaje científico – tecnológico
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
67 TABLA 9 ESPECIFICACIONES de la prueba
CONTENIDO Energía
Estructura y propiedades de la materia
Interacciones
COMPETENCIA
COMPETENCIA 1 INFORMACIÓN
COMPETENCIA 3 COMUNICACIÓN
Relaciones C–T-S
1
4
7
10
13
-Ítem cerrado
- Ítem cerrado
- Ítem cerrado
- Ítem cerrado
- Ítem cerrado
8
11
14
5 -Ítem abierto
- Ítem cerrado
- Ítem cerrado
- Ítem abierto
3
6
9
12
- Ítem cerrado
- Ítem cerrado
- Ítem abierto
- Ítem cerrado
2 COMPETENCIA 2 PRODUCCIÓN
Niveles de organización de la materia
-Ítem abierto
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
68
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
69
ANEXO 2 ESCALA DE ACTIVIDADES QUE DEFINEN NIVELES NIVEL 5
•
Recordar conocimientos sobre sistema de fuerzas sobre un cuerpo en el aire.
•
Recordar el concepto de carga eléctrica, reconocer el papel de la masa de las partículas cargadas, relacionar el texto con el dibujo, construir una representación mental del modelo presentado en el texto, aplicar el concepto de choque elástico.
•
Comprender el proceso de la fotosíntesis, interpretar el espectro electromagnético, realizar la lectura de un gráfico.
•
Aplicar el concepto de calor específico a una situación que se plantea en la vida diaria.
•
Conocer y aplicar los principios de conservación de masa y energía a una situación problema. Comunicar información científica usando el lenguaje específico.
•
Identificar y recordar las definiciones de las magnitudes fuerza, potencia, aceleración, velocidad, impulso.
•
Interpretar un diagrama biológico para producir explicaciones sobre la fotosíntesis.
•
Realizar la conversión de unidades para aplicarla a un cálculo. Recordar el valor de un kilómetro expresado en metros y una hora expresada en segundos, usar estos datos a un caso particular.
•
Conocer el principio de conservación de la masa. Reconocer el peso como una fuerza. Aplicar estos contenidos a una situación propia de la astronáutica.
•
Conocer tipos de fuerza (peso, tensiones) y su forma de representación, utilizar el concepto de sistema de fuerzas, dibujar los vectores solicitados.
•
Recordar los diferentes tipos de fuerzas, identificar y seleccionar el referido a atracciones.
•
Identificar, reconocer y reproducir la regla del uso del cero como cifra significativa.
•
Usar correctamente la denominación de las fuerzas implicadas en una situación problema y conocer la fuerza peso.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
70
NIVEL 4
•
Recordar que las formas de contaminación alcanzan al aire la tierra y el agua; usar esa información y aplicarla a un caso concreto.
•
Obtener el diámetro de un árbol conociendo la medida de su circunferencia, recordar y aplicar una fórmula.
•
Recordar los conceptos relativos a las transformaciones de la energía mecánica, interpretar los símbolos propios del lenguaje físico (dibujos y gráficas), reconocer en la situación problema los tres tipos de energía, relacionar las transformaciones de una en otra con el correspondiente gráfico.
•
Recordar el procedimiento para determinar el volumen por desplazamiento de agua, recordar la fórmula de densidad y aplicarla, recordar reglas para expresar medidas en cifras significativas y reconocer un resultado expresado en notación científica.
•
Recordar el concepto de tensión superficial, recordar características del agua como sustancia especial, relacionar estas características con las causas que las provocan.
•
Comparar los diámetros de dos tornillos, establecer una relación entre ellos y obtener un coeficiente. Usar notación científica y operar con exponentes negativos.
•
Establecer relaciones entre masas de partículas, utilizar notación científica. Operar con exponentes negativos.
--------------------------------------------------------------------------------------------------------
NIVEL 3
•
Aplicar el análisis de los espectros para identificar sustancias.
•
Aplicar los conceptos de conservación de masa y energía a una reacción nuclear.
•
Seleccionar datos, determinar una relación y evocar la forma de expresión en notación científica.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES
71
NIVEL 2
•
Recordar en qué consiste la fisión nuclear, vincular el bombardeo nuclear con división del mismo.
•
Reconocer los elementos en una cadena alimentaria, identificar los grupos de seres vivos y sus interrelaciones, determinar quién actúa como control y descartar las otras posibilidades.
•
Comprender un texto informativo, evocar conocimientos adquiridos anteriormente, relacionar el aumento de dióxido de carbono con el calentamiento global para poder seleccionar un efecto con consecuencias sobre el hábitat.
------------------------------------------------------------------------------------------------------------NIVEL 1
•
Valorar la importancia del uso o no de fuentes de energía renovables.
•
Manejar los conceptos de organización y complejidad, evocar los conceptos de ser uni y pluricelular, diferenciar los conceptos de célula, tejido, órgano y sistema.
•
Reconocer las formas de contaminación como naturales y artificiales.
•
Identificar distintos materiales y seleccionar cuáles son los conductores que permiten cerrar un circuito.
•
Reconocer los elementos que integran un circuito sencillo y recordar como deben ser conectados para que circule corriente.
ANEP/Programa de Evaluación de Aprendizajes
Evaluación en el último año de los Bachilleratos 2003 Resultados en CIENCIAS NATURALES