Evaluación en Competencias ciudadanas SABER 3º, 5º y 9º, 2012 Pruebas de Acciones y actitudes ciudadanas Instituto Colombiano de Evaluación de la Educación Oficina Asesora de gestión de proyectos de investigaciones Dirección de Evaluación Noviembre de 2013

Antecedentes de la evaluación en Competencias ciudadanas En 2004, el Ministerio de Educación Nacional (MEN) publicó los estándares básicos de competencias ciudadanas(MEN, 2004): • Establecen los niveles básicos que se espera que los estudiantes alcancen para ejercer su ciudadanía. • Orientan los procesos de evaluación y avance de los estudiantes

Programa Nacional de Competencias Ciudadanas ha adelantado, en conjunto con la comunidad educativa, estrategias pedagógica enfocadas al desarrollo, institucionalización, evaluación y mejoramiento de las competencias ciudadanas.

Programa de Evaluación de la Educación Básica y Media Pruebas SABER Evaluación de competencias ciudadanas en las pruebas de 2002-2003 y 2005-2006 para quinto y noveno grados. • Conocer su percepción frente a determinadas características de los ambientes donde interactúan. • Establecer el grado de desarrollo de habilidades para actuar, reflexionar, sentir y comunicarse en su vida cotidiana, en pro del bienestar de sus comunidades.

Definición del marco de referencia para la evaluación externa de las competencias ciudadanas en el país • Diseño de la nueva evaluación de competencias ciudadanas para la educación básica y media, • Aplicación en octubre de 2012 y 2013, para los grados quinto y noveno.

Evaluación de competencias ciudadanas SABER 3º, 5º y 9º, 2012

Especificaciones de la evaluación de Competencias Marco ciudadanas en conceptual de Educación la evaluación básica y media externa

Especificaciones de la evaluación en competencias ciudadanas SABER 3º, 5º y 9º 1.

Estándares básicos de competencias ciudadanas establecidos por el MEN. Las competencias ciudadanas se clasifican en cuatro tipos: • • • •

Cognitivas Emocionales Integradoras Comunicativas

Se refieren a dos grupos o ámbitos relevantes para el ejercicio de la ciudadanía: • Convivencia y paz • Pluralidad, identidad y valoración de las diferencias. • Participación y responsabilidad democrática.

2. Evaluación en competencias ciudadanas Objetivos evaluación • Brindar información sobre el nivel de desarrollo de las competencias ciudadanas de niños, niñas y jóvenes del país • Apoyar la reflexión sobre las prácticas pedagógicas dentro de las instituciones educativas • Orientar la formulación de políticas educativas sobre la formación ciudadana.

La evaluación de competencias ciudadanas aplicadas a los estudiantes de 5º y 9º grados consiste en dos pruebas: • Pensamiento ciudadano • Acciones y actitudes ciudadanas

Prueba de pensamiento ciudadano •

Conocimientos

Argumentación

Multiperspectividad

•

•

Analiza y evalúa la pertinencia y solidez de enunciados o discursos.

•

Reconoce la existencia de diferentes perspectivas en situaciones donde interactúan diferentes partes. Analiza las diferentes perspectivas presentes en situaciones donde interactúan diferentes partes.

• •

Pensamiento sistémico

Conoce la Constitución y su función de enmarcar y regular las acciones de las personas y grupos en la sociedad. Conoce los mecanismos que los estudiantes tienen a su disposición para participar activamente y para garantizar el cumplimiento de sus derechos.

Comprende que los problemas y sus soluciones involucran distintas dimensiones y reconoce relaciones entre éstas.

Prueba de Acciones y actitudes ciudadanas Emocionales

Ambientes democráticos

Integradoras

Habilidades necesarias para la identificación y respuesta constructiva ante las emociones propias y las de los demás: Empatía y manejo de emociones

Aspectos contextuales que favorecen o limitan el desarrollo de las competencias ciudadanas.

Articulan en la práctica los conocimientos y las emociones hacia la acción ciudadana.

Acciones Reflejan la manera como los estudiantes actúan cotidianamente, en sus relaciones con los demás y con la sociedad en general.

Actitudes Disposiciones cognitivas y afectivas según las cuales los individuos aprueban o desaprueban comportamientos o situaciones sociales

3. Especificaciones de contenido de la prueba de acciones y actitudes ciudadanas Metodología de diseño basado en evidencias Procesos que parten de la identificación de las competencias que se evalúan y llegan hasta la definición de las preguntas, de forma que estas se conviertan en las evidencias de los conocimientos, habilidades o capacidades que se quieren medir (ICFES, 2011). • Definir el conjunto de preguntas e indicadores que se espera cubrir con la evaluación a partir de la caracterización conceptual de las competencias y los ámbitos de la ciudadanía • Garantizar la comparabilidad entre aplicaciones de la prueba en el tiempo.

Ejemplo de especificaciones de contenido para el Ámbito de Convivencia y paz Tipos de competencias Integradoras

Emocionales

Acciones

Actitudes

Ambiente democráticos

• Demuestra empatía frente a quienes sufren agresión o • Demuestra actitudes a • Considera que el maltrato, o están en situación favor de la convivencia • Construye relaciones entorno escolar de vulnerabilidad. pacífica y del bienestar pacíficas con los demás, provee una • Es capaz de manejar su rabia de los demás y en busca beneficiarlos y atmósfera de cuando tiene conflictos con contra de la agresión, evita hacerles daño. cuidado y otros, cuando alguien lo del maltrato y de la convivencia pacífica. ofende o cuando no logra sus violencia. objetivos

Evaluación de competencias ciudadanas SABER 3º, 5º y 9º, 2012

Validación y pilotaje de la prueba Especificaciones de la prueba Diseño del marco de la evaluación

Validación y pilotaje de la prueba Validación de contenido de las preguntas con población objetivo Pilotaje en una aplicación muestral a nivel nacional en octubre de 2011 (90.000 estudiantes) Pilotaje en una aplicación muestral a nivel nacional en mayo de 2012 (24.000 estudiantes)

Análisis resultados pilotaje (Análisis de ítems, Análisis de dimensionalidad (factoriales, confirmatorios y exploratorios), Comprobación supuestos modelo de escalamiento TRI) Priorización de indicadores para la evaluación censal

Evaluación de competencias ciudadanas SABER 3º, 5º y 9º, 2012

Elaboración de Validación y instrumentos pilotaje de la definitivos y Aplicación prueba Especificaciones de la prueba Diseño del marco de la evaluación

Elaboración de instrumentos definitivos y Aplicación 2012

Se diseñó un instrumento de medición denominado “Cuestionario de estudiante”, el cual fue diligenciado por los alumnos de 5º y 9º grados, una vez finalizaron las pruebas cognitivas.

Recopila las percepciones de los estudiantes a través de preguntas cualitativas (tipo Likert), para las que no existen respuestas correctas. Las preguntas dan cuenta del auto-reporte (comportamientos propios) o reporte de pares (comportamientos observados en compañeros o profesores) Este tipo de preguntas no implican una calificación individual ni un juicio específico sobre los estudiantes, sino que representan sus opiniones sobre diferentes temas relacionados con su papel como ciudadanos.

Elaboración de instrumentos definitivos y Aplicación 2012

En total, se diseñaron y validaron 77 ítems para 5º grado y 116 ítems para 9º grado Se seleccionaron 57 y 69 ítems, respectivamente, para los cuestionarios que se aplicaron en la evaluación censal 2012. Los demás ítems se incluyeron en los cuestionarios administrados en la muestra controlada.

El total de ítems seleccionados para la aplicación censal se distribuyó en cuatro cuestionarios, de manera que cada ítem se abordó por aproximadamente la mitad de los estudiantes de cada establecimiento educativo.

Evaluación de competencias ciudadanas SABER 3º, 5º y 9º, 2012

Elaboración de Validación y instrumentos pilotaje de la definitivos y Aplicación prueba Especificaciones de la prueba Diseño del marco de la evaluación

Análisis y publicación de resultados

Análisis y publicación de resultados 1.

Tipos de resultados Índices simples. Conjuntos de ítems o preguntas que indagan sobre algunas acciones o actitudes ciudadanas de los estudiantes para para dar cuenta de un tema específico. Estos se reportan como el porcentaje de estudiantes que demuestran el atributo que se desea observar a través del ítem. Escalas. Corresponde a un indicador que resume las respuestas de los estudiantes a un conjunto de preguntas que dan cuenta de un constructo como, por ejemplo, justificaciones hacia el uso de la agresión o Manejo de la rabia. Estos índices se construyeron a través del escalamiento del conjunto de ítems usando Teoría de respuesta al ítem. Para estas escalas se genera una puntuación para cada estudiante de acuerdo con las repuestas a los ítems que la componen.

Índices simples Para evaluar la capacidad de construir relaciones pacíficas con los demás, que corresponde a una de las especificaciones del ámbito de convivencia y paz, se definió la medición de los roles de los estudiantes frente a la intimidación escolar. Para esto se formularon tres preguntas. El reporte de resultados presenta el porcentaje estimado de estudiantes que responden SI a cada una de ellas: •

• •

¿Te ha pasado que alguien te pega o te ofende todo el tiempo haciéndote sentir mal y no has sabido cómo defenderte?  Rol de víctima ¿Le has pegado o has ofendido a un(a) compañero(a) muchas veces haciéndolo(a) sentir muy mal y él (ella) no ha sabido cómo defenderse?  Rol de intimidador ¿Has visto que le han pegado o han ofendido a un(a) compañero(a) todo el tiempo haciéndolo(a) sentir muy mal y él (ella) no ha sabido cómo defenderse?  Rol de observador

Escalas Para evaluar la capacidad de los estudiantes para demostrar empatía frente a quienes sufren agresión o maltrato se hicieron cinco preguntas que indagan sobre cómo se sienten los estudiantes (mal, les da igual o les parece divertido) cuando les pegan, insultan, se burlan o inventan un chisme a alguien que les cae mal. • A partir de las respuestas de cada alumno a estos ítems, se calcula, a través de un proceso estadístico (Teoría de respuesta al ítem), un puntaje numérico que combina las respuestas a cada una de estas preguntas y que permite evidenciar la percepción del estudiante sobre su Empatía hacia personas en situación de agresión o maltrato. • Estas escalas son importantes, porque permiten sintetizar las respuestas de los estudiantes y construir indicadores concretos de las acciones y actitudes ciudadanas sobre las cuales es posible desarrollar estrategias de mejoramiento institucional.

Resultados para la prueba de acciones y actitudes ciudadanas a nivel censal, quinto grado Ámbitos de la ciudadanía

Convivencia y Paz

Tipos de competencias ciudadanas Integradoras Emocionales Acciones Actitudes Empatía frente al maltrato Manejo de la rabia

Roles de la intimidación escolar* Tipos de agresión*

Actitudes hacia las justificaciones para el uso de la agresión Actitudes hacia las respuestas pasivas a la agresión

Participación y Responsabilidad Democrática

Pluralidad, Identidad y Valoración de las Diferencias

* Escalas especiales

Ambientes escolares

Percepción de inseguridad en el colegio*

Oportunidades de participación en el colegio

Percepción sobre la discriminación en el colegio

Actitudes hacia la diversidad* Actitudes hacia los roles de género

Resultados para la prueba de acciones y actitudes ciudadanas a nivel censal, noveno grado Ámbitos de la ciudadanía

Emocionales

Tipos de competencias ciudadanas Integradoras Acciones Actitudes Actitudes hacia las justificaciones para el uso de la agresión

Percepción de inseguridad en el colegio*

Participación y Responsabilidad Democrática

Actitudes hacia la corrupción Actitudes hacia la amenazas sobre las democracia Actitudes hacia el incumplimiento de la ley Actitudes hacia el gobierno escolar y la participación estudiantil

Oportunidades de participación en el colegio

Pluralidad, Identidad y Valoración de las Diferencias

Actitudes hacia la diversidad* Actitudes hacia los roles de género

Convivencia y Paz

* Escalas especiales

Empatía frente al maltrato

Roles de la intimidación escolar* Tipos de agresión*

Ambientes escolares

Análisis y publicación de resultados 2. Reporte de resultados Resultados a nivel de los establecimientos educativos

Resultados a nivel agregado (Entidad territorial, municipio y departamento) Resultados nacionales censales Resultados nacionales muestrales Estudios e investigaciones

Tipos de reportes y resultados para establecimientos educativos Tipo de Reporte

Características del Resultados incluidos en Tipo de Indicador Establecimientos el reporte 25 o más estudiantes responden todos los ítems del índice y la mayoría de éstos provienen de jornadas con más de un estudiantes



Índices simples 

General 6 o más estudiantes participantes y la mayoría de éstos provienen de jornadas con más de un estudiantes

Escala

  

Generalidades del reporte

Se presentan Porcentaje estimado de comparaciones de los resultados del estudiantes Intervalo de estimación establecimiento con los nacionales y con los de los establecimientos oficiales urbanos, oficiales rurales y no Puntuación estimada Intervalo de estimación oficiales de la entidad territorial certificada Porcentaje de estudiantes por niveles donde está ubicado el establecimiento. de desempeño en la escala y grado

Tipo de Reporte

Características del Resultados incluidos en Tipo de Indicador Establecimientos el reporte 25 o menos estudiantes responden alguno de los ítems del índice o la mayoría de estos provienen de jornadas con solo un estudiante.

Índices simples

 Número de estudiantes participantes en el No se incluyen establecimiento educativo para el índice y grado comparaciones con los  Número de estudiantes que grupos de referencia. reportan tener el atributo indagado por cada ítem.

Simplificado Menos de 6 estudiantes participantes y la mayoría de éstos provienen de jornadas con solo un estudiantes

Escala

Generalidades del reporte

 Número de estudiantes participantes en el establecimiento educativo para la escala y grado.  Número de estudiantes en cada nivel de desempeño en la escala y grado.

Se presentan, con propósitos informativos, los resultados nacionales y territoriales desagregados por tipos de establecimientos.

Tipo de Reporte

Características del Resultados incluidos en el Tipo de Indicador Establecimientos reporte 

Estudiantes con discapacidad cognitiva

La mayoría de los estudiantes del establecimiento Índices simples  educativo que responden de manera válida los ítems del indicador  fueron reportada con discapacidad cognitiva por parte del rector Escala 

Generalidades del reporte

Número de estudiantes con discapacidad cognitiva en el establecimiento educativo para el índice y grado Número de estudiantes con discapacidad cognitiva que No se incluyen reportan tener el atributo comparaciones con los indagado por cada ítem

grupos de referencia.

Número de estudiantes con discapacidad cognitiva en el . establecimiento educativo para el índice y grado Número de estudiantes con discapacidad cognitiva que reportan tener el atributo indagado por cada ítem