Las becas y tutorías ¿mejoran el desempeño de los estudiantes de secundaria? Evidencia experimental de Argentina Alejandro J. Ganimian | J-PAL Felipe Barrera-Osorio | HGSE María Loreto Biehl | BID María Cortelezzi y Daniela Valencia | Cimientos

10 de marzo, 2016 | Ministerio de Educación Nacional, Ciudad de Buenos Aires, Argentina

1. Introducción 2. Experimento 3. Datos 4. Resultados 5. Conclusiones

La mayoría de los jóvenes argentinos están matriculados en la escuela secundaria, pero su desempeño académico es muy bajo. •

Desde los ’90, Argentina tiene una de las tasas de matrícula en la escuela secundaria más altas de América Latina (Busso et al., 2013).

•

Sin embargo, muy pocos jóvenes se gradúan de la secundaria: en el 2011, tan sólo 41%, comparado con 64% en Brasil, 84% en Chile, y 44% en México (OCDE, 2014).

•

La tasa de graduación es más baja entre alumnos de bajos ingresos (Alfonso et al., 2011).

•

Muchos jóvenes no alcanzan niveles mínimos de aprendizaje: 1 de 2 estudiantes de 2do/3er año se desempeñaron en el nivel más bajo de las pruebas nacionales de matemática y 1 de 4 lo hicieron en las pruebas nacionales de lengua (Ganimian, 2015).

•

De hecho, su desempeño relativo se ha deteriorado en las pruebas internacionales: en el 2012, Argentina se posicionó detrás de todos los otros países latinoamericanos participantes en PISA, excepto por Perú (Ganimian, 2013).

Las becas o “transferencias condicionadas” aumentan la escolaridad de los niños y jóvenes, pero no su desempeño académico. •

Hubo 47 evaluaciones de impacto de este tipo de programa en 20 países en vías de desarrollo desde el 2000 al 2015 (Ganimian & Murnane, 2016).

•

Casi todos estos programan aumentan los años que los niños y jóvenes asisten a la escuela.

•

Sin embargo, con algunas excepciones (Barham et al, 2014; Barrera-Osorio & Filmer, 2013; Kremer et al., 2004), no hay mejorado su aprendizaje.

•

¿Por qué? Si un niño o joven va más a la escuela, se espera que aprenda más.

•

Una posibilidad es que estos niños y jóvenes carezcan de habilidades “socio-emocionales” para tener éxito en la escuela (por ejemplo, perseverancia con problemas difíciles, habilidades de planeamiento de estudio para exámenes, o auto-control para no distraerse en clase).

•

De ser así, estos niños y jóvenes se beneficiarían de programas que combinen becas con apoyo para desarrollar estas habilidades.

1. Introducción 2. Experimento 3. Datos 4. Resultados 5. Conclusiones

El Programa Futuros Egresados (PFE) de Fundación Cimientos combina becas con tutorías no-académicas en la escuela secundaria. •

Se lleva a cabo desde 1997 en Argentina.

•

En el 2015, llegó a 2.544 estudiantes en 16 provincias y la Ciudad de Buenos Aires.

•

10 becas de ARS 590 con 10 tutorías no-académicas por año para alumnos de secundaria.

•

Tutorías: •

Modalidad: individuales o grupales.

•

Duración: 30 a 60 minutos.

•

Estructura: (a) “rompe-hielo”; (b) diagnóstico; y (c) plan de acción.

•

Obligatoriedad: Cimientos suspende a participantes del programa si no cumplen con un “acta de compromiso”.

•

Tutores (“Encargados de Acompañamiento”): psicólogos, psicopedagogos, trabajadores sociales, educación, profesorado; inducción inicial, capacitaciones anuales (presenciales y virtuales); plataforma “online”.

El PFE aspira a aumentar la participación de los jóvenes en la secundaria y a mejorar su desempeño en la escuela. Problema

Insumos

Impacto (corto plazo)

Impacto (mediano plazo)

• Costos de escolaridad (directos, complementos y costo-oportunidad)

• Becas de ARS 590 por mes

• Menor ausentismo estudiantil

• Menor repetición de grado • Menor deserción escolar

• Preparación para la escolaridad (falta de experiencia de padres de bajos ingresos)

• Mentorías individuales y grupales de 30-60 minutos por mes

• Mejores habilidades socio-emocionales • Mejores habilidades de “navegación escolar”

• Mayor aprobación de materias y grado • Mejor desempeño académico

Este estudio evalúa el impacto del PFE en 10 escuelas públicas secundarias de la Provincia de Buenos Aires (PBA). •

•

•

Evaluar el PFE en la PBA tiene múltiples ventajas: •

Sistema sub-nacional más grande de la Argentina: en el 2012, tenía 1,5 millón de estudiantes en 4.442 escuelas secundarias (DiNIECE 2013).

•

Los estudiantes de la PBA se desempeñan similar al promedio nacional (Ganimian, 2015).

10 escuelas: •

Criterio de selección: (a) tienen estudiantes de bajos ingresos; (b) habían participado en el PFE; y (c) no tenían becados del PFE en el primer año de la evaluacion.

•

Localidades: Campana, Ensenada, Gregorio de Laferrere, Guernica, José C. Paz, Merlo, Quilmes, Santos Lugares, Virrey del Pino y Zárate.

En cada escuela, se convocó a los estudiantes interesados y se los asignó aleatoriamente al grupo de tratamiento (PFE) o control (no PFE).

La asignación aleatoria de estudiantes al PFE es escencial para evaluar el efecto causal del programa. •

Muchas evaluaciones comparan participantes y no participantes antes y después del programa.

! ! ! ! ! Comparación antes del programa

participantes

! ! ! ! ! no participantes

•

! ! ! ! ! Comparación después del programa

Implementación del programa

! ! ! ! !

Sin embargo, si los participantes se desempeñan mejor que los no participantes después del programa, no es posible determinar si fue por el programa o por su características pre-existentes.

Lo que nos gustaría saber para entender el impacto del programa es cómo se desempeñaría la misma persona con y sin el programa. •

Sin embargo, esto no es posible, ya que implicaría: 4. Retroceder en el tiempo...

!

1. Convocar a cada estudiante...

2. Asignarlo a participar del programa...

3. Medir su desempeño...

participantes 5. Asignarlo a no participardel programa...

7. Comparar su desempeño. 6. Medir su desempeño...

no participantes

•

Sólo comparando su desempeño bajo ambas condiciones sabríamos el impacto del programa.

La asignación aleatoria de estudiantes al programa nos permite estimar el efecto usando grupos enteramente comparables.

! ! ! ! ! participantes

! ! ! ! ! ! ! ! ! ! 1. Convocar a un grupo de estudiantes...

•

2. Realizar una lotería para asignar...

...a la mitad a participar del programa...

! ! ! ! !

3. Comparar el desempeño de estos grupos.

no participantes

...y a la otra mitad a no participardel programa

Como la asignación se hizo por lotería, los participantes y no participantes son comparables.

En esta presentación, vamos a expresar el impacto del programa en habilidades en “desvíos estándares”. Para interpretar qué es un desvío estándar, es importante tener en cuenta que las evaluaciones de habilidades tienen una “distribución de campana”: Número de estudiantes

•

!! ! !!!!! !!!!!!! !!!!!!!!!!! Puntaje alto Puntaje bajo !!!!!!!!!!!!!!!!!!!!! Puntaje promedio

Puntaje en la evaluación

Las habilidades con distribución de campana siguen una regla útil que se llama “la regla 68-95-99.7”. Esta regla dice que 68% de las observaciones está entre 1 desvío estándar abajo o arriba del promedio, 95%está entre 2 desvíos estándares y 99.7%está dentro de 3 desvíos estándares. Número de estudiantes

•

Puntaje promedio 1 desvío estándar

1 desvío estándar

2 desvíos estándares 2.1%

13.6%

2 desvíos estándares 34.1%

34.1%

13.6%

2.1%

Puntaje en la evaluación

Esta regla nos ayuda a interpretar los efectos en desvíos estándares en términos de diferencias en percentiles. Por ejemplo, una diferencia de 1 desvío estándar entre dos grupos de estudiantes equivale 34 puntos percentiles. Número de estudiantes

•

1 desvío estándar

34 puntos percentiles

Puntaje en la evaluación

1. Introducción 2. Experimento 3. Datos 4. Resultados 5. Conclusiones

Recolectamos datos de contexto antes de la asignación aleatoria, y múltiples datos de impacto en los primeros dos años del estudio. Comienzo de clases

Comienzo de clases

Asignación aleatoria 2014

2015

Mayo

Noviembre

Enero

Junio

Octubre

• Encuesta de estudiantes • Encuesta de hogares

• Encuesta y evaluación de habilidades socioemocionales

• Datos de participación en el PFE (2014)

• Evaluación de habilidades académicas • Datos de desempeño escolar (2014)

• Encuesta y evaluación de habilidades socioemocionales • Encuesta de habilidades de “navegación” escolar

En el último año del estudio, planeamos realizar una ronda adicional de recolección de datos de impacto. Comienzo de clases

2016 Enero

Junio

Octubre

• Datos de participación en el PFE (2015)

• Evaluación de habilidades académicas • Datos de desempeño escolar (2015)

• Encuesta y evaluación de habilidades socioemocionales • Encuesta de habilidades de “navegación” escolar

Los datos de contexto nos permitieron verificar que los estudiantes asignados a los grupos de control y tratamiento eran comparables.

Los datos de contexto nos permitieron verificar que los estudiantes asignados a los grupos de control y tratamiento eran comparables.

1. Introducción 2. Experimento 3. Datos 4. Resultados 5. Conclusiones

En resumen, el PFE mejoró el desempeño de los estudiantes en la escuela mejorando su habilidad para manejarse en ella. •

El PFE tuvo un impacto positivo en varios indicadores de desempeño escolar (aprobación de lengua y matemática, aprobación de año y ausencias).

•

Este impacto parece deberse a mejoras en las habilidades de “navegación escolar” (por ejemplo, habilidad para anticipar y remediar problemas con la tarea, las pruebas o el ausentismo).

•

Estas mejoras se dan aún si no se observan mejoras en las habilidades socio-emocionales más generales de los alumnos (por ejemplo, su auto-control o perseverancia).

•

El impacto del PFE, sin embargo, no lleva a un mayor aprendizaje—ni medido por las notas en las materias escolares, ni por pruebas de desempeño estudiantil.

•

Aunque no lo presentaremos hoy, el PFE tuvo un impacto aún mayor en los estudiantes más vulnerables; aquellos con mayor proclividad a desertar y más pobres.

•

Estos resultados son preliminares y se espera tener un panorama más completo del impacto del programa en base a las rondas de recolección de datos del 2016.

No se detectaron mejoras en las habilidades socio-emocionales del estudiante promedio a partir del PFE en el primer año del estudio.

El PFE aumentó el porcentaje de estudiantes que aprobó lengua y matemática y redujo el porcentaje que reprobó el año.

El PFE también redujo el ausentismo de los estudiantes a la escuela, pero no mejoró sus notas en lengua y matemática.

El PFE mejoró la motivación de los estudiantes en el segundo año, pero no impactó otras habilidades socio-emocionales.

El PFE mejoró varias de las habilidades de “navegación” escolar de los estudiantes en el segundo año del estudio.

Sin embargo, el PFE no tuvo un impacto positivo en otras habilidades de “navegación” escolar en el segundo año del estudio.

El PFE no mejoró el desempeño de los estudiantes en pruebas de lectura y matemática basadas en los estándares nacionales.

1. Introducción 2. Experimento 3. Datos 4. Resultados 5. Conclusiones

El PFE mejoró el desempeño de los estudiantes en la secundaria, pero no en la forma que anticipaba su teoría de acción. • • • • • • • •

Teoría: PFE > habilidades socio-emocionales > desempeño escolar > desempeño académico. Evidencia (preliminar): PFE > habilidades de navegación escolar > desempeño escolar. ¿Qué implica esto? En parte, el fracaso de los estudiantes en la secundaria se debe a no poder manejarse en la escuela (estudiar con anticipación para una prueba, pedirle la tarea a un amigo si faltaron, etc.) Cuando se les enseña a los alumnos cómo manejarse, su desempeño en la escuela mejora (su probabilidad de aprobar materias, pasar de año, ausentarse menos, etc.) Esto, sin embargo, no lleva a que aprendan más (ni de acuerdo a notas ni a pruebas). Si queremos que los estudiantes aprendan más, el sistema educativo necesita adoptar estrategias complementarias para mejorar la enseñanza. Estos resultados son preliminares. En el 2016, se recolectarán más datos de desempeño académico, habilidades socio-emocionales, habilidades de “navegación” escolar y desempeño escolar.

Muchas gracias Agradecimientos: Marina Bassi, Agustina Cavanagh, Mercedes Mateo Díaz, Costas Meghir, Hugo Ñopo, Ernesto Pais, Anahí Pissinis, Emiliana Vegas, el staff de Fundación Cimientos (en especial, el staff del Programa Futuros Egresados) y las escuelas participantes del estudio.

Anexo

Las encuestas y evaluaciones de habilidades socio-emocionales permitieron medir el impacto intermedio del programa. •

Auto-concepto académico (encuesta) Ejemplos: “Creo que me voy a sacar buenas notas este año” o “Soy capaz de hacer bien la tarea, aún cuando es difícil”

•

Inventario de estrategias de aprendizaje y estudio (encuesta) Ejemplo: “Me cuesta diseñar un plan de estudio y seguirlo” o “Intento sacarme buenas notas en materias que no me gustan”

•

Perseverancia (encuesta) Ejemplos: “Me olvido de cosas que necesito para la escuela” o “Interrumpo a otros mientras hablan”

•

Escala de impulsividad de niños (encuesta) Ejemplo: “Soy trabajador” o “Me interesa una idea por un tiempo, y luego ya no”

•

Laberintos (evaluación) Los estudiantes deben resolver laberintos de creciente dificultad sin levantar el lápiz

•

Caras (evaluación) Los estudiantes deben identificar cuál cara (de una serie de tres) es diferente a las otras

Las encuestas de habilidades de “navegación escolar” también permitieron medir el impacto intermedio del programa. •

Hábitos escolares negativos Ejemplos: “Me olvidé la fecha de un examen” o “Me olvidé de hacer la tarea”

•

Pedido de ayuda a otros Ejemplo: “Cuando me peleé con otros alumnos, le pedí ayuda a la maestra”

•

Hábitos escolares proactivos Ejemplo: “Le pedí a la maestra que explique algo que no entendí bien”

•

Prevención de problemas con la tarea Ejemplo: “Empecé a hacer la tarea con más de un día de anticipación”

•

Reacción ante problemas con la tarea Ejemplo: “Le pedí a la maestra que me explique las preguntas en las que me fue mal”

•

Prevención de problemas con las pruebas Ejemplos: “Le pedí a un pariente que me ayude a estudiar”

Las pruebas de lectura y matemática permitieron medir el impacto del programa en el aprendizaje. •

•

•

Construidas en base a: •

Núcleos de Aprendizaje Prioritario (NAP)

•

Ítems liberados de los Operativos Nacionales de Evaluación (ONE)

Lectura: •

Capacidades: Extraer información de, interpretar y reflexionar sobre los textos

•

Temas: Localizar información, entender la relación entre partes e identificar la idea principal de textos

Matemática: •

Capacidades: Identificar conceptos matemáticos, entender y utilizar matemática simbólica, realizar cálculos usando varias estrategias y resolver problemas matemáticos y aplicados

•

Temas: Propiedades de números, ecuaciones, probabilidad, medición, trigonometría y estadística