PROGRAMA DE DESARROLLO INFANTIL TEMPRANO

DISEÑO DE EVALUACIÓN DE IMPACTO • Julia Johannsen, Giselle Calvo, Juan Rueda, Carminia Andrade Laura Maraboli, Pedro Naranjo • 19 Abril 2013 • Santiago de Chile 1

Teoría del Cambio Insumos

Actividades

Productos

Resultados

Impactos

Recursos Humanos, Financieros, otros movilizados para apoyar actividades

Acciones tomadas o trabajo realizado para convertir insumos en productos especificos

Bienes y servicios producidos y entregados bajo control del implementador

Uso de productos por parte de poblacion de interes

Objetivos finales del programa o metas de largo plazo

Recursos financieros y humanos

1.1. Refacción, capacitación, normativas y protocolos

1.1. Centros Infantiles operando con calidad (espacio físico, currículo, recurso humano) [90 centros]

1.1. Calidad de atención(tasa cuidadores/niño; espacio, personal calificado, equipamiento), Cobertura, conocimiento y comportamiento en cuidadores

1.2 Ampliación, capacitación, normativas y protocolos

1.2. Salas de estimulación establecidas [60 salas, 30 equipos]

1.2. Cobertura: referencias a salas, tratamientos realizados

NIÑOS 0 A 4 AÑOS •Mejoras en desarrollo cognitivo, socio-emocional y fisico de los niños entre 0 y 4 años. •Disminución de la incidencia de diagnósticos con rezago en niños. •Aumento de inscripción y rendimiento escolar.

2.1. Capacitación

2.1 Personal de salud capacitado [700 profesionales capacitados] AEPINUT Clínico

2.1. Conocimientos y practicas del personal medico

2.2. Brigadas móviles operando[180 profesionales] 1.3. Convenios municipales

2.2. Cobertura (niños con estimulación); conocimiento y comportamiento de padres 1.3. Presupuestos asignados

2.2. Capacitación, normativas y protocolos

Implementación (Oferta)

ADULTOS •Asignación de tiempos y participación laboral. HOGAR •Cambios de ingresos, gastos y conformación de presupuesto

Resultados (Oferta + Demanda)

2

Pregunta de Evaluación • Mejorar en forma sostenible el acceso, calidad de atención y el desarrollo cognitivo, socioemocional y físico de niños y niñas bolivianos menores a 4 años mediante la implementación de un programa modelo de desarrollo infantil temprano. 3

Diseño de Evaluación

Diseño Experimental

4 Acuerdos

Resultados

3

Sorteo

2

Concientización

1

4

Diseño de Evaluación: Asignación de Centros Infantiles por Sorteo

Departamento Potosí Departamento Chuquisaca Centros Infantiles N°

CODIGO INE

MUNICIPIO

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

10101 10201 10701 10902 10405 10703 10903 10401 10403 10702 10202 10402 10901 10404 10704 10801

SUCRE (Capital) AZURDUY CAMARGO CULPINA EL VILLAR INCAHUASI LAS CARRERAS PADILLA SOPACHUY SAN LUCAS TARVITA TOMINA VILLA ABECIA VILLA ALCALA VILLA CHARCAS VILLA SERRANO TOTAL

Elegibles

Asignados

43 21 12 20 0 17 7 10 0 41 42 0 0 0 14 5 232

7 4 3 4 1 3 2 2 1 6 6 1 1 1 3 2 47

N°

CODIGO INE

17 18 19 20 21 22 23 24 25 26 27 28 29

50501 50802 50202 50204 50901 50401 50203 51401 51002 50404 50403 50402 51601

30 31

51003 51001

32 33 34 35 36

50902 51402 50801 50201 51201

MUNICIPIO POTOSI (Capital) ATOCHA CHAYANTA CHUQUIUTA COLCHA K COLQUECHACA LLALLAGUA LLICA MOJINETE OCURI POCOATA RAVELO SAN AGUSTIN SAN ANTONIO DE ESMORUCO SAN PABLO DE LIPEZ SAN PEDRO DE QUEMES TAHUA TUPIZA UNCIA UYUNI TOTAL

Centros Infantiles Elegibles Asignados 30 11 1 1 8 2 6 2 4 1 6 2 20 3 3 1 0 1 16 3 10 2 5 2 0 1 5 5

2 2

0 0 12 2 6 139

1 1 2 1 52 43

Diseño de Evaluación: Aleatorización Exitosa - Balance de CCII

Departamento Chuquisaca Descripción Población de niños/as de 0 a 24 meses Población de niños/as de 25 a 48 meses Población de niños/as de más de 49 meses Población total de Niños/as

Media GT

Media GC

Diferencia

5.52

6.14

-0.61

[0.400]

[0.411]

[0.574]

13.00

12.99

0.01

[1.187]

[0.623]

[1.341]

5.620

5.500

0.110

[0.495]

[0.359]

[0.611]

35.74

25.77

9.97

[13.083]

[1.760]

[13.200]

sig-level

N (T)

N (C)

21

123

28

150

21

123

39

180

N (T) 37

N (C) 97

38

100

36

96

38

100

Departamento Potosí Descripción Población de niños/as de 0 a 24 meses Población de niños/as de 25 a 48 meses Población de niños/as de más de 49 meses Población total de Niños/as

6

Media GT 6.54 [0.289] 13.00 [0.685] 6.310 [0.360] 25.34 [1.127]

Media GC 6.66 [0.265] 13.72 [0.416] 6.480 [0.257] 26.40 [0.816]

Diferencia -0.12 [0.392] -0.72 [0.801] -0.170 [0.443] -1.06 [1.392]

sig-level

Diseño de Evaluación: Asignación de Brigadas Móviles por Sorteo

Departamento Potosí Departamento Chuquisaca N°

CODIGO INE

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

10101 10201 10701 10902 10405 10703 10903 10401 10403 10702 10202 10402 10901 10404 10704 10801

MUNICIPIO SUCRE (Capital) AZURDUY CAMARGO CULPINA EL VILLAR INCAHUASI LAS CARRERAS PADILLA SOPACHUY SAN LUCAS TARVITA TOMINA VILLA ABECIA VILLA ALCALA VILLA CHARCAS VILLA SERRANO TOTAL

Brigadas Moviles Comunidades Asignadas_ne Comunidades # Brigadas w control 2 10 22 2 10 17 1 5 16 2 10 23 1 5 4 2 10 11 1 4 0 2 10 8 1 5 7 3 15 57 2 10 25 1 5 13 1 5 0 1 5 2 2 10 15 2 10 11 26 139 245

N°

CODIGO INE

17 18 19 20 21 22 23 24 25 26 27 28 29

50501 50802 50202 50204 50901 50401 50203 51401 51002 50404 50403 50402 51601

30

51003

31

51001

32 33 34 35 36

50902 51402 50801 50201 51201

Brigadas Moviles MUNICIPIO

Comunidades Comunidades # Brigadas Asignadas_new control POTOSI (Capital) 2 10 14 ATOCHA 1 5 2 CHAYANTA 2 10 9 CHUQUIUTA 1 5 6 COLCHA K 1 5 10 COLQUECHACA 3 15 30 LLALLAGUA 2 10 3 LLICA 1 5 0 MOJINETE 1 1 0 OCURI 2 10 15 POCOATA 2 10 26 RAVELO 2 10 31 SAN AGUSTIN 1 3 0 SAN ANTONIO DE ESMORUCO 1 2 0 SAN PABLO DE LIPEZ 1 4 0 SAN PEDRO DE QUEMES 1 1 0 TAHUA 1 3 0 TUPIZA 2 10 18 UNCIA 2 10 11 7 UYUNI 1 5 7 TOTAL 30 134 182

Diseño de Evaluación

Intervenciones T2: Refacción de centros infantiles, equipamiento T1: Salas de estimulación y capacitación de temprana en personal e introducción establecimientos de salud de estándares de calidad para el cuidado diario e integral hasta los 4 años.

T3: Implementación de brigadas móviles para actividades de DIT comunidades

8

Diseño de Evaluación: Salas de

Estimulación Temprana (T1) Requisitos operativos

• Proyecto Piloto: 1 o 2 salas en Establecimiento de Salud en SUCRE. • Se priorizará EE.SS de mayor jerarquía. • Se concentrará en atender 2 dimensiones de desarrollo (cognitiva y motor fino / gruesa).

Enfoque de Evaluación • Enfoque de prueba clínica entre niños diagnosticados con rezagos en el desarrollo. • Desafío de asignar grupos de tratamiento y control a nivel de niño dentro de una o dos salas seleccionada.

Consideraciones • Focalizar la evaluación en ciertas dimensiones de rezago (diagnosticados previamente según prevalencia). • El control se considera por desfase, por motivos de ética se incluirá finalmente los niños. • Se hará un levantamiento piloto para identificar los niveles de rezagos más prevalentes, los cuales serán el universo de la evaluación posteriormente. 9

Diseño de Evaluación: Centros Infantiles (T2) Requisitos operativos • 90 Centros Infantiles (refacción + protocolo de servicio + capacitación de personal) • Elegibilidad de centros infantiles(Derecho propietario municipal, sin intervención de ONG) • Al menos 1 centro por municipio. • Mínimo de entrada de centros en el primer año: 50 centros infantiles

Selección aleatoria de centros infantiles elegibles: • Potosí: 43 centros asignados en proporción al número de centros elegibles en el municipio • Chuquisaca: 47 centros asignados en proporción al numero de centros elegibles en el municipio • Aleatorizar a orden de entrada de tratamiento dentro de cada estrato a los centros elegibles

Asignación de tratamiento y control

10

Diseño de Evaluación: Brigadas Móviles (T3) Requisitos operativos

• Evaluación de impacto se concentra en comunidades rurales • 72 Brigadas para la intervención: Área Rural (56 Brigadas): 36 (1 por municipio) + 20 (criterio poblacional de N de comunidades), Ciudades intermedias: 10 Brigadas, Capitales Departamentales: 6 Brigadas. • Aproximadamente 1 comunidad por día asignadas a cada brigada para modelo comunidad; 2-3 comunidades por día para modelo mixto: reunión comunitaria + hogar • 1 Brigada sirve 5 comunidades. • Brigadas capacitadas en modelo comunitario y modelo mixto

Elegibilidad de comunidades: • Potosí: 43 centros asignados en proporción al número de centros elegibles en el municipio • Chuquisaca: 47 centros asignados en proporción al numero de centros elegibles en el municipio • Aleatorizar a orden de entrada de tratamiento dentro de cada estrato a los centros elegibles

Asignación de tratamiento y control:

11

Tamaño y composición de la muestra: Línea de Base 1 Propósito

• Diagnóstico DIT en población objetivo: 0 a 4 años

Subpoblación

• Niños de 0 a 4 para centros infantiles y brigadas

Línea de Base

• Encuesta de Hogar: 1980 hogares (15 hogares por UPM/comunidad) • Encuesta de Centro Infantil: 100 centros infantiles • Encuesta de Establecimiento de Salud: 20 establecimientos de salud

Potencia estimada

Encuesta de Seguimiento

•Correlación intra-cluster: 0.012 •Tamaño de efecto estandarizado: 0.2 •Significancia estadística: 0.05 •Potencia: 80% MED(Centros Infantiles):4.4pp •250 a 300 UPMs •2500 a 3000 hogares •100 centros infantiles •200 a 300 escuelas primarias

MED(Brigradas): 3.0pp

12

Tamaño y composición de la muestra: Línea de Base 2 Propósito Subpoblación

Línea de Base 2

Potencia estimada

Encuesta de Seguimiento

• Estimar impactos específicos de intervenciones DIT en población objetivo: 0 a 4 años • Niños de 0 a 4 para salas de estimulación • Hogares con Niños de 0 a 4 centros infantiles y brigadas.

•Centros infantiles: Datos de Panel de 1.000 niños (T 500; C 500), 10 niños por centro sobre una muestra de 50 centros intervenidos y 50 controles. •Comunidades: Encuesta de 2.000 niños (T3.1 50com; T3.2 50com; T3.3 50com; C3 50com) entrevistando 10 niños por comunidad •Correlación intra-cluster: •Tamaño de efecto estandarizado: •Significancia estadística: •Potencia:

•Centros infantiles: Datos de Panel de 1.000 niños •Comunidades: Encuesta de 2.000 niños (T3.1 50com; T3.2 50com; T3.3 50com; C3 50com) entrevistando 10 niños por comunidad

13

Instrumentos de Medición: DIT Instrumento de medición estándar a nivel regional. Adaptación cultural al contexto indígena. Ítems con reporte de la madre e ítems observacionales. Aplicable a niños entre 0 y 4 años. Posibilite estimación de prevalencia de rezagos a nivel poblacional Sea un instrumento de diagnóstico para el estado de desarrollo infantil del niño Escala Abreviada Nélson Ortiz ASQ (Ages & Stages Questionnaire) PRIDI (BID) Medidas Antropométricas Apoyos de Especialistas del BID y Consultores Internacionales en DIT

14

Instrumentos de Medición: Cuestionarios  Cuestionario de Hogares:

Módulos sociodemográficos, vivienda, educación, empleo, salud, etc. Módulos nutricionales cognitivos y socio-emocionales aplicados a madre/cuidadora y niño (Talla por Edad, Peso para la Talla, ASQ, Nelson Ortiz).

 Cuestionario de Centros Infantiles

Módulos infraestructura, equipamiento, personal, indicadores de calidad del servicio (procesos e interacciones) con formatos de rutinas observables de baño y alimentación, ITERS. Módulos nutricionales cognitivos y socio-emocionales aplicados a los niños (Talla por Edad, Peso para la Talla, ASQ, Nelson Ortiz).

 Cuestionario de Establecimientos de Salud

Módulos infraestructura, equipamiento, personal (nivel de educación y conocimiento). 15

Perfil del Encuestador Se desea que sean personas con formación (o en proceso) humanística o salud pues involucra antropometría y aplicación de pruebas, de preferencia: -Enfermeras -Auxiliares de Enfermería -Egresados de psico-pedagogía - Practicantes, entre otros.

16

Plan de Trabajo en Campo Implementación de 6 conformadas por: 1 supervisor 3 encuestadores 1 digitador 1 chofer

Arribo y listado de hogares

Sorteo de hogares elegibles

Encuestas

brigadas

Digitación

encuestadoras,

Re-Visita

Cierre

17

Presupuesto Línea de Base: $400 000 Costo unitario aproximado por hogar: $150 Supervisión (Comprende: Programa de entrada, Muestreo, Manuales, Pilotaje, Supervisión de campo): $60 000 Diseño de cuestionario: $40 000 Trabajo de campo: $300 000

Encuesta de Seguimiento:

$320 000

Evaluación de procesos:

$100 000

Supervisión (Comprende: Programa de entrada, Muestreo, Manuales, Pilotaje, Supervisión de campo): $60 000 Diseño de cuestionario: $20 000 Trabajo de campo: $240 000

18

Cronograma de Actividades  Programa Desarrollo Infantil Temprano Octubre-Diciembre 2013: comienzan obras en campo Ciclo 2014: Inicio intervenciones operativas

 Línea de Base Febrero 2013: Apertura licitación de firmas p/ línea de base y aseguramiento de calidad Marzo 2013: Contrataciones, negociación, ajustes de instrumentos Abril 2013: Muestreo, Prueba Piloto, Capacitaciones Mayo 2013: Inicio de Campo Octubre 2013: Finalización de Campo Noviembre 2013: Informe de Línea de Base

 Línea Base 2: Contingente a disponibilidad de recursos se podría realizar una segunda línea de base a finales de 2013 antes de comenzar las operaciones.

 Encuesta de Seguimiento

19

Equipo Evaluación de Impacto Ministerio de Salud y Deportes, Unidad de Desarrollo Infantil Temprano (UDIT) Banco Interamericano de Desarrollo, Divisiones Protección Social y Efectividad en el Desarrollo  Consultorías: Especialista en Mediciones DIT Especialista en Muestro Firma de Encuestas para recolección de datos Especialista en Aseguramiento de Calidad en Encuestas  

20

PROGRAMA DE DESARROLLO INFANTIL TEMPRANO

DISEÑO DE EVALUACIÓN DE IMPACTO • Julia Johannsen, Giselle Calvo, Juan Rueda, Carminia Andrade Laura Maraboli, Pedro Naranjo • 19 Abril 2013 • Santiago de Chile21