PROGRAMA DE AGUA POTABLE Y SANEAMIENTO EN COMUNIDADES RURALES, BOLIVIA DISEÑO DE EVALUACIÓN DE IMPACTO EXPERIMENTAL • Amado Rivas Bogado • Erland Romero • Julia Collado
• Asesor: Gastón Gertner • Fecha: 19 e abril de 2013 • Lugar: Santiago - Chile
1
Teoría del Cambio Insumos
Actividades
Productos
Resultados
Impactos
Recursos Humanos, Financieros, otros movilizados para apoyar actividades
Acciones tomadas o trabajo realizado para convertir insumos en productos especificos
Bienes y servicios producidos y entregados bajo control del implementador
Uso de productos por parte de poblacion de interes
Objetivos finales del programa o metas de largo plazo
Presupuesto asignado Personal técnico del Programa
Selección de comunidades Licitaciones Construcción de obras Talleres de capacitación
• Sistemas de agua y saneamiento construidos. • Comunidad capacitada • Personal de Operadores capacitados
• Utilización de servicios de agua: - Los hogares consumen agua potable de manera continua, pagando por el servicio (consumo, higiene etc).
NINOS < 5 AÑOS • Reducción de prevalencia de enfermedades de origen hídrico (diarreas, etc).
• Utilización de servicios de saneamiento: - Los beneficiarios utilizan las soluciones sanitarias en la comunidad.
ADULTOS • Mejoras en el uso del tiempo (aumento de productividad e ingresos). • Mujeres participan en los operadores en un cargo de toma de decisión. COMUNIDAD • Mejoras en el uso del tiempo (genero y niños)
Implementación (Oferta)
Resultados (Oferta + Demanda)
2
Preguntas de Evaluacion • Aspectos del proyecto a evaluarse El Programa contribuye a: Disminuir la mortalidad infantil en niños menor a 5 años Contribuye a la mayor participación de la mujer en toma de decisiones en el operador del agua Cambio del uso del tiempo dedicado a actividades que mejoran a su ingreso Contribuye a incrementar las practicas saludables 3
Preguntas de Evaluacion • Indicadores de resultado claves - % disminución en EDAS e IRAS en niños menores de 5 años post programa al cabo de los tres años. - X numero de mujeres son parte del directorio de los operadores (al menos en 3 puestos claves) - Nro de horas adicionales destinadas a actividades productivas (generan ingreso) 4
Preguntas de Evaluacion • Indicadores de resultado claves - X Bs de ingresos adicionales a nivel de hogar • Formulacion de preguntas: Cuál es el impacto de PROGRAMA sobre RESULTADOS •Las familias utilizan de manera adecuada los servicios de agua y saneamiento a nivel de hogar? •Las familias pagan oportunamente la tarifa en agua y saneamiento? 5
Diseño de Evaluación
• Estrategia de Identificación:
– Experimental .Beneficiarios: 372 Comunidades identificados con población menor a 500 habitantes en 17 municipios priorizados por indicadores de pobreza y vulnerabilidad Estratificados en dos grupos de población de 50 a 200 habitantes y 201 a 500 habitantes Restricción presupuesto a nivel municipal Aleatorización de grupo de tratamiento y control por sorteo público definiendo la orden de entrada con inversión en 17 municipios. (T1=180 comunidades)
6
Diseño de Evaluación en Genero
• Estrategia de Identificación:
– Experimental .Beneficiarios: T1=180 Comunidades de grupo de tratamiento Aleatorización de grupo de tratamiento y control para la evaluacion en genero (mitades) (T2=90 comunidades), por sorteo en escritorio, para identificar la contribución del Programa del empoderamiento de la mujeres en la administración del operador.
7
Resultados de Aleatorizacion
•
Comunidades de 50-200 Habitantes: – Total de Comunidades: • 116 Comunidades T • 123 Comunidades C
– Pruebas de Balance • 110 Comunidades T • 108 Comunidades C
– Test De Balance: 74 caracteristicas; 3 diferentes a 10% de significancia o menos =4%
•
Comunidades de 200+ Habitantes: – Total de Comunidades: • 67 Comunidades T • 63 Comunidades C
– Pruebas de Balance • 64 Comunidades T • 58 Comunidades C
– Test De Balance: 74 caracteristicas; 5 diferentes a 10% de significancia o menos =6.7%
8
Sorteo Público en Campo
9
Aleatorización exitosa • Balance en características observables de grupos de tratamiento y control; estrato 50-200 habitantes Descripción "=1 fuente de agua es subterránea" "=1 si el color del agua es turbia" Edad del líder comunitarios Número de sub-sectores dentro de la comunidad "=1 si la distribución de la población es dispersa" "=1 Material para caminos es Tierra" Distancia a la capital del municipio (km) "=1 si existe Escuela" "=1 si acceso a Escuela es a Pie" Número de hogares con Electricidad "=1 si llegó el Programa Bono Juana Azurudy"
Tamaño y Composición de Muestra Encuesta línea base: Inicio mayo 2013 183 comunidades de tratamiento (ambos segmentos) 186 comunidades de control (ambos segmentos)
11
Datos de muestra y potencia
•
Resultado 9.4 puntos porcentuales es el mínimo efecto que de acuerdo a los niveles de confianza establecidos declararían que se tiene un efecto del Programa.
•
Prevalencia: Datos de un estudio en Peru-Lima en lavado de manos (UNICEF) en los últimos 14 días.
12
Diseño del Cuestionario • Esta diseñada con 16 secciones de acuerdo al siguiente resumen: – Portada • A) Ubicación Geográfica de la vivienda • B) Dirección de la vivienda • C) Información sobre la entrevista – SECCIÓN 1: CARACTERÍSTICAS GENERALES DEL HOGAR Y SUS MIEMBROS – SECCIÓN 2: EDUCACIÓN (PERSONAS DE {x} AÑOS O MÁS) – SECCIÓN 3: LISTA DE EMPLEOS DURANTE LOS ÚLTIMOS 12 MESES • SECCIÓN 3B: EMPLEO (PARA MAYORES DE 7 AÑOS DE EDAD)
13
Diseño del Cuestionario – – – – – – – – – –
SECCIÓN 4: SALUD (PARA TODOS LOS MIEMBROS DEL HOGAR) SECCIÓN 5: VIVIENDA Y SERVICIOS BÁSICOS SECCIÓN 6: EMPLEOS ASALARIADOS SECCIÓN 7: ACTIVIDADES INDEPENDIENTES / NEGOCIOS FAMILIARES FUERA DEL SECTOR AGRÍCOLA SECCIÓN 8: INGRESOS NO LABORALES SECCIÓN 9: USO DEL TIEMPO SECCIÓN 10: CAPITAL FAMILIAR SECCIÓN 11: SISTEMAS DE AGUA SECCIÓN 12: AGUA E HIGIENE SOLO PARA (POZOS COMUNITARIOS, VECINOS, TAJAMAR, PILAS PUBLICAS, ESCUELAS) SECCIÓN 13: AGUA SOLO PARA QUIENES SE ABASTECEN DE CAÑERÍA DE RED FUERA DEL LOTE O TERRENO 14
Diseño del Cuestionario – SECCIÓN 14: SANEAMIENTO – SECCIÓN 15: OBSERVACIONES DEL ENCUESTADOR – SECCIÓN 16: INFORMACIÓN DE RECONTACTO
• Situación Actual: Nos encontramos en la etapa de revisión del cuestionario.
15
Plan de Trabajo en campo 4 DEPARTAMENTOS 17 MUNICIPIOS 370 COMUNIDADES 15 ENCUESTAS hogar por comunidad TOTAL 5610 encuestas • EQUIPO CENTRAL DE FIRMA – – –
•
SERVICIO DE ASEGURAMIENTO DE CALIDAD – – –
Ingreso de datos inteligente en campo Monitoreo centralizado de la brigadas Supervisión humana por medio de revisitas de control
•
SELECCIÓN DEL PERSONAL DE CAMPO
•
ORGANIZACIÓN DEL TRABAJO DE CAMPO 10 BRIGADAS – – – – –
16
Jefe de Proyecto Jefe de operaciones de Campo Jefe de Gestión de Datos
PLAN DE TRABAJO EN PUNTO DE MUESTRA pre contacto con lider comunitario listado de hogares Selección (seleccion aleatorio de hogares elegibles) encuesta de hogares Digitacion de la encuesta Supervision y revisitas Traslado a la proxima comunidad.
– – – – – – –
17
Dia
Tareas
1
Pre-contacto con líder comunitario; listado de hogares; selección aleatorio de hogares elegibles
2-3
Encuesta de hogares + digitación y validación en campo
4
Revisita (en caso necesario) y corrección. Traslado a la próxima comunidad
Plan de Trabajo Macro •
Linea de Base: Licitación: Dic-Abril 2013 Preparación de encuesta: Febrero-Marzo-Abril 2013 Encuesta: Mayo-Octubre 2013 Compatibilizar contenido de encuestas Linea Base y Pre-inversion: lograr un instrumento comun para linea base evaluacion, evaluacion socio-economica y DESCOM. Analizar compatibilidad de muestras para las tres encuestas. – Compatibilizar cronograma de trabajo entre encuesta Linea Base y Pre-inversion: lograr un cronograma de trabajo comun donde la encuesta entra en campo ANTES de la Preinversion – – – –
Presupuesto RESUMEN PRESUPUESTO DESCRIPCIÓN Monto USD Remuneraciones 98.300,00 Viáticos 44.050,00 Trasporte 28.000,00 Materiales 14.155,00 Reproduccion de documentos 8.053,00 Capacitación 4.000,00 Comunicación 2.000,00 Otros 2.748,00 Contingencia 20.131,00 TOTAL 221.437,00
19
Lista de Próximos Pasos • Trabajo con Cuestionarios. • Evaluación de Aspectos de Género • Proteger el grupo de control de la entrada de intervenciones de agua – Instalar sistema de monitoreo para proteger intervencion. Planilla con comunidades de tratamiento y control por municipio. Monitorear actividades de APS en el control. – Capacitación con 17 técnicos municipales y departamentales para proteger el diseño de evaluación (Mayo). – Disenos de planillas para reportes apoyo del ET – Reportes periódicos (semanal (mayo); mensual (junio) de las intensiones en inversiones en APS del GAM). – Planificación de inversiones de APS (3 a 5 anos) – Utilizar carta conjunta 20