La evaluación de programas sociales aspectos conceptuales y prácticos** ENRIQUE GONZÁLEZ TIBURCIO1

El descrédito de las reformas del Estado y de la modernización administrativa que no resultaron tan exitosos como se esperaba a la vista de los ciudadanos, planteó en la década de los noventa una nueva generación de iniciativas de cambio, en la gestión del aparato público. Bresser Pereira desde Brasil nos señala un conjunto de principios, prácticas y técnicas que buscan hacer frente al modelo tradicional y establecer los rasgos básicos que permitan la conformación de un estilo posburocrático:

UNA NOTA CONCEPTUAL

E

n el caso de los países de América Latina más que de un Estado posburocrático se puede hablar de la persistencia de modelos preburocráticos. Las administraciones públicas han constatado toda suerte de patologías burocráticas entre las que están corrupción, déficit legal, nepotismo o ausencia de un servicio civil de carrera.

a) Adopción del principio ciudadano-cliente-

*

Esta sistematización metodológica de la evaluación de los programas sociales es resultado de la experiencia del autor como titular en la Dirección General de Evaluación y Seguimiento de la Sedesol. Esta presentación fue expuesta en septiembre de 2001, en la sala de Videoconferencias Ricardo Torres Gaytán de la Facultad de Economía de la UNAM, a invitación de Rolando Cordera Campos. 1 Profesor de la Facultad de Economía de la UNAM, Premio Nacional de Administración Pública 1990. Autor y coautor de artículos y libros sobre economía mexicana y política social.

usuario. b) Definición del nuevo perfil del administrador público, pasando a una nueva gerencia pública, guiada por la búsqueda de resultados y 22

evaluado, en consecuencia sujeto a la rendición de cuentas. c) Contratación de servicios externos y concesión a privados de derechos de administración. d) Alineación de procesos con miras a simplificarlos y reducir las burocracia, minimizando los costos que entraña el cumplimiento de las obligaciones del ciudadano. e) Devolución de responsabilidades derechos y obligaciones desde el vértice de la pirámide hacia los niveles intermedios e inferiores (desconcentración y descentralización de recursos y competencias desde el centro hacia los gobiernos locales).

la modernización de la administración pública en marcha y las exigencia de la democracia nos llevan hoy a definir con mayor precisión la necesidad de evaluar; existe la sensación y a veces por hechos constatados, que se puede gastar mucho y mal; de donde se deriva que el aumento del gasto social no se traduce automáticamente en un decremento de la pobreza o en una mejoría del bienestar. ciudadanos que quieren información sobre el uso de sus impuestos, la efectividad de la actividad administrativa y la obediencia de los deseos del electorado; políticos interesados en conocer cantidad y calidad de los bienes y servicios prestados; funcionarios públicos que desean conocer las debilidades de la gestión y la pertinencia de los objetivos perseguidos por los programas y proyectos; una creciente preocupación de las instituciones financieras por conocer el impacto de las políticas que financian; la restricción de recursos disponibles frente al imperativo de racionalizar su asignación (demandas infinitas ante recursos limitados).

POR QUÉ EVALUAR

Una nota práctica La necesidad de evaluar la acción publica se ha convertido en una demanda de los gobiernos, de los organismos internacionales, de la academia y la opinión pública. En todos estos ámbitos se tiene la convicción de que es imperativo aumentar el impacto y mejorar la eficiencia de las políticas sociales: La persistencia de la pobreza y la iniquidad; las políticas de ajuste estructural que han provocado una disminución del gasto social y han puesto énfasis en la necesidad de racionalizar el gasto público; el escaso conocimiento disponible sobre el impacto del gasto social y el convencimiento de que sólo una baja proporción del éste llega efectivamente a los pobres; la creciente exigencia de los beneficiarios de los programas sociales por más y mejores bienes y servicios; los magros resultados obtenidos en eficiencia, equidad y participación ciudadana con los procesos de descentralizaciónen el marco de las reforma fiscal que vendrá, los ciudadanos que pagarán más impuesto exigirán una mayor evaluación sobre cómo estamos haciendo las cosas; esto nos lleva a la conclusión de que no hemos sido lo suficientemente cuidadosos y enérgicos para alcanzar los resultados esperados;

“Lo que no se evalúa no se puede mejorar” Ignorar el impacto que produce el gasto social, materializado en programas y proyectos sociales sobre la población objetivo a la que están destinados equivale a desconocer:

a) Si los programas sirven o no b) Si sirven cuánto sirven y el grado con que justifican su costo

c) A quienes sirven y en qué medida •

•

23

El nivel del gasto ya no es un indicador suficiente del desarrollo social, porque no permite determinar si efectivamente se está alcanzando el impacto esperado en las poblaciones destinatarias. Entre el nivel del gasto social y el impacto causado existe una incógnita que la evaluación de impacto trata de subsanar

•

•

• •

La simple entrega o prestación de bienes o servicios sociales no implica que se está contribuyendo a la solución de problemas sociales. La experiencia muestra que con fuertes incrementos del gasto social se pueden obtener magros resultados cuando la gestión de los programas es inadecuada. La mayor eficiencia del gasto se logra a través del conocimiento generado mediante evaluaciones de impacto de políticas y programas. Con ello es posible emitir un juicio fundado sobre qué medida o programa contribuyó a la solución del problema que le dio origen.

Demanda y oferta de evaluación Demanda

Rendición de cuentas

Sociedad civil Instrumentos Participación en el desarrollo de las políticas públicas Información sobre la operación de los programas Sobre los Resultados alcanzados

ADMINISTRACIÓN PÚBLICA Y EVALUACIÓN La evaluación es un instrumento democrático que permite que la función pública sea ejercida con absoluta transparencia, con trato imparcial, rindiendo cuentas puntualmente sobre el uso de los recursos. “En general, el propósito central de la evaluación es constituirse en un instrumento de vigilancia del gobierno, en mecanismo para asegurar el valor del dinero público, en indagar la esencia sobre la efectividad de los programas y de su contribución al bien público”. ( Cohen E.).

24

Evaluaciones de impacto Evaluaciones de proceso Evaluaciones de metas

Oferta Reforma del Estado Instrumentos: Medición y evaluación del desempeño Acciones: Mayor atención a las demandas ciudadanas Incrementar la capacidad de respuesta Mayor eficiencia, productividad y eficacia Informar sobre el desempeño de los programas

•

Modelo de organización/Modelo de gestión procesos/actividades/productos

•

La función objetivo debiera ser maximizar el impacto externo y la eficiencia interna. Gráficamente este “modelo innovador”, se resume de manera siguiente:

• • • •

Impacto/productos/procesos/actividades Modelo de gestión/Modelo de organización Esto responde a una doble imagen-objetivo:

Establecimiento de bases hacia un sistema de evaluación. Posibilidad de elaborar propuestas para mejorar el proceso de futuras evaluaciones. Creación de enlaces institucionales. Desarrollo de recursos humanos. Conocimiento de la oferta institucional de evaluación. Cumplimiento institucional con el compromiso asentado en mandatos.

Evaluación externa: estudio de un caso pionero

Aspectos relevantes

a) Maximizar el impacto sobre los beneficiarios; y b) Optimizar la eficiencia en la asignación y utilización de los recursos para la generación de productos.

• •

Se logró obtener resultados de impacto sobre las condiciones sociales y económicas de la población objetivo. Se obtuvo la percepción de los beneficiarios acerca de los apoyos recibidos y sobre la calidad de la atención. Se diagnosticó sobre las condiciones operativas de los programas y se podrá definir una línea. base para evaluaciones futuras. Se realizaron conclusiones y recomendaciones para el mejoramiento de los programas.

La maximización del impacto determina el modelo de gestión y organización. En los programas sociales se debe buscar el mayor impacto con la utilización eficiente de los recursos que reciben.

•

Modernización de la Administración Pública

•

• • •

Resultados, alcances y limitaciones

• • •

Acercar la administración a la ciudadanía. Adecuar funciones, facultades y estructuras. Promover el uso eficiente de recursos públicos. Fomentar la dignidad y profesionalismo de la función pública. Identificar los problemas de los programas Que la función pública sea ejercida con absoluta transparencia

En general los resultados podrán precisar que los beneficiarios reciben los apoyos, y éstos significan una ventaja sobre no tenerlos. Es necesario señalar las siguientes deficiencias de información que pueden afectar la evaluación:

a) retraso en la entrega de resultados; b) elevada proporción de no respuestas, superior

FORTALEZAS Y DEBILIDADES DE EVALUACIÓN

a la estimada en por lo menos un programa;

c) errores en el procesamiento de la informa-

Logros de la evaluación • •

ción.

Identificación de aspectos positivos y negativos; logros y problemas de los programas. Aprendizaje y capacitación.

Estos elementos plantearon dudas a los consultores acerca del grado de confianza que pudieran 25

representar los resultados para las conclusiones y recomendaciones. Controversias sobre la temporalidad de medición del impacto. • • • • • • •

Las políticas sociales han utilizado como patrón de medición indicadores de ejecución presupuestaria, cobertura y costos mínimos de prestación de servicios Casi ningún programa da cuenta del impacto logrado por las políticas y programas en función de los objetivos sociales que los justifican Es necesario enfatizar que la eficiencia del gasto público no garantiza su impacto Erróneamente se asume que el seguimiento físico financiero y el análisis de la incidencia distributiva es suficiente para dar cuenta de los resultados finales de las políticas y de su impacto redistributivo. Un nuevo modelo debe tomar el impacto como el eje orientador y para el logro define la gestión y la organización, estructurando la estrategia, los objetivos, procesos y funciones La preocupación central de nuestros programas sociales son la cobertura, el ejercicio del recurso y a veces el costo del programa y no el impacto sobre sus destinatarios. Esta concepción se ha traducido en que el análisis de la gestión de los programas y proyectos sociales se haya centrado en la eficiencia en la generación y entrega de sus productos (bienes y servicios) y no en su impacto. En general, los modelos asumen el impacto como un dato. Esto se expresa en un “modelo tradicional” con la siguiente forma:

Falta de conexión entre los resultados de las evaluaciones de impacto y el quehacer de los programas. Nadie quiere ser evaluado. Aunque se evalué un programa el prurito existe. “Nadie sabe más que yo sobre el programa”. “.... Nadie me puede o debe evaluar”. “Aunque los evaluadores sepan de evaluación, no saben sobre los programas”. No existe un sistema de información confiable por programa (problema para definir la línea de base) ¿Hasta dónde intervenir en el juicio de los evaluadores externos? La evaluación no está exenta de intervención política y personal. CONCLUSIONES Y DESAFÍOS

La evaluación no es infalible, sus resultados dependen de los indicadores, de medidas escogidas, de la calidad de los datos y de la interpretación de los hallazgos La reforma del Estado y la modernización administrativa han sido influenciadas por los países desarrollados y por agencias financieras internacionales. El problema está en que ellos transitan desde modelo burocráticos a otros posburocráticos. En América Latina el reto consiste en pasar de formas preburocráticas. La preburocracia se caracteriza por altos índices de corrupción, la necesidad de incrementar la transparencia en la toma de decisiones y la asignación de recursos, fortalecer los mecanismos de peso y contrapeso entre los poderes del Estado, consolidar un servicio de carrera para los funcionarios públicos. Existe un fuerte déficit en la evaluación de la gestión pública

COMO FORTALECER LA CAPACIDAD DE EVALUACIÓN? Para avanzar en la construcción de una nueva política de evaluación, se deberán considerar algunas de las siguientes sugerencias: Determinar cuánto influye la evaluación en las decisiones presupuestarias y de gestión. Conocer las actividades de evaluación de todos los organismos. Identificar las actividades de evaluación de los organismos sociales. Preparar un plan de acción realista para el fortalecimiento de la capacidad de evaluación. 26

Establecer evaluaciones de correlación de la política social con la económica, para medir la efectividad del combate a la pobreza. La entidad encargada de evaluar las actividades y programas debe ser independiente y autónoma. Con capacidad de recomendación. El papel de la sociedad debe ser más amplio en el proceso evaluatorio. Hay que recoger sus demandas y permitir que contribuya a la toma de decisiones. Para que las evaluaciones de impacto sean efectivas, deben respetar una temporalidad más amplia; realizarse cada dos o tres años.

Los resultados de evaluaciones no deben dejarse en el archivo. Hay que aprovecharlas para verdaderamente conocer qué programas y en qué aspectos se está fallando; a partir de ello, determinar qué programas deben continuar y cuáles desaparecer. Razones fundamentales que justifican la evaluación de la gestión pública

a) Es una necesidad democrática. b) Contribuye a la toma de decisiones informadas.

d) Permite dimensionar los efectos e impactos de las intervenciones sociales.

27