La evaluación de políticas públicas y sociales. Un análisis entorno a los actores. Ma. Jimena García Puente.

Introducción: Los procesos de Reforma del Estado1 desarrollados en la última década en Argentina modificaron la correlación de fuerzas, el alcance y el modo de intervención estatal, lo que implicó una redefinición de los roles y prioridades del Estado, y un cambio en la forma de relacionarse con la sociedad civil. Se configuró una nueva forma de relación y articulación del Estado con la sociedad civil en su triple relación, en la funcional o la división del trabajo (de qué debe ocuparse el Estado), en la material o de la distribución del excedente social (cuánto le cuesta a quién) y en la de la dominación o correlación de poder (quién decide de qué hay que ocuparse) (Oszlak, 2001). De ésta manera Oszlak señala que la antigua matriz estado-céntrica fue dando paso a un modelo de relación cuya característica central es la incorporación de las instancias subnacionales, de los demás actores que componen la sociedad y de los actores supranacionales2. Tales cambios se evidencian en el diseño y la implementación de las políticas públicas y en las políticas sociales3, puesto que influyen en los contenidos o las temáticas que ingresan a la agenda estatal (y cómo lo hacen), en las formas de resolución y en tipo de soluciones. Por ello una forma de visualizarlos es por medio del análisis de los objetivos, el diseño y las prácticas de gestión de las políticas públicas, asimismo se pueden visualizar por medio del análisis de los diversos actores que participan en dichos procesos y del modo que interactúan y se relacionan en esos marcos institucionales específicos. A modo de síntesis podemos señalar que los rasgos sobresalientes de las principales transformaciones de las políticas sociales se vinculan con la descentralización (el traslado de responsabilidades de gestión jurisdiccional a las provincias y a los municipios), la focalización (políticas orientadas a poblaciones claramente definidas), la privatización de

1

Por procesos de reforma del Estado nos referimos tanto a lo que se denominó primera reforma como segunda reforma del Estado. 2 Cabe aclara que Oszlak (2001) sostiene no se trata de una variación de las reglas fundamentales (es decir las que se fundan el sistema capitalista como modo de organización social) en que se basan los vínculos entre el Estado y la sociedad. Lo que ha cambiado son algunos actores, sus estrategias y resultados mismos del juego. 3 A los fines del presente trabajo, no nos centraremos en la distinción de políticas sociales respecto a las demás políticas públicas y abordamos su tratamiento en conjunto. No obstante ello se va a considerar a las políticas sociales como un subconjunto de políticas públicas, cuya finalidad es dar una respuesta a determinadas problemáticas sociales, es decir, modificar situaciones de exclusión, vulnerabilidad, desigualdad y pobreza, cuyos los principios rectores son la equidad, la inclusión y la seguridad social. 1

servicios públicos (ya sea en empresas privadas nacionales o internacionales) y la terciarización de ciertas actividades. Rasgos que marcan la presencia de nuevos actores en el proceso de diseño y de gestión de las políticas. Tales actores no se limitan al ámbito estatal (ya sea jurisdiccional o intrasectoriales) sino que incluyen actores sociales (organizaciones no gubernamentales y otras formas de acción y participación comunitaria) e internacionales (organismos multilaterales de crédito). Otro de los cambios que experimentaron se vincula con el mayor énfasis en el monitoreo y la evaluación (Repetto, 2003) de las diversas políticas sociales como de la gestión pública. Tales modificaciones afectaron tanto a los marcos institucionales como a la configuración del mapa de actores relevantes que interactúan alrededor de las políticas públicas. Por ello para analizar las políticas públicas es necesario considerar la presencia plural de actores políticos y sociales e internacionales. El presente trabajo se propone indagar sólo sobre uno de los rasgos de las políticas sociales señalados: la evaluación, con el propósito de vislumbrar el mapa de actores que interactúan en esa fase y el entramado institucional en el cual se desarrollan. Esto se realiza a partir del análisis de los actores en la fase evaluación de una política social particular, el Programa Trabajar, luego el foco de análisis se amplía con el fin de analizar algunos aspectos de la institucionalización de la evaluación de políticas sociales en un organismo estatal, el Sistema de Información, Monitoreo y Evaluación de Programas Sociales (SIEMPRO).

Políticas públicas: una mirada en torno a los actores. Existen diversos modos de abordaje para analizar las políticas públicas, que implican diferencias en torno a su conceptualización y, en tanto marcos analíticos, formas diferentes de observar la relación entre el Estado y la sociedad civil4. Puesto que el trabajo está enfocado en las políticas públicas creemos pertinente especificar en base a qué concepción teórica realizaremos el análisis.

4

Al respecto nos referimos, a riesgo excesiva simplificación, a los enfoques denominados “socio-céntricos” que explican a las políticas públicas en base a los intereses, relaciones y estructuras de la sociedad civil; a los “estado-céntricos” que postulan al Estado como autónomo en sus decisiones de las presiones de los actores de la sociedad, por lo tanto a las políticas públicas como expresión de los intereses y preferencias de los actores estatales, y por último al enfoque que analiza las políticas públicas como la expresión conflictiva de la interacción de actores estatales y sociales, mediados por entramados institucionales. 2

De acuerdo con Oszlak y O’Donnell las políticas públicas5 permiten una visión del Estado “en acción”, desagregado y descongelado como estructura global y “puesto” en un proceso social en el que se entrecruzan complejamente con otras fuerzas sociales, lo que permite analizar el proceso social tejido alrededor del surgimiento, tratamiento y resolución de cuestiones ante las que el Estado y otros actores adoptan políticas (1984: 99 y s). Entonces el análisis de las políticas públicas, en tanto que éstas expresan el accionar de los actores fundamentales, permite comprender la compleja relación entre el Estado y la sociedad y las reglas que juego que articulan la relación. En concordancia con ese enfoque, Fox sostiene que es necesario, además analizar los conflictos, contrastes, intereses e identidades de los diversos actores en el interior del Estado y en la sociedad, que pueden capturar los límites y las posibilidades de acción estatal (1994: 11). Las políticas públicas son, para éste autor, el resultado de una relación recíproca, causa y efecto entre los cambios en la balanza de poder dentro del Estado y dentro de la sociedad civil (Ibídem: 22). Tal perspectiva nos conduce a analizar y considerar a una política pública como el resultado de la forma en que se lleva adelante la disputa entre diversos actores en el marco de cierta distribución de poder y reglas de juego, en otras palabras explicar a las políticas “en función del proceso que resulta del sistema de instituciones políticas que organizan el poder en la sociedad y el entramado de actores involucrados, sus capacidades y comportamientos”(Acuña y Repetto, 2001: 15). Considerando, entonces a una política pública como el resultado de la interacción entre los actores relevantes del Estado y la sociedad civil, centraremos el análisis en los actores intervinientes en ellas. En el presente trabajo se analiza, en primer lugar, utilizando la perspectiva analítica que subdivide a una política pública en ciclos o fases y concentrándonos en una de ellas la evaluación, el mapa de actores que interactúan en una política social. En función de ello, en segundo lugar, se destacan algunos aspectos de la evaluación como una política pública, es decir evaluación de políticas sociales con el fin de observar la institucionalización en un organismo estatal de la función evaluación de políticas sociales.

5

Los autores definen a las políticas públicas “como un conjunto de acciones y omisiones que manifiestan una determinada modalidad de intervención del Estado en relación a una cuestión que concita interés o movilización de otros actores de la sociedad civil” (Oszlak y O’Donnell, 1994: 112). 3

¿Porqué analizar la evaluación de las políticas públicas y sociales a partir de los actores? La evaluación de programas y proyectos sociales “es una actividad programada de reflexión sobre la acción, basada en procedimientos sistemáticos de recolección, análisis e interpretación de información, con la finalidad de emitir juicios valorativos fundamentados y comunicables, sobre actividades, resultados e impactos de esos proyectos o programas y formular recomendaciones para tomar decisiones que permitan ajustar la acción presente y mejorar la acción futura” (Nirenberg et. at., 2000: 32). La evaluación ha conformado históricamente un momento de análisis del proceso de las políticas, sin embargo, como se señaló en la introducción, tal preocupación ha adquirido mayor relevancia en la agenda de las reformas del Estado ligada al interés por la responsabilización y la rendición de cuentas en el ámbito público (Hintze, 2001) En el mismo sentido Ospina señala que el tema de la evaluación de proyectos y programas públicos no es nuevo, pero que la preocupación actual se enmarca dentro de una agenda más amplia de reforma del Estado y la modernización de sus instituciones (2001: 93). Tal preocupación se basa en la necesidad de reevaluar el papel del Estado y de mejorar la eficiencia, eficacia y calidad de los servicios públicos. La autora señala que el mejoramiento de la administración pública, a lo que podemos agregar, la formulación, el diseño y el desempeño de sus políticas en pos de una mayor equidad, es un pre-requisito para recuperar la legitimidad del Estado, en su papel, ahora más reducido pero igualmente crítico, como co-actor de la resolución de los problemas colectivos. La evaluación de políticas públicas está vinculada, entonces no sólo con la preocupación de lograr mayor transparencia del aparato estatal sino también con el fin de mejorar el desempeño administrativo y el accionar del Estado, lo que conduce a una revisión del modo de resolución de los problemas, (y de selección de los mismos) de su diseño, gestión y resultados. Por lo tanto qué actores interactúan, y cómo, en el proceso de la evaluación de una política pública se convierte en esencial para vislumbrar no sólo el enfoque de las evaluaciones, qué dimensiones analizan de la política pública, en función de sus intereses o los que representan, sino también los recursos y las capacidades con los que cuentan cada uno para convertirse en actores relevantes en dicho proceso. Por otro lado el análisis del mapa de actores y la institucionalidad resultante de la evaluación como política pública nos permite reflexionar y observar sobre las restricciones y oportunidades de los diversos actores para participar en tal proceso evaluativo. 4

La evaluación como una fase de la política pública La evaluación de las políticas públicas puede ser entendida como un ciclo o una etapa de la política o se la puede analizar como una política pública en sí misma6. De acuerdo con el primer enfoque se puede analiza una política pública como un proceso que se desenvuelve por etapas, de las cuales, cada una posee sus actores, restricciones, decisiones, desarrollos y resultados propios, que influyen en las demás y son afectadas por lo que sucede en otras (Aguillar Villanueva, 1993: 15). Los autores que analizan las políticas públicas en tanto procesos o ciclos, realizan una operación analítica para dar cuenta de las diversas etapas por las que atraviesa una política pública. Dichas fases, pueden no corresponderse linealmente con la realidad, algunas no se cumplen o el orden de las mismas suele alterarse. Al margen de los distintos cortes y denominaciones, todos los autores que utilizan este marco de análisis se refieren a las siguientes etapas: estructuración del problema, su ingreso a las agendas pública y gubernamental, la generación de alternativas, la decisión, el diseño, la implementación y su evaluación7. Utilizaremos la perspectiva del ciclo de la política pública puesto que es apropiado para abordar la evaluación de una política separada, por lo menos conceptualmente, de las demás fases con la finalidad de observar el modo en que los distintos actores interactúan en esa etapa. La fase evaluación, sin embargo, no se realiza sólo cuando finaliza una política pública, es un proceso transversal a toda la política. Por otro lado, la evaluación de una política implica una definición de objetivos, del carácter de la evaluación, de la metodología, su instrumentación y análisis de resultados, lo que permite también subdividir a ésta fase. Para Manuel Tamayo Sáez, la evaluación es la última fase del proceso de la política pública, y como éste es cíclico, es también la primera porque conduce a una revisión del estado del problema (1997: 288). El fin es, de acuerdo con el autor, producir información para orientar los nuevos procesos de decisión, introduciendo modificaciones a la política o la sucesión de ésta por una más adecuada (Ibídem: 306 y s). Meny y Thoenig sostienen, en 6

El análisis de la evaluación como una política pública se enfoca en examen de los sistemas de evaluación de las políticas públicas, que constituyen estructuras institucionales de evaluación de las acciones e intervenciones del Estado y de los respectivos aparatos administrativos estatales (Guerrero Amparán, 1995), un ejemplo de ello en el caso de Argentina respecto a las políticas sociales sería el SIEMPRO. 7 De acuerdo con Guerrero Amparán, todos los autores que han desarrollado la noción de política pública como proceso incluyen una fase de evaluación.(1995: 50). En el mismo sentido se puede ver en el análisis que realiza Aguilar Villanueva (1993: 16) de los diversos autores (tales como Peter DeLeon, Garry Brewer, May y Wildavky, Hogwood y Gunn, y Anderson) que señalan la evaluación como parte del proceso de toda política pública. 5

primer lugar, que evaluar es un gesto diario, que consiste en identificar y medir los efectos propios de la acción, es un juicio hecho sobre un dato de referencia a un valor. Pero agregan que “evaluar una política pública es apreciar los efectos atribuibles a una intervención gubernamental en un campo específico de la vida social y del entorno físico (...) es la apreciación sistemática, sobre la base de métodos científicos, de la eficacia y de los efectos reales, previstos o no, buscados o no, de las políticas públicas”(1992: 195), a lo que Sulbrandt incorpora que es “un examen, a partir de criterios específicos, de los logros de una política en relación a las metas propuestas y a los efectos esperados en los grupos sociales beneficiarios”(1994: 312). Por otro lado, dichos autores señalan que no sólo es un instrumento técnico. La evaluación puede ser considerara, también, como un mecanismo político cuya finalidad es el control parlamentario, la legitimación de acciones gubernamentales o un mecanismo de justificación de las mismas, el reforzamiento o la destrucción de una política, la legitimidad de un tipo de liderazgo (Tamayo Saéz, 1997: 306), desde una perspectiva, y desde otra, como una actividad política que se define en quién juzga la política y mediante qué procesos (Meny y Thoenig, 1992: 203), puesto que el contenido mismo de la evaluación, su juicio de valor final, forma parte de la atmósfera política de la toma de decisiones o del apoyo o crítica a una política. Por tal motivo Subirats, apelando a una construcción democrática y plural, propone un enfoque que la considere como un instrumento de política que busca construir consenso entre los distintos actores interesados respecto a los criterios para evaluar una política (1995: 5). Retomando todas las definiciones, vamos a entender a la evaluación de políticas sociales, como una actividad técnica y política, programada y sistematizada, cuyo fin es analizar los resultados de las políticas gubernamentales en base a juicios fundamentados, no la concebimos como un mero método técnico, sino por su propósito brindar información para la planificación y las decisiones políticas8. Por otro lado el proceso de evaluación, como destaca Hintze (2001), es una fuente potencial de conflictos en el cual se pone en juego la posición de los actores institucionales que pueden vivirla como una amenaza para su poder y a la propia sobrevivencia como actores. Esta situación conflictiva, para Cohen y Franco, proviene de las diferentes racionalidades de los actores que intervienen en la evaluación: los políticos, burócratas,

8

Esta definición es pertinente tanto para la evaluación en el marco del ciclo de una política como para un sistema de evaluación de políticas públicas. 6

técnicos y la población objetivo, son conflictos vinculados con la diferencia entre los tiempos políticos y técnicos, (1992: 63 y s) a los se puede incorporar, también sociales9. Ahora bien ¿qué actores realizan la evaluación de una política pública? Se puede sostener que todos los ciudadanos emiten juicios sobre lo que hace el gobierno puesto que, de acuerdo con Subirats las personas directa o indirectamente interesadas en un programa de acción pública expresan sus opiniones críticas, sopesan y evalúan las políticas públicas en función de sus lógicas y perspectivas particulares (1995: 10). Pero dichas evaluaciones, para Guerrero Amparán son subjetivas y dependen de referencias heterogéneas, de acuerdo con la posición social, nivel de educación, experiencias personales e ideas políticas, su interés particular y cómo éste es afectado o satisfecho por la política (1995: 62). De acuerdo con las definiciones antes citadas la evaluación de una política pública como análisis científico se basa en procedimientos y técnicas, se intenta superar las evaluaciones subjetivas de los ciudadanos y, a pesar de ser un juicio, éste debe resultar de observaciones concretas en normas y valores lo más objetivos posibles10, con el fin de acrecentar la consideración de los hechos concretos en detrimento de la influencia de los prejuicios. Pero las evaluaciones no son neutrales, son hechas por actores, ajenos o no a la política, que poseen ideologías, e intereses11. En otras palabras, los criterios de la evaluación dependerán de quién los formula, de cuál es su intención y su visión del mundo, ya sean las realizadas por actores que participan en alguna fase de la política o por actores externos, ajenos a la misma.

Análisis de los actores en la fase evaluación en una política pública, el Programa Trabajar. En el presente apartado se analiza el Programa Trabajar, en su fase de evaluación, con el propósito de examinar el mapa de actores, y el papel que juegan, en la fase de

9

En cambio la situación conflictiva que presenta la evaluación para Nirenberg et. al.(2000, 42 y s), se vincula con la resistencia al cambio, puesto que evaluar conlleva para las autores una transformación de por ejemplo la forma en que se trabaja, lo que genera oposición y renuencia. 10 Por valores objetivos, hacemos referencia a “la corrección de la subjetividad individual que se encuentra en la intersubjetividad, lograda mediante la incorporación de diferentes actores lo cual genera espacios de confrontación y reflexión conjunta, para permitir acuerdos y consensos sobre distintos aspectos y sobre los juicios valorativos (Nirenberg et.at, 2000: 94)”. 11 Entendidos como intereses objetivos o subjetivos e ideología como mapas cognitivos. (Acuña y Repetto, 2001: 18 y s) 7

evaluación de dicha política pública12. Para tal fin, y de acuerdo con el marco teórico adoptado, se emplea el enfoque relacional que interpreta el contenido y la dinámica de las políticas públicas como resultado de la interacción entre actores relevantes, sean éstos estatales, de la sociedad o del sistema internacional (Repetto, 2002:34). El Programa Trabajar, desde su primera versión hasta la tercera, ha tenido cambios en su diseño y en sus procedimientos operativos, de los cuales algunos son el resultado de los procesos de evaluación. A pesar que se realizaron diversas evaluaciones al Programa, las mismas no constituyen un proceso integrado y sistematizado, puesto que se efectuaron en diversos momentos, con distintos objetivos y sobretodo porque las llevaron adelante actores diferentes. Por ello se analizan las evaluaciones en función de dos grandes categorías, las internas del propio Programa y las externas. Las evaluaciones internas, a cargo de los ejecutores del Programa, se vinculan con las previstas en el diseño del mismo. La gran mayoría son evaluaciones de los proyectos de infraestructura con el objeto de determinar su viabilidad dentro de los parámetros establecidos en el programa para su aprobación (Res. S.E.yC.L. N 397/98). Por otro lado existen instancias de evaluación del desempeño y desarrollo del Programa, tarea que realizan las Unidades Regionales de Aprobación (Urat), a través de indicadores de monitoreo. Mediante éstos se pretende detectar oportunamente las deficiencias, obstáculos y/o necesidades de diseño y ejecución del Programa13, son indicadores cuantitativos orientados a la comprobación periódica de la adecuación entre las metas y objetivos propuestos y los alcanzados. Sin embargo, los mismos se refieren al seguimiento estrictamente físico-financiero del Programa. Situación que dista de la propuesta de Nirenberg (2001) sobre las evaluaciones internas de programas nacionales que se concretan en proyectos que se ejecutan en diversas provincias y municipios, a cargo de organismos públicos y de ONGs, como es el caso del Trabajar. La autora propone un modelo evaluativo aplicado por diferentes actores ubicados en los distintos niveles de gestión. De esa forma participan en el mismo los actores locales, provinciales y nacionales, con las mismas dimensiones, variables e

12

Las fuentes que se utilizan en el presente apartado referidas al Programa Trabajar son diversos documentos del Banco Mundial y del Ministerio de Trabajo y Seguridad Social. Por otro lado, el análisis de la evaluación al Programa Trabajar se efectúa en conjunto, lo que incluye a sus tres versiones. 13 Dichos indicadores cuantitativos están relacionados con el ciclo de los proyectos, la información sobre los beneficiarios directos, sobre la ejecución del presupuesto, sobre la cobertura, los pagos a los beneficiarios, el resultado de los proyectos, el costo de los mismos, la extensión de los objetivos en áreas pobres y la asistencia técnica. Res. S.E.yC.L. 202/97. 8

indicadores, pero con diversas técnicas de acuerdo a los niveles y con un marco conceptual y metodológico compartido14. Por otro lado el Ministerio de Trabajo (2000a), como responsable del Programa, realizó “Diagnósticos de Base”, que se centran en el análisis de la población beneficiaria, donde se exponen las características de la misma en tres aglomerados, se presentan datos respecto a la caracterización sociodemográfica, los antecedentes laborales, las particularidades de los hogares de la población objetivo, y las diversas formas de vinculación con el Programa. Tales estudios fueron completados por un segundo informe (Ministerio de Trabajo, 2000b) que analiza los mismos aspectos antes señalados, pero sin discriminar por lugar de residencia. De acuerdo con lo expuesto se puede concluir que desde la instancia interna, los encargados del Programa centran las evaluaciones en un control cuantitativo, basado en el monitoreo de la gestión y la implementación y en la presentación de informes diagnósticos enfocados en la caracterización de los destinatarios. Sin embargo, según la información relevada, es pertinente preguntarse por la existencia de evaluaciones a posteriori o estudios que analicen cualitativamente los datos. En otras palabras, que excedan los fines burocráticos y de control y se centren en análisis la gestión y de sus resultados, esto es en maximizar el impacto y la eficacia de los fondos a través del conocimiento y las acciones correctivas que de ellos derivan.15 La evaluación interna del Programa Trabajar concuerda con el diagnóstico de Cohen sobre la tendencia dominante en la evaluación de políticas sociales en América Latina que utilizan como parámetros de medición indicadores de ejecución presupuestaria, cobertura y costos mínimos de prestación de servicios. Sin embargo ninguno de ellos da cuenta del impacto en función de los objetivos sociales que los justifican puesto “la eficiencia del gasto no garantiza necesariamente su impacto” (Cohen et al, 2001: 20). Respecto a las evaluaciones externas a la gestión e implementación del Programa, las realizaron dos actores. Uno fue el SIEMPRO16 y el otro el Banco Mundial (BM). 14

Nirenberg (2001) asimismo destaca la importancia de la inclusión en el diseño del proceso evaluativo no sólo de los distintos niveles operativos, sino de los actores que programan y de los destinatarios de las acciones. 15 Al respecto cabe destacar que a pesar de no encontrar ningún informe de tales características, desde la Unidad Ejecutora Central y en las diversas instancias provinciales, funcionan instancias ‘informales”, que sirvieron de retroalimentación para mejorar el desempeño del programa. (esta afirmación se basa en una entrevista realizada a Sebastián Carrera, miembro de la UEC, el 20 de agosto de 2002 en Buenos Aires). 16 El SIEMPRO fue creado en el año 1995 por la resolución 2851/95 de la ex Secretaría de Desarrollo. Surgió en el marco de un préstamo del Banco Mundial y actualmente posee financiamiento de dicho organismo y del Banco Interamericano de Desarrollo. A partir de diciembre de 1999 pasa a depender de la Secretaría de Tercera Edad y Acción Social, la cual pertenece al Ministerio de Desarrollo Social y Medio Ambiente, y en 9

El SIEMPRO, entre sus diversas actividades, efectúa monitoreos y evaluaciones de programas sociales, para lo cual realizan distintos tipos de evaluaciones. En el caso del Trabajar el SIEMPRO realizó una evaluación diagnóstica (1997)17 de la primera versión del Programa con el fin de realizar un análisis en profundidad de la ejecución. Es una evaluación de procesos que centra su atención en distintos aspectos del programa: las relaciones institucionales, la formulación de los proyectos y su ejecución, la focalización de los beneficiarios, el flujo de fondos, y en el perfil de los beneficiarios. Tal evaluación se realizó para obtener un diagnóstico de la implementación del Programa en su primera versión y sus conclusiones y recomendaciones fueron utilizadas para modificar y rediseñar el Programa en su segunda versión. Por su parte el BM, realizó una evaluación del Programa que denominaron de impacto y se basa en diversos estudios separados realizados por dicho organismo. El propósito de la evaluación efectuada por el BM es determinar si el programa está o no logrando alcanzar sus objetivos normativos, e indicar los campos en los cuales el programa necesita una reforma a fin de maximizar su eficacia. (Baker, s/f y BM, s/f). La misma consiste en diversos estudios, con objetivos distintos, que se realizaron para evaluar los siguientes aspectos del Programa: 1. los aumentos netos de ingresos que se acumulan para los participantes en el Programa, 2. la asignación de los recursos del programa en las diversas regiones (focalización) 3. la calidad de la infraestructura que los proyectos han financiado, y 4. el papel de la comunidad y las ONGs en los resultados de los proyectos. El primer aspecto lo analizaron en el estudio que se plantea evaluar de las ganancias netas en ingreso de los beneficiarios (Jalan y Ravallion, 1999). Tal objetivo no es ajeno al Trabajar, puesto que el Programa se propone reducir el impacto de la caída del nivel de ingresos de los hogares pobres por la pérdida de empleo, por lo que el BM está interesado en analizar las trasferencias netas de ingreso y ello realiza por medio del cálculo el costo de oportunidad, es decir los ingresos que el beneficiario deja de percibir por otros trabajos al incorporarse al programa. Los criterios y las técnicas que se utilizaron fueron una encuesta de niveles de vida (Encuesta de Desarrollo Social EDS)18, otra encuesta realizada a los

la actualidad se ejecuta dentro del Consejo Nacional de Coordinación de Políticas Sociales de la Presidencia de la Nación. 17 La evaluación fue realizada con colaboración de CRISOL Proyectos Sociales y CEDEI. 18 La EDS fue desarrollada por el Ministerio de Desarrollo Social y financiada por el BM bajo otro proyecto. La misma fue diseñada para mejorar la calidad de la información sobre el bienestar de las familias en Argentina, particularmente en el campo del acceso a los servicios sociales y los programas sociales. 10

fines de la evaluación a los participantes y un grupo de control como referencia comparativa para medir los efectos de la política19. El estudio que analiza el segundo aspecto señalado, la focalización, (Ravallion, 1999) examina la asignación de recursos del Programa por regiones con la finalidad de verificar la orientación hacia los grupos beneficiarios específicos. Para realizar esta evaluación el BM se basó en datos del Ministerio de Trabajo respecto a asignación de fondos del Programa en las provincias y los comparó con índice de pobreza “necesidades básicas insatisfechas” establecido a partir del censo de 199120. Es un estudio centrado en el análisis de la focalización del programa en los sectores pobres, es decir si se seleccionan bien los destinatarios, pero no el impacto del programa en ellos, puesto que es un análisis del proceso de asignación de fondos, con el fin de aumentar la eficiencia operativa del programa. Se busca determinar la medida en que los componentes de un proyecto contribuyen o son disfuncionales a los fines perseguidos, es decir detectar las dificultades que se presentan en la programación y en la implementación, siendo su objetivo central medir la eficiencia con que opera el proyecto (Cohen y Franco, 1992: 110) por medio de observar, un aspecto del mismo, su focalización. El estudio destinado a evaluar la calidad de los proyectos de infraestructura que se financian, tercer aspecto del Programa que evalúa el BM, se realizó mediante el análisis de costos-beneficios21. El análisis se centra en el producto del programa, es decir, en los resultados concretos de las actividades desarrolladas, en éste caso, las obras de infraestructura física. Al ser un análisis que se realizó una vez finalizada la obra debe brindar elementos para determinar “la utilidad de la continuación del proyecto o para (...) establecer la conveniencia de realizar otros del mismo tipo”(Cohen y Franco, 1992: 183). Para evaluar el cuarto aspecto el BM efectúo una evaluación social (Estebanez y Feliu, 1998) que se propone analizar ciertos aspectos de la implementación. Para realizar tal propósito realizaron una evaluación que se plantean indagar sobre la participación de

19

El grupo de control fue extraído de una muestra de la encuesta EDS y las comparaciones con los participantes del Programa se realizaron sobre la base de similitudes en las características observadas. 20 Para analizar la focalización la metodología consistió en la realización de regresiones de los datos sobre las asignaciones de fondos en las distintas áreas geográficas con los índices de pobreza geográfica. El coeficiente resultante estima un “diferencial de focalización” dado por la diferencia entre las asignaciones promedio del programa a pobres y no pobres. Se descompone el diferencial nacional de la focalización para evaluar la contribución del mecanismo de focalización del gobierno central con respecto a la focalización del gobierno local en el nivel provincial. 21 De acuerdo con el informe del BM realizó por medio de un muestreo y visitas al campo por parte ingenieros civiles que calificaban a los proyectos sobre la base a indicadores (agrupados en las siguientes categorías: técnicas, institucional, ambiental, socioeconómica). Éste último no se realizó para las escuelas y los centros de salud. 11

las ONGs en el Programa, de las mujeres como beneficiarias, el rol de los municipios y la percepción social de los diferentes actores involucrados. La denominan “evaluación social” puesto que la finalidad del estudio evaluativo es detectar los problemas o dificultades de la implementación a partir de la evaluación que realizan los diversos actores, es decir está enfocada en la perspectiva de los actores del programa desde sus diversos roles, ya sea como beneficiarios directos, indirectos, técnicos u organismos responsables22. Por lo que podemos sostener que es una evaluación que pretende identificar los efectos del Programa desde la perspectiva de los propios intervinientes, y a partir de allí analizar el proceso de implementación. Al respecto cabe realizar una aclaración, el análisis que se realiza en éste tipo de evaluaciones, que incorporan las percepciones del programa de los diversos actores involucrados en el mismo está vinculado con el objeto de conocer el efecto del programa, como señalan Meny y Thoenig “el efecto puede ser comprensible concreta y materialmente, pero también de forma simbólica y abstracta (...) los efectos se refieren a las opiniones y a las percepciones de la gente (...) puede tratarse de la satisfacción que experimentan, o no, los usuarios o los beneficiarios de una intervención”(1992: 197). Sin embargo la evaluación social del BM no es una evaluación pluralista como la define Guerrero Amparán (1995) puesto que ésta no requiere sólo de los distintos puntos de vista de los interesados, es necesario una interpretación múltiple, dinámica y consensual de los efectos, para ello es necesario que sea un proceso colectivo del analista junto con los actores23.

Una vez descriptas brevemente las diversas las evaluaciones, la intención es considerar rol de éstos actores en el proceso mismo. Como se observó la fase evaluación en el Programa Trabajar, no constituyó un proceso integrado y continuo en el cual participaron los diversos actores, al margen de las diversas temporalidades que realizaron evaluaciones sobre el Programa, cada actor las realizó por separado y con diversos objetivos. 22

La misma fue realizada por sociólogos mediante entrevistas a grupos focales para los cuatro tipo de actores que intervinieron en el Programa (organismos responsables gubernamentales, ONGs, beneficiarios directos e indirectos), asimismo se realizaron entrevistas semiestructuradas a los miembros de la oficina central del Programa y a los responsables técnicos de las gerencias provinciales. 23 Por otro lado, tampoco es una evaluación plural como la conceptualiza Subirats puesto que, al igual que en el caso anterior, no es suficiente con incorporar la perspectiva de los beneficiarios y los actores interesados, se deben construir criterios de evaluación comunes con el fin de fomentar consenso mediante un proceso social de aprendizaje a través del cual es posible resolver en conjunto los problemas que afrontan las políticas públicas. (1995:10). 12

La evaluaciones internas pueden considerase como un monitoreo de la gestión e implementación del programa tanto las que realizaron los ejecutores como los responsables del Programa. La evaluación del SIEMPRO se realizó cuando el programa no poseía financiamiento externo y efectuó sólo una al Trabajar y como se destacó se centró en analizar el proceso y los aspectos de su implementación. A modo de hipótesis se podría considerar que al realizar el BM las evaluaciones centró su atención en otros programas sociales, pero también que la evaluación que realizó el SIEMPRO fue requerida por el BM para conocer el estado de la cuestión, puesto que sus recomendaciones fueron incorporadas en la segunda versión del Trabajar. A partir de la implementación del Trabajar II, observamos que el BM juega un papel central en el proceso de evaluación, los demás actores (tanto los beneficiarios, organismos participantes en las distintas etapas del programa, como los encargados de implementarlo) aparecen en ésta fase como informantes. Los datos de la Unidad Ejecutora Central, encargada procesar y elaborar de los indicadores de monitoreo, fueron utilizados en las evaluaciones que realizó el BM. Por otro lado, dicho organismo relevó otros datos, que no surgen de tales indicadores. El proceso de evaluación que realizó el BM fue diseñado por técnicos del organismo, e implementado conjuntamente con el equipo del proyecto de Argentina y del Banco, y se coordinó con el INDEC, el Ministerio de Trabajo y el departamento de políticas del Ministerio de Desarrollo Social. Esto nos confirma que el actor relevante en este proceso es el organismo co-financiador del programa, a pesar de la participación de otros actores. ¿Por qué es el actor relevante? ¿con qué recursos contó? 24 En primer lugar, el proceso de evaluación se inició durante la preparación del Trabajar II, que respecto a la primera versión posee modificaciones tendientes a mejorar la orientación de los proyectos hacia los grupos beneficiarios directos, por medio de una mayor influencia en el sistema de asignación presupuestaria del Gobierno Central de los indicadores de pobreza y desempeño provincial y una mayor atención en la evaluación de en la aprobación de los proyectos de infraestructura ponderando más altos los provenientes de áreas pobres (en el Trabajar I no se explicitaba ninguna metodología sobre la distribución). Por otro lado, se incorporan análisis de viabilidad (técnico, financiero, institucional, socioeconómica y ambiental) de los proyectos, entre otras modificaciones. Las reformas se realizaron para cumplir con los requisitos planteados por el BM, a pesar también se incorporaron las recomendaciones que realizó el SIEMPRO. Esto demuestra la

13

capacidad de negociación en las instancias de formulación y gestión del programa, por medio de la cual puede modificar el diseño del Programa de acuerdo a sus intereses25. Específicamente respecto a la evaluación, al margen de lo ya señalado, el BM es quién la diseñó, estableció los objetivos, determinó qué dimensiones evaluar y la metodología. Asimismo coordinó a los colaboradores internos, contrató expertos y la financió. Situación que a partir del recurso económico y el peso político puede definir qué evaluar y cómo. Sin embargo ello no impide que otros actores realicen sus propias evaluaciones con otros objetivos e intereses. O bien que en el proceso de formulación y de diseño de la evaluación participen los demás actores involucrados en el Programa, los decisores políticos, los responsables máximos, los ejecutores, los miembros de las organizaciones intervinientes y por último, y no por ello menos importante la población beneficiaria. En segundo lugar, la posibilidad de acceder a la información durante el proceso de evaluación, es decir, la colaboración de las distintos participantes del programa, más la realizada por ellos mismos, fue la que les permitió realizar las diversas evaluaciones que componen el análisis de impacto. Este recurso que se cristaliza en la capacidad de descifrar el contexto, que le permite lograr definir un diagnóstico, el problema y la solución. La orientación en la definición de qué evaluar está vinculada con el concepto del problema y el interés del BM. Éste organismo se pregunta por el impacto del Programa en relación a los ingresos de los participantes, a la focalización (para evitar desviaciones) y a los proyectos de infraestructura, y por los problemas de la implementación y se asignación de recursos, por lo tanto se puede inferir que su interés está en el destino y la utilización de sus préstamos y es esos términos es entendida la eficiencia, por un lado. Por otro lado el Programa Trabajar, se presenta como un programa de empleo transitorio, donde el objetivo es “brindar ocupación transitoria a desocupados en condiciones de pobreza, reduciendo el impacto de la caída del nivel de ingreso de los hogares pobres por la pérdida de empleo y mejorando la empleabilidad de dichos trabajadores.” (Res. S.E.y C.L. n° 240/97), para de esa manera disminuir la pobreza mediante la simultánea generación de oportunidades de empleo y de mejoramiento de la infraestructura social en las comunidades en condiciones de pobreza. 24

Para el análisis de los recursos de los actores nos basamos en lo propuesto por Acuña y Repetto (2001). De acuerdo con Hintze (2000) los programas con financiamiento externo, cumpliendo con las etapas del “ciclo proyecto”, pasan por evaluaciones ex –ante destinadas a establecer la factibilidad de proyecto y en la formulación incluyen sistemas de evaluación y monitoreo.

25

14

La evaluación del BM se pregunta por las ganancias netas en ingreso de los participantes, y pone el acento en la focalización, lo por tanto la problemática de la pobreza es entendida sólo como una disminución del ingreso. Esto de acuerdo con Lo Vuolo et. al. está vinculado con el concepto de pobreza del BM, que lo entiende “no como un problema de redistribución de recursos sino principalmente uno de mejor utilización de recursos productivos (..) la salida que se ve para la pobreza es la fundamentalmente por la utilización de fuerzas productivas de los propios pobres (...) se trata de un problema de elecciones racionales entre actividades”(1999: 112). Por ello uno de los criterios que utilizó el BM es el costo oportunidad de participar en el Programa en relación al ingreso sacrificado (el ingreso de los que no participan en el mismo) y en base a ello se centran las características de los beneficiarios y su distinta clasificación y la percepción que poseen de la política que los tiene como destinatarios. Al seleccionar solamente éste impacto (las transferencias netas de ingresos), se dejan de lado los demás contenidos en los objetivos del Programa, como por ejemplo la mejora de la empleabilidad de los beneficiarios26. Considerar sólo un aspecto de los resultados del Programa, reduce el objetivo del mismo. En tercer lugar la capacidad de representación, podemos entenderla para éste actor, en ésta fase, al rol de los expertos y los consultores encargados de las evaluaciones, en un sentido particular, puesto que al presentarse como miembros del BM, están representando y cumpliendo la función que éste organismo les encomienda, por lo cual la actitud de los consultados, es brindar la información, puesto que están los que demandan los datos están aparados por el Banco y lo representan. A pesar que no poseen un respaldo legal que ampare su accionar (si fuera un actor estatal), ni liderazgo para expresar con legitimidad a su base (si fuera un actor social), al ser un actor que financia la mayor parte del programa, es considerada legítima su preocupación por la implementación del programa, por lo tanto sus miembros, representan esa inquietud. Por otro lado el BM se presenta ejerciendo el rol tradicional del evaluador, como depositario de saberes técnicos y responsable del rigor científico. El rol del experto se observa en los diversos estudios que elaboraron modelos teóricos, los instrumentos de recolección de información aisladamente. Asimismo sus conclusiones se presentan como 26

Sin lugar a dudas medir tal aspecto del objetivo del Programa es dificultoso y requiere de un estudio ex post más avanzado en el tiempo y la posibilidad de conformar grupos de participantes del Programa y de observarlos después de que hayan participado del mismo con el fin de determinar si aumentó o no su “empleabilidad”. No obstante ello los recursos económicos y técnicos que mostró tener el BM en las estudios analizados, tal complicación no parece ser un problema, siempre y cuando el BM tuviera interés en ello. 15

deducciones de la racionalidad de las técnicas empleadas, descontextualizadas de la realidad en que se desarrolló el Programa y neutralmente valorativas. Respecto a los demás parámetros que hace que determinados actores se constituyan en relevantes en un proceso de una política pública27, el BM no los posee sin embargo ello no constituye un impedimento ni una limitación, puesto que en ésta fase no son determinantes para éste actor. En síntesis, durante el proceso de evaluación del Trabajar el BM demostró interés en conocer los resultados de la acción y de los fondos prestados. Respecto a los demás actores, vemos que durante esta etapa participan en función de tal demanda, tanto los beneficiarios al participar en la evaluación social, como los responsables de la gestión en cooperar con la evaluación. Nos preguntamos qué consecuencias trae aparejado que el BM sea el actor determinante en ésta fase del Programa Trabajar? ¿qué sucede con los demás actores? ¿cuál es el interés en la evaluación? ¿qué recursos (y o capacidades) e intereses poseen para participar en la misma? En primer lugar que el BM sea el actor relevante en la fase evaluación, significa que las evaluaciones estarán orientadas a satisfacer los intereses de tal organismo. Pero tales intereses ¿son los mismos que los que poseen los demás actores? Sin lugar a dudas no, por ejemplo el Estado, que a pesar sea un actor que también financia del Programa y que puede compartir la preocupación por el uso eficiente de los recursos con el BM, su interés está (o debería) enfocado, también, hacia el éxito o no de tal modalidad de intervención. Lo que conduce a indagaciones sobre el impacto de la política de acuerdo al objetivo de la misma, en el sentido si se logró o no subsanar el problema que dio origen a la política pública, al margen de que también tenga otros intereses respecto a las diversas dimensiones de la política pública. Hemos señalado que evaluar una política significa efectuar un juicio de valor sobre la misma, por ello que tal juicio sea determinado, o exclusivamente definido, por el BM, afecta, en primer lugar la representatividad de los demás actores intervinientes en todo el ciclo de la política pública.

Ahora bien cabe indagar sobre la ausencia de los demás actores en ésta fase. ¿A qué se debe? La respuesta a tal pregunta, nos conduce a analizar varios aspectos. En primer lugar nos preguntamos ¿los demás actores no son relevantes en ésta etapa porque no 27

Nos referimos a los demás recursos que señalan Acuña y Repetto (2001) la capacidad de movilización social y de acción colectiva. 16

poseen los recursos necesarios, lo que impide constituirse como tales, o porque no poseen un interés en participar en la misma y sí en otras etapas de la política? Lo que nos lleva a analizar qué valor le asignan a la evaluación para que consideren importante participar en dicho proceso, y cuál es lugar que ocupa la evaluación al momento de definir y rediseñar las políticas públicas. Por otro lado también nos lleva a preguntarnos a cómo generar el marco institucional para lograr que el proceso de evaluación sea más democrático y pluralista, en el sentido que estén representados todos los actores. Para comenzar a delinear algunas posibles respuestas a tales preguntas nos alejaremos del caso presentado, considerando que el análisis de la fase de una política pública, intentó dar cuenta de qué actores y en base a qué recursos participaron en tal “micro proceso” (es decir en la evaluación, del “macro proceso” del ciclo completo del Programa Trabajar). Pero tal “micro proceso” en el que interactúan ciertos actores nos permite realizar otro corte analítico. Nos referimos a la fase evaluación en sí misma, a su aspecto institucional, es decir a la estructura de incentivos que moldean el comportamiento de los actores en ésta fase. Por ello podemos analizar a la evaluación no sólo en esa política pública, sino delinear algunas conclusiones sobre las reglas de juego y la estructura de incentivos y restricciones en esa fase. Para tal propósito nos centraremos en el análisis de la política del Estado frente a la evaluación, considerando la capacidad diferencial de actuación del Estado frente a otros actores, al momento definir y coordinar cómo, con qué objetivos y quiénes participan al momento de evaluar las políticas públicas.

Algunas líneas sobre la evaluación de políticas como una política pública Para analizar los actores relevantes en el Programa Trabajar se consideró a la evaluación como una fase del ciclo de una política pública, sin embargo desde otra perspectiva, la función de la evaluación de políticas públicas puede ser, también, entendida como una política estatal en sí misma y con una finalidad precisa. Este segundo enfoque incluye y engloba en su análisis todos los ciclos de evaluación de las diversas políticas, por lo tanto a las observaciones ya señaladas. Ello no implica necesariamente que un organismo estatal lleve adelante las tareas de evaluación, éstas pueden ser delegadas a instancias no gubernamentales, pero sí indica una decisión estatal frente a la temática. En otras palabras, las consideraciones que se van a realizar se refieren a los sistemas de evaluación de las políticas públicas. Los sistemas de evaluación constituyen estructuras institucionales de evaluación de las acciones e intervenciones del Estado y de 17

los respectivos aparatos administrativos estatales (Guerrero Amparán, 1995) que requieren la definición de “políticas de evaluación”. Ospina propone una división analítica de los distintos niveles de evaluación, que en su conjunto conformarían un sistema de evaluación estatal. De acuerdo con el planteo de la autora en nivel más micro se desarrolla la evaluación de desempeño de los empleados que compete al área de gestión de recursos humanos y el nivel intermedio (nivel meso) corresponde a la evaluación de las organizaciones públicas encargadas de proveer servicios públicos e implementar políticas públicas. A un nivel más macro se encuentra la evaluación de programas que cruzan varias organizaciones, y en un cuarto nivel la evaluación del desempeño del gobierno, como un conjunto de instituciones que implementan políticas que se han gestado democráticamente y por lo tanto representan un pacto con los ciudadanos (2001: 104). Cada uno de los niveles requiere mediciones y evaluaciones de distinto tipo, pero para que integren un sistema deben estar interconectados y articulados. No nos centraremos en todos los niveles de evaluación, sino solamente en el que se refiere a la evaluación de las políticas sociales, que de acuerdo con la división propuesta por Ospina corresponden principalmente a los últimos tres niveles28. En cuanto a la evaluación de políticas sociales, en los últimos años, se han desarrollado diversas instancias de evaluación al momento de formular las políticas sociales29 y se introdujeron mecanismos de seguimiento y monitoreo que se implementan desde los ámbitos de gestión y de responsabilidad de cada una de ellas, sin embargo tales instancias se encuentran descentralizadas y desarticuladas entre sí. Por tal motivo nos centramos en el organismo del Estado nacional que realiza evaluaciones de los programas sociales, el SIEMPRO30. Respecto al SIEMPRO queremos destacar sólo algunos aspectos respecto a qué programas se evalúan, cómo y quiénes llevan adelante el proceso (y qué sucede con las evaluaciones)31. Por lo tanto no se analizan los avances ni las debilidades del organismo en 28

A pesar de ello no hacemos referencia, específicamente, a las evaluaciones organizaciones o institucionales sino a las políticas públicas que éstas implementan. Aunque ambas dimensiones están conectadas y son interdependientes. 29 A modo de ejemplo la definición del Marco Lógico del BID. (BID, 1997) 30 También en el Plan de Modernización del Estado posee como objetivo la mejora de la gestión pública por medio del seguimiento y la evaluación de las políticas públicas. Sin embargo debido al poco desarrollo y avance en las áreas sociales, no nos centraremos en su análisis. 31 Las consideraciones que se efectúan sobre el SIEMPRO, no forman parte de un trabajo de investigación en profundidad sobre el organismo, sino que se basa en un conjunto de reflexiones a partir de la lectura de cierta bibliografía. Por ello son breves y se refieren sólo a los aspectos señalados y se realizan con el fin de 18

materia de evaluación de programas sociales, que exceda la recopilación y sistematización de la información del gasto social y su grado de focalización, ni el rol de ese organismo en el ámbito estatal, tanto intersectorial como interjurisdiccionalemente32. Si se analiza qué programas fueron evaluados, desde la implementación del SIEMPRO hasta la actualidad, se observa que la mayoría posee financiamiento de organismos multilaterales de crédito33. ¿A qué se debe esto? Según Neirotti (2000) porque se actúa en respuesta a condiciones impuestas por dichos organismos para la obtención de crédito, incorporando la “racionalidad” desde afuera. Por ello el autor señala que no están claras las prioridades entre las áreas a evaluar ni cómo se eligen los programas sujetos a la evaluación, sino que se han llevado a cabo según la demanda de los programas o de los organismos financiadores (Neirotti, 2001). Repetto en el mismo sentido, destaca que el número de estudios realizados es muy bajo y que los mismos se efectúan con el objetivo de cumplir con los planes de acción acordados con las instancias financiadoras o para mejorar el desempeño de un programa en cuestión (2002: 195). Situación que evidencia la influencia de organismos internacionales en la decisión de armar instrumentos y llevar adelante procesos de evaluación. Para evaluar los programas el SIEMPRO utiliza diversas metodologías, con el fin de abarcar todas las fases de la gestión, la formulación, ejecución y resultados alcanzados: la evaluación ex ante, las líneas de base, evaluaciones diagnósticas, evaluaciones desde la perspectiva de los beneficiados, evaluación final de resultados, evaluaciones ex post o impacto, opiniones evaluativas a programas específicos y de tipo transversal y evaluaciones del gasto social. Las evaluaciones realizadas han sido externas (Hintze 2001), es decir fueron diseñadas y llevadas a cabo por firmas consultoras u organismos internacionales34. La introducción de las consultorías para realizar las evaluaciones y la externalidad de su demanda para Martínez Nogueira (2001) implica una reducción de la capacidad analítica del Estado, puesto que la demanda de conocimiento y de servicios son provistos por grupos técnicos ajenos a la administración.

ejemplificar el “estado” de la evaluación de las políticas sociales y la política, en este caso, del Estado nacional frente la temática, lo que no implica que la situación sea diversa en otros ámbitos estatales. 32 Tal análisis excede los límites del trabajo, pero sin lugar a dudas constituye una tarea a realizar para comprender el “estado” de la evaluación de las políticas sociales. 33 A modo de ejemplo: el Programa de Atención a Niños y Adolescentes en Riesgo (PROAME), el Programa de Atención a Grupos Vulnerables (PAGV) y el Programa Fondo Participativo de Inversión Social (FOPAR). 34 Como por ejemplo el BM, la Cepal, la OPS, CEPA- CEI, IBOPE y varios consultores evaluadores externos. Ver siempro.gov.ar 19

La práctica de la evaluación llevada a cabo por el SIEMPRO ha introducido algunas modificaciones en los programas sin embargo estas son aisladas y no constituyen todavía un aporte para el mejoramiento del diseño y la gestión de los mismos (Neirotti, 2000) 35. Por otro lado a nivel de la orientación de las políticas los aportes provienen de la sistematización de la información social36 (que no es una contribución menor) pero no de los resultados de las evaluaciones. Esta breve descripción y las conclusiones que podemos sacar de ella concuerdan con las efectuadas respecto a la evaluación del Trabajar. Se observa una ausencia, a pesar del énfasis en el monitoreo y en el control financiero y de focalización del gasto social y de la respuesta en función a las demandas externas, de un interés real por parte del Estado en la evaluación de las políticas públicas. Esto es un interés en evaluar las diversas las prácticas de gestión e implementación y de los impactos de las políticas sociales. Esta ausencia se encuentra tanto en el rol de coordinación de las evaluaciones, en la selección de los programas como en la definición del alcance y enfoque de las mismas, lo que nos permite suponer el relativo empleo de las evaluaciones como insumo para la toma de decisiones. Asimismo se puede vislumbrar la nula incidencia de los destinatarios de las políticas en el proceso evaluativo y la presencia de los organismos internacionales de crédito en la temática y respecto a qué programas evaluar. Por otro lado, un rasgo a destacar es la externalidad de la evaluación y la relativa cantidad de evaluaciones realizadas respecto a los programas sociales existentes.

Democratizar y pluralizar la evaluación Frente a la situación descripta destacamos el estado embrionario de la evaluación como práctica regular y sistemática, y en los casos que se realizaron sus resultados no alimentan debates en torno a problemas o a las iniciativas para superarlos, los ámbitos que deberían dar sentido a los trabajos a través de lecturas transversales no existe. De acuerdo con ello, en la práctica, no existen aún acuerdos generalizados y de implicancia práctica

35

Según Nerotti (2000) no se desarrolló una instancia de intercambio y difusión de las experiencias evaluativas para el aprendizaje colectivo de la práctica de la evaluación y la discusión de estrategias para llevarla a cabo. 36 En siempro.gov.ar se encuentran diversos informes sobre el gasto social, informes integrales de algunas provincias, informes sobre la situación social y pobreza, información estadística y las guías de los programas sociales nacionales. 20

sobre el valor que generan buenas evaluaciones (incluyendo monitoreos) en las decisiones y acciones estatales (Repetto, 2003), puesto que el sistema político no se orienta por ellas. Como consecuencia de ello las evaluaciones no aportan contribuciones significativas a la construcción de sentido de las políticas, a la memoria institucional y al aprendizaje social. Sirven, a lo sumo, para introducir cambios incrementales, pero no para producir modificaciones de “segundo orden” como serían la adopción de enfoques alternativos o del cuestionamiento a las conceptualizaciones que responden las políticas sociales (Martínez Nogueira, 2001). Es decir, no constituyen medios eficientes para alimentar un aprendizaje social y político que conduzca a la redefinición de problemas o a la adopción de nuevos marcos interpretativos mediante la reconstrucción de los procesos sociales, la identificación de las lógicas operantes y las estrategias de los diversos actores. La evaluación de políticas sociales está atravesada por decisiones políticas en términos de definición de prioridades sociales, distribución de recursos y, en última instancia, de poder. Por ello las reflexiones producto de la evaluación respecto a la importancia de un programa, su significado, el de sus logros y la efectividad alcanzada reflejan un proceso de toma de decisiones y establecimiento de prioridades (Nirenberg et al, 2000: 97) Asimismo los juicios valorativos sobre esas dimensiones se relaciona con los intereses de los actores que realizan la evaluación. Por ello apelamos no sólo a la construcción de un proceso sistemático de evaluación sino también a que éste sea un proceso abierto y participativo, en el cual puedan estar representados los intereses, valores, necesidades y demandas de todos los actores intervinientes, ya sea los que toman las decisiones, los que financian las políticas, los que las implementas como, y fundamentalmente, los destinatarios de las mismas. De acuerdo con ello crecemos necesario que se deben generar ciertas precondiciones para que efectivamente pueda avanzarse en un doble proceso de mejorar y democratizar el proceso evaluativo de las acciones gubernamentales. Mejorar en el sentido de extender la práctica evaluativa en todos los niveles e instancias y que las mismas formen parte de un sistema evaluativo, y por democratizar apelamos a políticas participativas en el proceso de evaluación. En primer lugar es necesario que el Estado37 se “apropie” de la evaluación, en el sentido que comience a demandarla y a orientar sus decisiones en torno a los resultados de 37

Sostuvimos al inicio del trabajo que el Estado no se presenta como un actor único, sino que en su interior existen actores con intereses contrapuestos y tales divisiones internas dentro del aparato estatal también 21

las mismas. Considerando que la evaluación es una herramienta para reformar políticas y un mecanismo de transformación y mejoramiento de los programas sociales, que no es un fin en sí misma ni un mero instrumento de control sino de aprendizaje, y que requiere ser institucionalizada a través de una cultura de la evaluación (Hintze: 2001) En pocas palabras que el Estado demuestre un interés real y no aparente en evaluar las políticas sociales, lo que lo constituiría como un actor relevante en el proceso evaluativo. Esto implica que a partir de tal decisión política, el Estado desarrolle la capacidad política necesaria para fijar objetivos, movilizar recursos y llevar adelante acciones y capacidad organizacional y de gestión para definir y articular distintos los roles y las funciones de los diversos actores involucrados y coordinar los diversos procesos evaluativos. En segundo término nos podemos plantear cómo hacer para superar las deficiencias y la ausencia de ciertos actores en esta fase, lo que nos lleva a considerar el entramado institucional en el cual las normas, prácticas y las interrelaciones entre los diversos actores involucrados en la evaluación promueven debilidad y prácticas “hegemónicas” en la evaluación. Y aquí, se pueden considerar dos posibles caminos. Uno es que el Estado utilice los recursos con los que cuenta, por esto nos referimos al recurso que le es propio: la capacidad de autoridad, es decir la posibilidad de ejercer el poder público en función de que en última instancia las políticas son fijadas e implementadas por el Estado. Lo que sin duda requiere que se dé lo que señalamos más arriba como primera condición. Con el recurso de autoridad el Estado podría generar nuevas reglas de juego e interrelaciones entre los diversos actores y, lo que consideramos más importante, generar y articular los mecanismos y canales de representación de los diversos actores intervinientes en el proceso evaluativo, sobre todo de los actores que no se constituyen como tales en ésta fase. Otro camino sería, en el caso que los resultados de las evaluaciones se conviertan en decisivos al momento de definir la continuidad o la transformación de una política, que los actores hasta el momento ausentes en ésta etapa, evalúen la trascendencia de participar en dicho proceso, por lo que podrían movilizar recursos que utilizan en otras etapas de las políticas públicas, como por ejemplo la capacidad de movilización social y de acción

establecen relaciones con los diversos actores sociales, en función de sus intereses. No obstante ello cuando hacemos referencia, en esta parte del análisis, al Estado, queremos expresar la necesidad (o el deseo) que el resultado de dichas disputas se orienten hacia la una concepción que valore la evaluación de las políticas sociales. 22

colectiva, con el fin de “presionar” para participar del proceso. Sin embargo éste camino, no soluciona el problema de los actores más débiles. En tercer lugar, sin entrar en la discusión sobre qué metodologías y técnicas de evaluación utilizar para realizar evaluaciones plurales y participativas38, que desarrollan visiones conjuntas entre los diversos actores internos con de los evaluadores externos, es necesario asimismo que dadas esas precondiciones se recuerde que evaluar implica estimar, calcular, apreciar el valor de una cosa (Lo Vuolo et al, 1999: 73) lo que conduce a indagar sobre los valores y las cualidades de una política social que la hacen valiosa, es decir permitir la discusión abierta y plural, para construir consensos sobre el valor de los objetivos que persigue una política social en relación al sistema social y político.

38

Hintze (2001), Nirenberg et al (2000) como Sulbrant (1994), sólo por citar algunos autores, desarrollaron “modelos” de evaluación participativos. 23

Algunas reflexiones finales: Durante el transcurso del trabajo se intentó, a partir de un enfoque centrado en los actores, analizar quiénes son los actores relevantes en el proceso evaluativo en una política social, el Programa Trabajar, y en una instancia de institucionalización de la evaluación del Estado nacional como el SIEMPRO. A partir de ello se observó el modo en que se presenta la relación entre los principales actores, lo que señaló la poca o nula capacidad de influir en el proceso evaluativo, y por lo tanto en el modo en que se evalúa y aprecia una intervención estatal, ya sea en su proceso de diseño, ejecución como interpretación de los resultados, de los diversos actores estatales y de los beneficiarios de las políticas. Por lo cual señalamos la necesidad de modificar del actual entramado de reglas formales e informales actualmente resultante, e hipotetizamos algunos caminos posibles para lograr y superar la externalidad de la evaluación y las evaluaciones esporádicas que excedan el monitoreo de la gestión, y sobre todo para que en ella estén representados todos los actores intervinientes. En otras palabras que mejoren la organización y representación entre los de agentes estatales (ya sea políticos, expertos y administradores de los distintos niveles) y los diversos sectores que componen la sociedad, en especial aquellos con menores recursos de organización y voz para expresar sus necesidades y valores. La reflexión sobre los diversos caminos o precondiciones necesarias para lograr una evaluación plural y democrática no está cerrada y ello requiere la realización de estudios más profundos que se orienten en esa relación. Sin embargo creemos importante señalar a modo de comentarios finales que la evaluación de las políticas públicas, y de las sociales, es una necesidad democrática, que no sólo se basa en el conocimiento de la ciudadanía de los resultados de los programas y en control de las acciones gubernamentales sino que también implica su incorporación e interacción al momento de evaluar, lo que enriquece el debate social y político y viabiliza la participación y la democratización las intervenciones sociales. Por otro lado constituye un insumo que el Estado no debe menospreciar si su objetivo es no sólo mejorar su desempeño administrativo sino un fortalecimiento en cuanto a mejorar el impacto y la eficiencia de las políticas públicas y sociales, lo que implica una constante evaluación del alcance de las políticas, para poder tomar decisiones orientadas a reducir la injusticia social y a promover el desarrollo económico, en base a la información provistas por las evaluaciones.

24

Porque si el objetivo es lograr un Estado mejor (no solamente más chico) es necesario fortalecer las instituciones y las políticas públicas que redefinan la actual distribución del ingreso y de poder social. Ello conlleva a preguntarse y discutir los objetivos de las políticas públicas entre todos los sectores y actores sociales involucrados, pero sobretodo con la incorporación de los grupos más alejados del poder, por medio de creación de canales de participación efectiva que reduzca las desigualdades, lo que implica una nueva forma de entender la relación entre el Estado y la sociedad civil.

25

BIBLIOGRAFÍA: ACUÑA, Carlos y REPETTO, Fabián. (2001) “Marco de análisis de las políticas sociales”, Mimeo, Buenos Aires. AGUILAR VILLANUEVA, Luis F. (1993) “Estudio Introductorio” en Aguilar Villanueva (comp.) Problemas Públicos y Agenda de Gobierno, Miguel Porrua, México. Banco Interamericano de Desarrollo. (1997) Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos, Oficina de Evaluación (EVO), Washington, D.C. Banco Mundial (s/f) “Evaluación de los beneficios del trabajo subvencionado: Programa Trabajar de Argentina”, Washington, D.C, www.worldbank.or BAKER, Judy (s/f) “Anexo 1.1 Evaluación de los beneficios de los programas de trabajo públicos con salario mínimo para los pobres: El programa TRABAJAR de Argentina”, en Evaluación del impacto de los proyectos de desarrollo en la pobreza, Banco Mundial, Washington, D.C, www.worldbank.org COHEN, Ernesto y FRANCO, Rolando (1992) Evaluación de Proyectos Sociales, Siglo Veintiuno Editores, México. COHEN, Ernesto; TAPIA, Leonel; NAVARRETE, Cecilia; GIL, Carlos; FANTA, Gloria. (2001) Los desafíos de la reforma del Estado en los programas sociales; tres estudios de casos, Serie Políticas Sociales Nº 45, Enero, CEPAL, Santiago de Chile. ESTEBANEZ, María Elina y FELIU, Patricia (1998) “Programa Trabajar II. Evaluación Social. Informe Final”, Buenos Aires, www.wordbank.org FOX, Jonathan (1994) “Capítulo 2: State-Society Internacional and Distributive Reform in México”, en The Politics of Food in México, Cornell University Press, Ithaca and London. GUERRERO AMPARAN, Juan Pablo (1995) “La evaluación de las políticas públicas: enfoques teóricos y realidades en nueve países desarrollados”, en Gestión y Política Pública, Vol. IV, Nº1, Primer Semestre, México. HINTZE, Susana (2001) “Reflexiones sobre el conflicto y la participación en la evaluación de políticas sociales”, ponencia presentada en el VI Congreso Internacional del CLAD, Buenos Aires. JALAN, Jyotsna y RAVALLION, Martin (1999) “Income Gains to the Poor form Workfare: Estimates for Argentina’s Trabajar Program”, Banco Mundial, Washington DC, www.worldbank.org LO VUOLO, Rubén, BARBEITO, Alberto, PAUTASSI, Laura y RODRÍGUEZ, Corina (1999), La Pobreza...de la política contra la pobreza, Miño y Dávila Editores, CIEPP, Buenos Aires. MARTINEZ NOGUEIRA, Roberto (2001) “Historia, aprendizaje y gestión pública: las políticas dirigidas a la pobreza en el Estado remanente”, trabajo presentado en el Seminario “Historia y políticas sociales”, Universidad Nacional de General San Martín. Ministerio de Trabajo y Seguridad Social (2000a) “Resultados del Diagnóstico de Base: Población Beneficiaria del Programa Trabajar en Resistencia, Mendoza y Tucumán”, mimeo, Buenos Aires. Ministerio de Trabajo y Seguridad Social (2000b) “Segundo informe: Programa Trabajar”mimeo, Buenos Aires.

26

MENY, Yves y THOENIG, Jean-Claude (1992) “Cap. VII: La evaluación”, en Las políticas públicas, Ariel, Barcelona. NIRENBERG, Olga; BRAWERMAN, Josette y RUIZ, Violeta (2000) Evaluar para la transformación, Paidós, Buenos Aires. NIRENBERG, Olga (2001) “Nuevos enfoques en la evaluación de proyectos y programas sociales”, ponencia presentada en el VI Congreso del CLAD, Buenos Aires NEIROTTI, Nerio (2000) “Reflexiones sobre la práctica de la evaluación de programas sociales en Argentina (1995-1999)”, ponencia presentada en el V Congreso del CLAD, Santo Domingo. NEIROTTI, Nerio (2001) “La función de evaluación de programas sociales en Chile, Brasil y Argentina”, ponencia presentada en el VI Congreso del CLAD, Buenos Aires. OSPINA, Sonia (2001) “Evaluación de la gestión pública: conceptos y aplicaciones en el caso latinoamericano”, en Revista Reforma y Democracia del CLAD Nº 9, Febrero, Caracas. OSZLAK, Oscar y O’DONNELL, Guillermo (1984) “Estado y políticas estatales en América Latina: Hacia una estrategia de investigación”, en Kliksberg, Bernardo y Subirandt, José (comp.) Para investigar la Administración Pública, INAP, Madrid. OSZLAK, Oscar (2001) “Estado y Sociedad: ¿nuevas reglas de juego?” En Revista Reforma y Democracia del CLAD Nº 9, Febrero, Caracas. RAVALLION, Martin (1999) “Monitoring Targeting Performance when Decentralized Allocations to the Poor are Unobserved”, Banco Mundial, Washington DC, www.worldbank.org REPETTO, Fabián (2001) “Notas sobre los aspectos político-institucionales que impiden la construcción de la autoridad social en el caso argentino”, ponencia presentada en el VI Congreso del CLAD, Buenos Aires. REPETTO, Fabián (2002) Gestión pública y desarrollo social en los noventa. Las trayectorias de Argentina y Chile, Prometeo Libros, Buenos Aires. REPETTO, Fabián (2003) “Capacidad institucional: un camino para enfrentar los desafíos de la política social” www.top.org.ar SIEMPRO (1997) “Evaluación Diagnóstica del Programa Trabajar I”, www.siempro.gov.ar SUBIRATS, Joan (1995) “Los instrumentos de las políticas, el debate público y el proceso de evaluación”, en Gestión y Política Pública, Vol IV, Nº1, Primer Semestre, México. SULBRANDT, José (1994) “La evaluación de los programas sociales. Una perspectiva crítica de los modelos usuales”, en Kliksberg, Bernardo (comp.) Pobreza. Un tema impostergable, CLAD/PNUD, Caracas. TAMAYO SÁEZ, Manuel (1997) “El análisis de las políticas públicas”, en Bañon, Rafael y Castillo, Ernesto (comps.) La nueva Administración Pública, Alianza Universidad, Madrid. Resoluciones del Ministerio de Trabajo y Seguridad Social: N° 240/97 y N° 327/98. Resolución de la Secretaría de Empleo y Capacitación Laboral: N° 202/97 y N° 397/98.

27