MINISTERIO DE ECONOMIA Y FINANZAS VICEMINISTERIO DE ECONOMÍA DIRECCION DE PROGRAMACIÓN DE INVERSIONES

LINEAMIENTOS METODOLÓGICOS PARA IMPULSAR EL SEGUIMIENTO, EL MONITOREO Y LA EVALUACIÓN DE LOS PROYECTOS DE INVERSIÓN PÚBLICA Documento 120 Versión 1

Octubre 2008

Versión 1

Fecha de emisión: Página 2 de 16 de octubre de Documento 120 45 2008

Contenido 1. INTRODUCCIÓN ................................................................................................................ 1 2. LA NECESIDAD DE UNA GESTIÓN PÍBLICA ORIENTADA A RESULTADOS ................................................................................................................... 4 3. ALGUNOS ASPECTOS CONCEPTUALES DE LA GESTIÓN POR RESULTADOS ................................................................................................................... 7 4. SEGUIMIENTO, MONITOREO Y EVALUACIÓN ....................................................... 9 4.1. Seguimiento ..................................................................................................................... 9 4.2. Monitoreo....................................................................................................................... 11 4.3. Evaluación ..................................................................................................................... 12 4.4. Relación entre Seguimiento, Monitoreo y Evaluación .................................................. 13 4.5. Un Sistema de Seguimiento, Monitoreo y Evaluación .................................................. 13 5. EL SEGUIMIENTO Y LA EVALUACIÓN DE LOS PROYECTOS ........................... 15 5.1. La evaluación como disciplina ...................................................................................... 16 5.2. Tipos de evaluaciones.................................................................................................... 16 5.3. La inversión en la evaluación a lo largo del ciclo del proyecto..................................... 17 5.4. Características de un buen proceso de evaluación......................................................... 18 5.5. La evaluación y la preparación de proyectos................................................................. 19 5.6. La Matriz de Marco Lógico ........................................................................................... 21 5.7. Evaluación y aprobación de proyectos – “Evaluabilidad”............................................. 24 5.8. La evaluación y la ejecución de proyectos .................................................................... 26 5.9. Pasos requeridos para el monitoreo exitoso de un proyecto .......................................... 27 5.10. Marco de trabajo para las evaluaciones operativas y expost ....................................... 30 5.11. Marco de evaluación del impacto ................................................................................ 34 6. DESARROLLO DE LA CAPACIDAD DE EVALUACIÓN ......................................... 34 7. RECOMENDACIONES ESENCIALES .......................................................................... 35 7.1. Situación actual.............................................................................................................. 35 7.2. Recomendaciones .......................................................................................................... 37

2

Versión 1

Fecha de emisión: Página 1 de 16 de octubre de Documento 120 45 2008

1. INTRODUCCIÓN En los últimos años, todos los países de América Latina han venido impulsando programas acelerados de ajuste del sector público, con el propósito de mejorar la efectividad y eficiencia de la Gestión del Estado, tratando de poner en práctica procesos de reformas y modernización del aparato público. Algunos de estos procesos de ajuste se han orientado a mejorar la eficiencia y eficacia de los sistemas y herramientas específicas del ámbito de gobierno y otros, han estado tratando de adaptar y aplicar al interior de la administración pública, varios de los enfoques y técnicas que rigen las modalidades, las características y los objetivos esenciales de los sistemas de gerenciamiento privado en los cuales, la eficacia y la eficiencia son elementos determinantes de la supervivencia de las organizaciones. Lamentablemente, en muchos países estos procesos de ajuste, modernización y racionalidad, muchas veces no han surgido de esfuerzos prudentes y responsables de programación, sino como respuesta a crecientes demandas ciudadanas, democratización de la información, participación de la sociedad civil, el descontento generalizado sobre el cumplimiento efectivo de las funciones estatales de asignación, ejecución y distribución de recursos, el incremento de la complejidad de las demandas hacia el sector público y la legitimidad de la acción del Estado. Por el contrario, en el caso de Panamá, en los últimos años se han venido concretando progresos de gran importancia para modernizar la gestión pública y para enmarcar la misma dentro de límites y marcos de referencia que contribuyan a incrementar los niveles de transparencia, responsabilidad y orientación efectiva al logro de resultados. Todo esto, caracterizado también por una reformulación de los objetivos estratégicos y las políticas públicas, priorizando las metas sociales y el desarrollo humano. Si bien la intención original de este documento consistía en presentar unos lineamientos metodológicos para el Seguimiento de los proyectos de inversión, se ha estimado conveniente ampliar la cobertura del mismo, incorporando una presentación más estructurada sobre Seguimiento, Monitoreo y Evaluación. Esto surge como consecuencia lógica del análisis de la situación actual de Panamá: a) En Panamá se ha concretado un proceso de Concertación Nacional para el Desarrollo1 y se han puesto en vigencia algunas normas legales, que están determinando el ajuste y la modernización urgente de la gestión pública, a efectos de caminar hacia una gestión 1

El proceso de Concertación Nacional para el Desarrollo fue convocado por el Gobierno Nacional a fines del 2006, inmediatamente después del referendum para la ampliación del Canal. En este proceso, que demandó casi un año de intensas reuniones y debates, participaron instituciones públicas, partidos políticos, organizaciones civiles y representantes de diferentes gremios y etnias.

1

Versión 1

Fecha de emisión: Página 2 de 16 de octubre de Documento 120 45 2008

orientada a resultados, con mayor transparencia, con rendiciones de cuentas y con indicadores que permitan medir la eficacia y la eficiencia de esa gestión. b) Esta decisión social, de promover una Gestión Pública Orientada a Resultados, implica la necesidad de acelerar las acciones dirigidas hacia el desarrollo y puesta en marcha de un Sistema de Monitoreo y Evaluación (SME) de la Gestión de Gobierno, en particular, en el plano de la inversión pública. c) Este diseño e implantación de un SME, debe comenzar por las primeras etapas, poniendo en funcionamiento un Sistema de Seguimiento de Proyectos, que permita conocer en forma permanente, el grado de avance que se va logrando en la ejecución física y financiera de los proyectos de inversión. d) El 2007 se logró poner en marcha el Banco de Proyectos del SINIP, administrado por la Dirección de Programación de Inversiones (DPI) del Ministerio de Economía y Finanzas (MEF), poniendo el énfasis en la fase de Preinversión, como apoyo para el proceso de solicitud y asignación de recursos presupuestarios. En esa primera etapa, no fue posible poner en funcionamiento el Módulo de Seguimiento, por la falta de correspondencia entre el Código de cada proyecto en el Banco y el Código de la Partida Presupuestaria a través de la cual se asignaban los recursos del presupuesto. e) El proceso concretado entre Mayo y Octubre de 2008, ha permitido lograr esa correspondencia entre Código SINIP y Partida Presupuestaria para la mayoría de los proyectos de continuidad y si bien este proceso se ha cumplido para casi el 96% de los proyectos y programas, aún subsisten muchos casos de asignaciones presupuestarias a nivel de programas o bolsones, que no se han podido desglosar a nivel de los proyectos involucrados. Para el caso de los proyectos nuevos, ya se decidió su único ingreso por el Banco de Proyectos y la generación por este medio, de la Partida Presupuestaria para la asignación de recursos. f) Esta situación, plantea la urgente necesidad de poner en funcionamiento el Módulo de Seguimiento para el 2009, sin perder de vista que en Enero 2009 se estaría iniciando una cooperación del BID en el marco del PRODEV, para impulsar una Gestión Pública Basada en Resultados, lo cual implicará el desarrollo y puesta en marcha de un mecanismo completo de Seguimiento, Monitoreo y Evaluación de los proyectos de inversión pública, en coordinación con un sistema similar que administraría la Dirección de Presupuesto de la Nación para los gastos de funcionamiento. g) El Decreto Reglamentario de la Ley Nro 34 de Responsabilidad Social Fiscal, reitera las funciones asignadas al SINIP y a la DPI por el Decreto Ejecutivo Nro 184/2001 y además, establece la creación del Comité Técnico de Inversiones, coordinado por la DPI, para promover el mejoramiento de la calidad de la inversión, en el marco de las

2

Versión 1

Fecha de emisión: Página 3 de 16 de octubre de Documento 120 45 2008

nuevas exigencias técnicas, de transparencia y monitoreo del logro de resultados, impuestas por la Ley antes mencionada. h) Por otra parte, para cumplimentar con las disposiciones de la Ley Nro 34 y con la Ley Nro 20 de los Acuerdos de la Concertación Nacional para el Desarrollo, se estima prácticamente indispensable que los proyectos que ya fueron seleccionados por su vinculación con los objetivos de la Concertación y que además, ya fueron ingresados en el Anteproyecto de Presupuesto para el 2009, tengan – al menos – la formulación de sus respectivos marcos lógicos antes del 31 de Diciembre próximo. De esta manera, la preparación de esos marcos lógicos debe orientarse a construir las respectivas líneas de base y las condiciones de “evaluabilidad” de la gestión posterior de los proyectos. En síntesis, en este documento se plantea el tema como tres escalones sucesivos, a los cuales es necesario llegar de una manera gradual, comenzando por el Seguimiento financiero y físico de los proyectos, incorporando luego el Monitoreo de los proyectos (partiendo con el monitoreo que actualmente está haciendo la DPI de los préstamos externos) y agregando finalmente la fase de la Evaluación durante y expost, hasta llegar al establecimiento de un verdadero Sistema de Monitoreo y Evaluación de la gestión de inversión del Estado. Todo esto, sin descuidar la necesidad de fortalecer cada día más los estudios de preinversión, en el marco de la Ley Nro 34 y su Decreto Reglamentario. Todos estos pensamientos y reflexiones, surgen de una premisa básica:2 La información es indispensable, ya que no se puede mejorar lo que no se puede evaluar y no se puede evaluar aquello que no se puede medir, ni tampoco se puede medir aquello que se desconoce. Así debe también estar claro que para efectuar el seguimiento, el monitoreo y la evaluación de un proyecto durante su ejecución y expost, el mismo tiene que haber sido formulado de una manera “seguible, monitoreable y evaluable”. No se puede seguir y monitorear algo que no se ha previamente programado y que previamente no se hayan identificado y cuantificado sus productos, resultados e impactos. No tiene sentido monitorear y evaluar todo, sino únicamente lo importante, validado por un ejercicio de planificación estratégica institucional y gubernamental. De ello se desprende la necesidad básica de fortalecer las actividades de programación estratégica, la formulación de programas de preinversión e inversión de mediano plazo y las

2

SHACK, Nelson, “Plan de Acción: hacia una Gestión Pública orientada a resultados”, documento preparado en el marco de PRODEV/BID, para apoyar la formulación de un proyecto de cooperación técnica

3

Versión 1

Fecha de emisión: Página 4 de 16 de octubre de Documento 120 45 2008

actividades propias de la formulación y evaluación ex – antes de los proyectos, entendiendo estas últimas en el verdadero y correcto sentido técnico de los términos. Es necesario mencionar que los avances más importantes que se han logrado en el desarrollo de nuevas técnicas y enfoques metodológicos de seguimiento, monitoreo y evaluación de proyectos y programas, se deben a los esfuerzos realizados por varios organismos internacionales. Casi todos estos organismos (PNUD, BID, Banco Mundial, etc.) tienen sus propios manuales internos de monitoreo y evaluación, a los cuales se hará referencia en este documento.

2. LA NECESIDAD DE UNA GESTIÓN PÍBLICA ORIENTADA A RESULTADOS El programa del Gobierno de Panamá 2004/2009, se planteó en el documento “Visión Estratégica de Desarrollo Económico y de Empleo hacia el 2009”, el cual tenía como propósito presentar un marco general de Políticas Públicas con miras a ordenar el proceso de reactivación económica y social del país y motivar, desde el principio de esta Administración, el comportamiento de los diferentes estamentos de la sociedad. En esa “Visión Estratégica” se identificaron los proyectos de inversión prioritarios para el Gobierno, como así también la orientación fundamental de las políticas públicas que marcan el escenario dentro del cual debe concebirse el programa de inversiones públicas para todo el período de Gobierno. Además, otro de los propósitos perseguidos con este documento, fue brindar un punto de referencia y guía a la comunidad nacional e internacional, sobre los objetivos y políticas que iban a ser desarrolladas por la actual Administración. En esta Visión, el Gobierno planteó cinco pilares fundamentales de la política económica y social del país, priorizando la reducción de la pobreza y el mejoramiento de la distribución del ingreso, el crecimiento económico para la generación de empleos, el saneamiento de las finanzas públicas, el desarrollo del Capital Humano y la reforma y modernización del Estado Asimismo, en el 2006 y con motivo del referéndum para la ampliación del Canal de Panamá, se generó un amplio debate nacional sobre las renovadas oportunidades para el desarrollo del país. En ese contexto, el Gobierno Nacional convocó el 16 de agosto de 2006 a un “amplio Acuerdo de Concertación Nacional” con el propósito de “actualizar los objetivos y metas nacionales del desarrollo” de Panamá. En este proceso participaron representantes de todos los partidos políticos así como líderes cívicos, empresariales y laborales, y también se determinó la importancia de incorporar las voces y las perspectivas de la mayor cantidad posible de personas a lo largo de toda la geografía nacional. Este esfuerzo -inédito en la historia de los diálogos en Panamá- permitió

4

Versión 1

Fecha de emisión: Página 5 de 16 de octubre de Documento 120 45 2008

recopilar información valiosa sobre las realidades de cada provincia y las comarcas para construir una visión territorial desde la amplia participación de la gente. En la metodología se consagra el objetivo del proceso: contribuir a transformar Panamá en una sociedad más democrática, equitativa, próspera, dinámica y regionalmente equilibrada en su desarrollo. En el documento también queda consignada la importancia, subrayada por el gobierno y todos los participantes, que los resultados del proceso sean monitoreados, medidos y evaluados periódicamente por la sociedad. Los Acuerdos del Proceso de Concertación Nacional para el Desarrollo, aprobados en Febrero 2008 a través de la Ley Nro 20, destacan algunos temas muy estrechamente ligados con el monitoreo y la evaluación de los proyectos de inversión. Asi, por ejemplo, se expresa la necesidad de garantizar que todos los proyectos de inversión pública y en especial, aquellos enmarcados dentro de los Acuerdos de la Concertación Nacional, cuenten con los correspondientes estudios de preinversión económica, social, financiera, técnica, institucional, legal y ambiental, incluyendo el análisis de los efectos redistributivos y la determinación de las líneas de base que permitan el monitoreo de la ejecución y la evaluación de sus impactos. Y también se manifiesta la necesidad de fortalecer las competencias institucionales del MEF para la programación y la administración eficiente de la inversión pública, como así también para apoyar el sistema de rendición de cuentas y la transparencia en la asignación y uso de los recursos del Estado. El fin último de la Concertación es contribuir a transformar Panamá en una sociedad más democrática, equitativa, próspera, dinámica y regionalmente equilibrada en su desarrollo, aprovechando, entre otras, la oportunidad histórica que ofrece la ampliación del Canal.3 Es importante destacar también, cuando se expresa que el Estado deberá hacer un esfuerzo muy importante para conseguir y garantizar la vigencia de los principios básicos en la asignación y aplicación de los recursos públicos. Si los programas y proyectos del Estado se hubieran sometido a estos criterios en el pasado, es altamente probable que las desigualdades y la pobreza fueran menores. Con respecto a los proyectos sociales, se dispone que los programas de ataque a la pobreza deben coordinarse a nivel interinstitucional y presupuestario, asignando las partidas suficientes y adecuadas, evitando la duplicidad de programas y proyectos. Además, se expresa la necesidad de mejorar los procesos de ejecución, control y seguimiento de los programas y proyectos del sector social y que resulta imprescindible contar con una formulación adecuada de los proyectos sociales, incluyendo la evaluación costo/beneficio social. 3

Documento Base. Concertación Nacional para el Desarrollo. II. Objetivos. A. Premisas, punto 2

5

Versión 1

Fecha de emisión: Página 6 de 16 de octubre de Documento 120 45 2008

Y también se manifiesta la necesidad de formular el presupuesto en base a resultados y con programas “evaluados” y “evaluables” para garantizar la óptima asignación de los recursos públicos. Por último, también se destaca la necesidad de crear capacidades técnicas en los funcionarios públicos para mejorar el rendimiento en la formulación, ejecución, control y seguimiento de los proyectos públicos. De manera complementaria, en Mayo de 2008 el Gobierno Nacional sancionó la Ley Nro 34 de “Responsabilidad Social Fiscal” la cual establece varios aspectos orientados a lograr un manejo de las finanzas públicas dentro de las normas y principios técnicos aceptados a nivel internacional, fijando normas para limitar el déficit público y el nivel de endeudamiento del Estado. Además, también dispone dos aspectos que seguramente van a impactar positivamente en la calidad de la inversión pública. Por un lado, establece la exigibilidad de los estudios de costo y beneficio social para los proyectos de inversión y por otro, indica que al inicio de cada administración, dentro de los seis primeros meses de instalado, el Organo Ejecutivo adoptará un Plan Estratégico de Gobierno, enmarcado dentro de los objetivos y metas que surgen de la Concertación Nacional para el Desarrollo y su propio compromiso electoral, el cual debe incluir una Estrategia Económica y Social, la Programación Financiera a cinco años y un Plan de Inversiones Públicas indicativo a cinco años, que establecerán criterios para la canalización del gasto público hacia sectores, programas y proyectos prioritarios a nivel nacional. Por su parte, también es necesario destacar algunas disposiciones del Decreto Reglamentario de la Ley de Responsabilidad Social Fiscal, que se vinculan con el monitoreo de los proyectos de inversión. El Decreto establece que la asignación de recursos debe expresarse en el Proyecto de Presupuesto General del Estado a través de proyectos o programas de inversión pública específicos, quedando prohibida la asignación de recursos públicos en materia de inversión de manera genérica, sin destino y localización precisa o a satisfacer una demanda insatisfecha o resolver un problema especifico. Asimismo, el Decreto también dispone que las Instituciones inversoras del sector público, deben informar a la Dirección de Programación de Inversiones del MEF, sobre los avances físicos y financieros de los proyectos de inversión en ejecución, conforme a las orientaciones metodológicas y a los calendarios de programación que establezca la Dirección antes mencionada.

6

Versión 1

Fecha de emisión: Página 7 de 16 de octubre de Documento 120 45 2008

3. ALGUNOS ASPECTOS CONCEPTUALES DE LA GESTIÓN POR RESULTADOS4 El movimiento hacia una Gestión Pública orientada al logro de Resultados, constituye un cambio de paradigma, implica un cambio en la forma de pensar y actuar en la Administración Pública y por ende, en las funciones de comportamiento que guían el proceso de decisión y acción de los políticos y burócratas, según corresponda y en la calidad y la naturaleza de las relaciones que en materia de supervisión se establecen entre el Poder Ejecutivo, el Poder Legislativo y la Sociedad Civil. Siguiendo al BID/CLAD (2007) se puede afirmar que la Gestión por Resultados es un marco conceptual cuya función es la de facilitar a las organizaciones públicas la dirección efectiva e integrada de su proceso de creación de valor público, a fin de optimizarlo asegurando la máxima eficacia, eficiencia y efectividad de su desempeño, la consecución de los objetivos de gobierno y la mejora contínua de sus instituciones. En la Mesa Redonda de Resultados de Marrakech (2004), se conceptualizó la Gestión por Resultados para el Desarrollo, como una estrategia de gestión centrada en el desempeño y en las mejoras sostenibles en los resultados del país, que proporciona un marco coherente para la eficacia del desarrollo en la cual la información del desempeño se usa para mejorar la toma de decisiones, e incluye herramientas prácticas para la planificación estratégica, la gestión de riesgos, la gestión de programas y proyectos, los procedimientos de auditoría y adquisiciones, el monitoreo y la evaluación de los resultados, entre otros. En función de estos aspectos, un diagnóstico realizado por el Banco Interamericano de Desarrollo (BID) categoriza a varios países de América Latina (cuyo promedio general es de 2.0) en tres grupos en función del nivel alcanzado. Países de estrato avanzado, como Brasil, Colombia, Chile y México; países de estrato medio alto, como Argentina, Costa Rica, Guatemala y Perú; y países de estrato medio bajo, como Nicaragua, Paraguay, República Dominicana y Surinam. De acuerdo al diagnóstico de PRODEV efectuado en Marzo 2008, Panamá se ubica con un índice promedio de 1.7, es decir, en el grupo de países de estrato medio bajo, destacando las materias de planificación estratégica y monitoreo y evaluación, como las más rezagadas frente al promedio latinoamericano. En esta perspectiva, el desarrollo de una Gestión por Resultados, está directamente relacionada con la capacidad del Estado de introducir efectivamente la información sobre el desempeño de la acción a sus procesos decisionales, cuyo resultado sea la creación de valor público.

4

SHACK, Nelson, op. cit.

7

Versión 1

Fecha de emisión: Página 8 de 16 de octubre de Documento 120 45 2008

Sistemas vinculados con la Gestión Pública orientada a Resultados

Planificación Estratégica

Presupuesto Orientado a Resultados

Monitoreo y Evaluación Gestión Pública Orientada a Resultados

Gestión de Programas Y Proyectos

Gestión Financiera, Auditoría y Adquisiones

Para ello, la cantidad de información sobre desempeño que potencialmente existe es enorme y su procesamiento costoso, por lo que es necesario que se focalice en lo más importante y porque sin duda el alcanzar los resultados más importantes para la sociedad, es una tarea de mediano y largo plazo, que muchas veces entra en contradicción con el horizonte temporal del presupuesto, que es de corto plazo. De ahí deviene la necesidad de contar con un proceso de planificación estratégica gubernamental, pero además, la única manera de disponer de información de manera sistemática, es que ésta provenga de un sistema de monitoreo y evaluación que esté integrado, junto con la planificación, a las distintas fases de la gestión pública. La implementación de un sistema de Gestión Orientada a Resultados, necesariamente implica la operación de un Sistema de Monitoreo y Evaluación que, como sistema administrativo, permita la recolección, procesamiento y análisis de la información producida por las distintas entidades públicas (a través de sus registros administrativos) y por otras fuentes primarias (encuestas y censos) y secundarias (estudios, investigaciones y otras evidencias), de cara a las necesidades de información del proceso de toma de decisiones, tanto a nivel macro (alta Dirección del Poder Ejecutivo), meso (gestión sectorial) y micro (administración institucional).

8

Versión 1

Fecha de emisión: Página 9 de 16 de octubre de Documento 120 45 2008

4. SEGUIMIENTO, MONITOREO Y EVALUACIÓN Para el caso que estamos enfocando, el monitoreo y la evaluación son funciones de gestión, a través de las cuales se comprueba si los proyectos u otras gestiones públicas alcanzan o no sus objetivos y contribuyen a conseguir los resultados e impactos que se habían programado en el momento de su formulación. 4.1. Seguimiento Obviamente, para nuestro caso, el primer paso de este proceso de mejoramiento de la gestión, consiste en el Seguimiento de la Ejecución Física y Financiera de los Proyectos de Inversión. El Seguimiento es una función permanente, cuyo objetivo es brindar parte de la información básica necesaria para sostener los procesos posteriores de Monitoreo y Evaluación. Estos dos procesos más avanzados de un Sistema de Monitoreo y Evaluación (SME) necesitan disponer de la información que dé cuenta del avance en la ejecución de los proyectos. Y este tema, que parecería tan simple, no lo es tanto cuando se explicitan los problemas que normalmente afectan la disponibilidad y el procesamiento de la información de ejecución. Como es lógico, este seguimiento durante la ejecución de un proyecto, es parte del seguimiento que debe darse durante todo el ciclo de vida del mismo, comenzando por el seguimiento durante la preinversión. Ya hemos dicho que solo tiene sentido seguir, monitorear y evaluar, aquellos proyectos que han sido formulados de una manera que permita su seguimiento, su monitoreo y su evaluación durante y después de su ejecución. Posibilidad de identificación permanente de los proyectos durante el ciclo de vida Dentro de este marco de referencia se destaca una situación – como la existente en Panamá – donde este seguimiento de la ejecución se enfrenta con un serio problema, por la no correspondencia completa entre los códigos de identificación de los proyectos durante su preinversión y los códigos de las partidas presupuestarias a través de las cuales se realizan las asignaciones para la ejecución de los proyectos. Este sencillo inconveniente, obstaculiza por completo las posibilidades de efectuar el seguimiento. Muchas veces las asignaciones presupuestarias se realizan a nivel de programas o bolsones y por lo tanto, no es factible identificar las asignaciones a nivel de proyectos específicos. Problemas con los administradores de fondos Cuando existen proyectos cuyos recursos son administrados por terceros, existe el problema de distinguir entre las transferencias de los fondos presupuestarios a los administradores y la

9

Versión 1

Fecha de emisión: Página 10 de 16 de octubre de Documento 120 45 2008

ejecución financiera propiamente dicha, a través del devengamiento de los fondos por parte de la ejecución de los contratistas. Procesamiento de información preliminar o con validez legal/administrativa Para hacer el seguimiento de la ejecución financiera, existe una disyuntiva sobre el tipo de información a obtener y procesar. Por un lado está la información interna que procesan las entidades inversoras, en el momento que reciben los certificados de avance de obra por parte de las empresas contratistas y por otro, se encuentra la información con validez legal o administrativa, que se produce cuando la información es procesada a nivel de los sistemas presupuestarios contables, como SIAFPA y COBE. Entre estas dos fuentes de información puede existir hasta un par de meses de diferencia, los cual se estaría manifestando en mensajes muy diferentes con respecto al avance financiero que se va logrando en la ejecución de cada proyecto específico. Relación “uno a varios” entre contratos y proyectos Este es otro de los problemas graves que se enfrentan al momento de captar y procesar la información de avance financiero. Cuando existe una relación entre un contrato y varios proyectos, muchas veces es muy dificil poder separar los datos de avance financiero entre los proyectos involucrados. La estandarización de renglones de trabajo por tipología de proyectos Otro de los problemas que normalmente se presentan en casi todos los sistemas de seguimiento de la ejecución física, consiste en optar por las alternativas de porcentajes agregados de avance físico “a juicio del funcionario técnico inspector de obra” o tratar de desglosar ese juicio, por medio de la identificación de tipologías de proyectos, la definición de renglones de trabajo estandarizados para cada tipología y la definición de los pesos relativos de cada renglón dentro del proyecto, para que luego el “juicio técnico del inspector de obra” se aplique para definir porcentajes de avance por renglón de trabajo. Dentro de este esquema, siempre se enfrenta el problema de la no existencia de proyectos totalmente iguales, ni tampoco de proyectos que tengan los mismos renglones de trabajo con los mismos pesos relativos. De todas maneras, estos son algunos de los problemas de mayor importancia, que se enfrentan al momento de diseñar y poner en funcionamiento un sistema de Seguimiento de la ejecución física y financiera de los proyectos de inversión. De ahí, la necesidad de identificar el “Seguimiento” de la ejecución física y financiera de los proyectos, como un sistema necesario, pero diferente del Monitoreo y la Evaluación. La existencia del Seguimiento es un paso previo indispensable para poder pensar en los otros dos pasos siguientes.

10

Versión 1

Fecha de emisión: Página 11 de 16 de octubre de Documento 120 45 2008

4.2. Monitoreo5 El monitoreo es una función permanente cuyo objetivo primario es facilitar a las Instituciones inversoras y a los niveles centrales interesados en cada programa o proyecto en ejecución, indicaciones tempranas sobre los progresos, o falta de los mismos, en el logro de los objetivos programados. El monitoreo permite a la Institución ejecutora de un programa o proyecto identificar y valorar los posibles problemas y logros de los mismos. Constituye la base para la adopción de medidas correctoras, tanto sustantivas como operacionales, con el fin de mejorar el diseño, forma de aplicación y calidad de los resultados obtenidos por un programa o proyecto. Además, hace posible el fortalecimiento de los resultados positivos iniciales. Gracias al monitoreo, el personal directivo puede determinar también si un proyecto continúa siendo o no pertinente. En este contexto, se entiende que un programa o proyecto es pertinente cuando se dan las siguientes circunstancias: •

el programa o proyecto respalda las prioridades nacionales de desarrollo y las esferas temáticas de concentración de las respectivas Instituciones inversoras;

•

los esfuerzos se orientan específicamente a los grupos seleccionados, y

•

los objetivos continúan siendo válidos a pesar de los cambios que pudieran haberse registrado en el entorno del programa o proyecto.

Los requisitos para una Monitoreo eficaz son los siguientes: datos de referencia, indicadores de rendimiento y resultados, y mecanismos o procedimientos como las visitas sobre el terreno, las reuniones de las partes interesadas y la presentación sistemática de informes. Para destacar la importancia del monitoreo como función esencial de la gestión, las medidas de monitoreo deben estar debidamente planificadas. Las medidas de monitoreo deben emprenderse durante todo el tiempo que dure un programa o proyecto específico. Además, en caso necesario, pueden llevarse a cabo estudios especiales, por ejemplo, cuando se plantea un problema imprevisto sobre el que las actividades de monitoreo no pueden ofrecer suficiente información. Los resultados de dichas intervenciones pueden llegar a una solución oportuna, evitando tener que esperar el resultado de una evaluación formal. Como otras actividades de monitoreo, estos estudios deben intentar obtener las opiniones de los grupos destinatarios sobre la forma de mejorar la pertinencia y el rendimiento del programa o proyecto. Monitoreo ex – post de los programas o proyectos 5

PNUD, Oficina de Evaluación y Planificación Estratégica, “Monitoreo y evaluación orientados a la obtención de resultados. Manual para los administradores de programas” (1997)

11

Versión 1

Fecha de emisión: Página 12 de 16 de octubre de Documento 120 45 2008

Cuando se ha terminado un programa o proyecto, el gobierno deberá continuar responsabilizándose (en caso de ejecución nacional) o comenzar a asumir responsabilidad del monitoreo sobre la sostenibilidad de los resultados independientemente de si está prevista o no una evaluación ex post. Los principales objetivos del monitoreo posterior a los programas o proyectos son los siguientes: •

determinar la validez de las conclusiones y recomendaciones de los informes finales;

•

determinar hasta qué punto se han aplicado las recomendaciones de los informes, y

•

valorar la probabilidad de que el programa o proyecto produzca y mantenga una influencia positiva, e identificar las posibles acciones más indicadas para ayudar a garantizar la sostenibilidad de los resultados.

El monitoreo ex – post puede constituir una base adicional para la toma de decisiones y el aprendizaje, sobre todo en determinados casos. Resulta especialmente recomendable cuando se trata de un grupo de programas o proyectos con el mismo objetivo, más que en el caso de programas o proyectos individuales, con el fin de poder comprobar más sistemáticamente la validez y eficacia de los distintos enfoques dentro de un determinado contexto. Podría estar también especialmente aconsejada en sectores donde se requiere un período de varios años o incluso una generación para mejorar definitivamente la situación y cuando tales cambios se pueden comparar con indicadores nacionales ampliamente aceptados (por ejemplo, los sectores de la salud y la educación y las intervenciones encaminadas a proteger o regenerar el medio ambiente). 4.3. Evaluación6 La evaluación es una actividad temporal que trata de determinar en forma sistemática y objetiva la pertinencia, rendimiento y éxito de los programas y proyectos en curso y terminados. A diferencia del monitoreo, que se pueden llevar a cabo en todos los programas y proyectos, las evaluaciones se realizan en forma más selectiva, por razones prácticas. Los administradores de programas o proyectos tienen flexibilidad para decidir por qué y cuándo es necesaria una evaluación, teniendo en cuenta una serie de criterios. Si una evaluación se lleva a cabo a mitad del período de ejecución de un programa o proyecto, puede servir como medio para confirmar o corregir la evaluación inicial de pertinencia, eficacia y eficiencia obtenida con las actividades de monitoreo. Puede también determinar los signos iniciales de éxito o fracaso de un programa o proyecto. Si se lleva a cabo después de la conclusión de un programa o proyecto, la evolución determina hasta qué punto dicha 6

Ibidem

12

Versión 1

Fecha de emisión: Página 13 de 16 de octubre de Documento 120 45 2008

intervención ha constituido realmente un éxito por lo que se refiere a sus efectos, la sostenibilidad de los resultados y la contribución al desarrollo de la capacidad. 4.4. Relación entre Seguimiento, Monitoreo y Evaluación El seguimiento, el monitoreo y la evaluación son realidades distintas pero estrechamente relacionadas. Se prestan mutuo apoyo y son igualmente importantes. El seguimiento puede brindar datos cuantitativos directamente relacionados con la ejecución física y financiera de los proyectos, el monitoreo puede complementar esos datos con la utilización de determinados indicadores y la identificación de problemas que enfrentan los proyectos, y tales datos pueden utilizarse para apoyar la interpretación y análisis de las situaciones en las actividades de evaluación. La evaluación también puede servir de ayuda al seguimiento y al monitoreo. Puede ser una fuente de enseñanza que luego se podría aplicar para conseguir innovaciones teóricas o metodológicas útiles para perfeccionar las otras dos funciones, por ejemplo, adecuar el diseño de los sistemas de seguimiento o también, diseñar indicadores más apropiados para futuros proyectos. Se podría sostener que una monitoreo excelente elimina la necesidad de evaluaciones. Ello es cierto únicamente cuando el objetivo principal es obtener información que sirva de base para introducir mejoras en un programa o proyecto concreto en curso. Cuando se requiere un dictamen definitivo sobre los efectos, sostenibilidad de los resultados y contribución al desarrollo de la capacidad de una intervención, la evaluación es necesaria por razones de tiempo: se requiere cierto distanciamiento cronológico para poder obtener pruebas suficientes de los resultados e impactos y determinar hasta qué punto están relacionados con esa intervención. Además, cuando el objetivo es extraer enseñanzas generales de la experiencia de un grupo de proyectos que se han realizado en un mismo sector o que tienen un determinado enfoque temático, es más indicada la evaluación, ya que las actividades de monitoreo se hacen proyecto por proyecto mientras que evaluación puede englobar uno o muchos proyectos. La relación entre seguimiento, monitoreo y evaluación debe entenderse en forma interactiva. Ninguna de las tres funciones puede emplearse en sustitución de la otra. Ninguna de las tres funciones es autosuficiente para apoyar una gestión por resultados. 4.5. Un Sistema de Seguimiento, Monitoreo y Evaluación7 La información que genera un Sistema de Seguimiento, Monitoreo y Evaluación (SME) puede y debe servir para mejorar los procesos de: (i) planificación estratégica gubernamental, (ii) programación sectorial, (iii) programación regional, (iv) programación de preinversión e 7

SHACK, Nelson, op. cit.

13

Versión 1

Fecha de emisión: Página 14 de 16 de octubre de Documento 120 45 2008

inversión, (v) asignación de recursos presupuestarios, (vi) aprendizaje institucional y difusión de buenas prácticas de gestión, y (vii) rendición de cuentas y gobernabilidad. Para ello se puede sintetizar un SME en tres componentes: a) Un buen conjunto de indicadores de desempeño, que permita monitorear el desarrollo de la gestión pública de manera comprensiva (y por lo tanto, es necesario un conjunto multivariado de indicadores) y alertar oportunamente sobre posibles desviaciones a fin de tomar los cursos de acción correctivos; b) Un programa sistemático de evaluaciones que aporten información sobre las causas y efectos de las desviaciones y sobre todo, de la efectividad de la acción pública desarrollada, frente a los resultados previstos al momento de diseñarla; c) Un arreglo institucional y una plataforma informática que le permita operar como un sistema administrativo legítimo e independiente, muy vinculado al proceso de gestión pública y presupuesto, pero con sus propios algoritmos técnicos, normativos y organizacionales Si el elemento central de un SME es generar información sobre el desempeño pasado, corriente y esperado de los principales programas de gasto y de la gestión de las instituciones involucradas, de manera sistemática, oportuna y de calidad para mejorar el proceso decisional, dicho diseño debe tener en cuenta racionalmente los alcances y límites de un SME. Así como es claro que no se puede mejorar lo que no se puede evaluar y no se puede evaluar aquello que no se puede medir, ni tampoco se puede medir aquello que se desconoce, por lo cual la información es indispensable. Así debe también estar claro que no se puede monitorear algo que no se ha previamente programado y que no tiene sentido medir y evaluar todo, sino únicamente lo importante, validado por un ejercicio de planificación estratégica institucional y gubernamental. Por lo tanto, el diseño e implantación de un SME, implica necesariamente el fortalecimiento de las capacidades de planeamiento y programación, no solo en el centro (la entidad responsable de coordinar todo el proceso y centralizar la información y el correspondiente análisis), sino fundamentalmente en la periferia (las instituciones inversoras del sector público).

14

Versión 1

Fecha de emisión: Página 15 de 16 de octubre de Documento 120 45 2008

5. EL SEGUIMIENTO Y LA EVALUACIÓN DE LOS PROYECTOS8 En este título se incluyen varios aspectos que están más desarrollados en un Manual elaborado por el Banco Interamericano de Desarrollo. Hay varios aspectos que son de real importancia para que el lector llegue a interpretar adecuadamente, las vinculaciones que existen entre las fases de preinversión, inversión y operación, como así también la trascendencia que tiene una buena preinversión (incluyendo la programación de la ejecución) para permitir el monitoreo y la evaluación posterior. Es indudable que un adecuado seguimiento, monitoreo y evaluación de la ejecución de los proyectos, es tan importante como una correcta formulación de los mismos. Las buenas evaluaciones pueden ayudar a mejorar el desempeño de un proyecto en todas las etapas de su ciclo y también proporcionar información para mejorar las políticas y procedimientos del sector público en sus diferentes sectores de actividad. Las evaluaciones planeadas y ejecutadas cuidadosamente también pueden: a) ayudar a analizar el desempeño de las instituciones inversoras en las etapas de definición y planificación de los proyectos y en la supervisión de su ejecución; b) medir el progreso obtenido en la consecución de los objetivos de los proyectos, esencial para una buena gestión; c) respaldar el desempeño de las agencias ejecutoras mediante el monitoreo y la capacitación en métodos de evaluación; d) evaluar los efectos e impactos de los proyectos sobre sus beneficiarios. Asimismo, la evaluación de proyectos genera productos que ayudan a los gerentes y directores a: a) b) c) d)

mejorar el desempeño de proyectos nuevos y en ejecución conocer las prácticas óptimas en un campo determinado escoger entre varias alternativas de desarrollo mejorar la sostenibilidad de los proyectos

8

BID, EVO-Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos (Marco Lógico) – 3/97

15

Versión 1

Fecha de emisión: Página 16 de 16 de octubre de Documento 120 45 2008

5.1. La evaluación como disciplina La evaluación implica la aplicación de métodos rigurosos para determinar el progreso de un proyecto en el proceso de alcanzar su objetivo durante su ejecución, o bien para determinar si logró y cómo logró, o no, dicho objetivo. El proceso de evaluación combina diferentes tipos de información con los criterios y puntos de vista de las personas participantes o afectadas. Utiliza herramientas de campos tales como la estadística, economía y antropología, y está basada fundamentalmente en los conceptos y procedimientos de la metodología de investigación científica. La evaluación como concepto Aunque existen varias definiciones de la evaluación, todas incorporan los tres principios siguientes: Definición de la Evaluación por la OCDE/CAD El grupo de expertos en Evaluación de Programas de Asistencia Internacional de la Organización de Cooperación y Desarrollo Económico/Comité de Asistencia para el Desarrollo (OCDE/CAD), ha definido la evaluación de la manera seguiente: "un escrutinio -- lo más sistemático y objetivo posible -- de un proyecto, programa o política en ejecución o terminado, y sus dimensiones de diseño, ejecución y resultados. El propósito es determinar la pertinencia y logro de los objetivos y la eficiencia, efectividad, impacto y sustentabilidad del desarrollo." Una evaluación debe proporcionar información que sea creíble y útil, para permitir la incorporación de la experiencia adquirida en el proceso de adopción de decisiones, tanto del prestatario como de los donantes. (OCDE/CAD, 1991). La evaluación como proceso dinámico Tradicionalmente se ha considerado que la evaluación de proyectos se concentra en el análisis ex-antes. La práctica actual considera a la evaluación como una actividad vital de tipo continuo que no solo proporciona información correctiva a nivel de los proyectos, sino también un entendimiento de los problemas a nivel de programa, política y estrategia. Además, mientras más se aproxima la evaluación a la dimensión política, más se aleja de un enfoque cuantitativo y se acerca a uno cualitativo. 5.2. Tipos de evaluaciones En base a las relaciones que existen entre el ciclo de proyectos y las herramientas y los productos de evaluación, en el cuadro siguiente se presentan los dos tipos principales de evaluación: "formativa", que ocurre durante las etapas de preparación y ejecución del proyecto, y "sumativa", que se realiza al terminar, y después de terminado el proyecto.

16

Versión 1

Fecha de emisión: Página 17 de 16 de octubre de Documento 120 45 2008

En el cuadro siguiente se muestran los ciclos y etapas de evaluación de proyectos y sus correspondientes herramientas formales de evaluación. Los productos finales de la evaluación constan de los "documentos" propiamente dichos, tal como son producidos en cada etapa; y los "resultados del proceso", según se generan las decisiones sobre estrategias y políticas del sector público. El cuadro revela que los informes de evaluación no tienen que limitarse al aprendizaje "sumativo" después de la ejecución del proyecto. La evaluación formativa también juega un papel muy importante. Los servicios de evaluación se deben extender más eficazmente a las etapas de preparación e implantación del ciclo del proyecto mediante métodos y técnicas de evaluación formativa. EVALUACIÓN, CICLO, HERRAMIENTAS Y PRODUCTOS DEL PROYECTO Tipo de Evaluación Aprendizaje Formativo: “Durante”

Proyecto • Preparación: Evaluación Ex antes

• Ejecución: Evaluación Concurrente

Aprendizaje Sumativo: “Después”

• Terminación: Evaluación Ex post

Herramientas formales de evaluación • Marco Lógico • Instrumentos de análisis económico, financiero e institucional • Diagnóstico de “Evaluabilidad” • Listado de datos de referencia • Seguimiento de ejecución y monitoreo • Evaluación intermedia de ejecución • Evaluación Ex post • Evaluación de impacto de desarrollo9

Productos Resultados del Documentos Proceso Documento de Diseño de proyectos proyecto mejorado y “evaluable”

• Informes periódicos del proyecto • Gestión de cartera • Documentos de evaluación ex post

• Ejercicios de proyectos, mejorados • Mejor desempeño de los proyectos • Cartera mejorada • Diseño de proyectos mejorado • Políticas y estrategias, mejoradas

5.3. La inversión en la evaluación a lo largo del ciclo del proyecto La evaluación no tendrá mucho impacto en el mejoramiento del desempeño de los proyectos, a menos que se planifique, administre e integre en todas las etapas del ciclo del proyecto. Si se respalda adecuadamente y se administra como es debido, la evaluación debería producir una

9

Las evaluaciones de impacto examinan efectos e impactos tecnológicos, institucionales, económicos, políticos, etc.

17

Versión 1

Fecha de emisión: Página 18 de 16 de octubre de Documento 120 45 2008

mejor participación de la responsabilidad ejecutiva y del desempeño de proyectos y programas. LA EVALUACIÓN A LO LARGO DEL CICLO DEL PROYECTO PREPARACIÓN DEL PROYECTO

EJECUCIÓN DEL PROYECTO

TERMINACIÓN DEL PROYECTO

El proceso de evaluación genera información sobre experiencia adquirida y prácticas óptimas que pueden sugerir mejores enfoques para el diseño de nuevos proyectos. En esta etapa, un proyecto debe incluir datos de referencia e indicadores de desempeño que son esenciales para el trabajo futuro de monitoreo y evaluación del desempeño de los proyectos. A este nivel, la introducción de los principios de evaluación se considera "formativa", pues sienta las condiciones para la evaluación futura. En esta etapa el proceso de evaluación adopta la forma de monitoreo continuo, aunque en ciertos casos también se hacen evaluaciones formales operativas durante la ejecución del proyecto. La evaluación durante la ejecución es considerada "formativa", porque su propósito es respaldar la mejora continua de la ejecución del proyecto. El proceso de evaluación después de la terminación del proyecto reexamina la identificación y diseño original e indaga sobre su ejecución y desempeño de desarrollo. En esta etapa, la evaluación se considera "sumativa".

El proceso descrito de la evaluación a lo largo del ciclo del proyecto generalmente requiere que los recursos internos y externos que contribuyen a una operación se combinen adecuadamente para contribuir a un desempeño del proyecto que auténticamente contribuya a sus objetivos de desarrollo. Los costos de los recursos necesarios para efectuar evaluaciones continuas de proyectos no deben subestimarse y deben ser adecuadamente programados en los presupuestos anuales. Sin tal programación, el tiempo que requieren los involucrados principales que participan en la realización de una evaluación puede convertirse en una costosa inversión. 5.4. Características de un buen proceso de evaluación Si se busca que el proceso de evaluación contribuya al desempeño e impacto de desarrollo de los proyectos, debe asegurarle a los involucrados o grupos interesados que dicho proceso sea: Imparcial: Ello supone neutralidad, transparencia y equidad en el proceso de análisis y generación de conclusiones de evaluación. La unidad evaluadora y el evaluador no puede tener ningún interés personal o conflicto de interés, la imparcialidad debe prevalecer en todos los aspectos del proceso de evaluación. Creíble: Lo más esencial de la credibilidad es la confianza que los involucrados y/o interesados tienen en la experiencia e imparcialidad del evaluador y el reconocimiento de la calidad del trabajo de la unidad evaluadora. Una buena evaluación debe aplicar normas claras

18

Versión 1

Fecha de emisión: Página 19 de 16 de octubre de Documento 120 45 2008

y estrictas a la calidad del diseño de la evaluación, la confiabilidad y validez de los datos, asegurar el rigor del análisis de tales datos y hacer explícita la conexión lógica entre las conclusiones y las recomendaciones. Además, debe tener en cuenta las necesidades y perspectivas de los diversos involucrados/interesados en la evaluación. Útil: La medida cabal del éxito de un proceso de evaluación es su efecto sobre las personas y organizaciones que aprenden de dicho proceso. No puede esperarse que los efectos de los resultados de una evaluación en los destinatarios de la evaluación sean positivos, a menos que tales resultados sean contribuciones oportunas al proceso de adopción de decisiones, y sean presentadas en un lenguaje claro y conciso que los involucrados/interesados puedan entender fácilmente. Participativo: La práctica contemporánea de la evaluación hace mucho hincapié en la participación de todos los involucrados e interesados, incluyendo compartir la experiencia entre ellos. Así pues, la evaluación debe reflejar los diferentes intereses, necesidades y percepciones de los involucrados. Retroalimentador: La evaluación debe generar información que contribuya a retroalimentar al proceso de toma de decisiones y el aprendizaje organizacional. Por consiguiente, el encargado de una evaluación también debe asegurar la diseminación sistemática de los resultados obtenidos entre los involucrados, incluyendo los diseñadores de proyectos y la alta administración encargada de formular políticas. Costo/Eficaz: Como inversión institucional, las evaluaciones deben ponderar la relación entre las exigencias del rigor y la validez de la información y de su análisis con la obtención de un resultado o producto efectivo. Las evaluaciones deben agregar valor a la experiencia del interesado en el respectivo proyecto, y buscar que este resultado sea proporcional a la inversión que hacen los involucrados con sus propios recursos. 5.5. La evaluación y la preparación de proyectos10 La evaluación y el diseño de proyectos Es importante tener en cuenta cómo la evaluación puede mejorar el diseño y la planificación de proyectos, estableciendo así las condiciones para las actividades de evaluación que se deben llevar a cabo a lo largo del ciclo del proyecto. Comienza examinando los pasos destinados a asegurar que el proyecto responda a la problemática identificada y tenga un propósito claramente definido, ya que estos dos atributos son fundamentales para asegurar un buen desempeño de desarrollo de los proyectos y facilitar las actividades correspondientes de 10

Gran parte de estos conceptos y técnicas que se mencionan en relación con la preparación de los proyectos, ya han sido expuestos en la “Metodología genérica para la formulación y evaluación de proyectos” preparada en el marco del Componente 3 (Fortalecimiento del SINIP) del Programa BID 1430/OC-PN “Modernización y Fortalecimiento de la Gestión Económica y Fiscal – Fase II”

19

Versión 1

Fecha de emisión: Página 20 de 16 de octubre de Documento 120 45 2008

evaluación. Considera luego los productos de evaluación que se generan en esta etapa del proyecto. Cabe enfatizar que para todo ello, algunos de los aspectos más importantes del diseño de un proyecto son: a) establecer un entendimiento claro de la problemática a resolver; b) incorporar en el diseño del proyecto las experiencias adquiridas de operaciones anteriores; y c) establecer dentro del diseño del proyecto las condiciones para una evaluación efectiva, tanto durante la etapa de ejecución como ex-post. Cabe aclarar que estas consideraciones no sustituyen a los instrumentos de análisis económico, financiero, técnico e institucional, aunque sí los complementan. Matriz de evaluación para el diseño de proyectos El Marco Lógico es un instrumento que se puede usar en la fase ex-ante o de diseño de los proyectos en el proceso de evaluación. Aunque en este documento no es posible incursionar en todos los detalles del método del marco lógico, se tratará de ofrecer una sinopsis del mismo. Preparación para la producción de un marco lógico Una parte vital del trabajo de un evaluador consiste en determinar si un proyecto ha tenido éxito en resolver la problemática de desarrollo para la cual fue diseñado. En muchos proyectos ello puede ser difícil ya que, a la hora de diseñar el proyecto, no se entiende bien la problemática, y no queda establecida su vinculación con la solución proporcionada por el proyecto. Análisis de los involucrados o partes interesadas Este análisis contribuye a describir las características e interacciones entre los grupos que intervienen directa o indirectamente en la problemática para la cual se busca una solución por la vía de un proyecto de inversión. Se trata de comprender sus intereses respectivos en relación con la problemática identificada; sus percepciones de los problemas relacionados con la problemática, los recursos (políticos, legales, humanos, financieros, etc.) de que disponen para contribuir a resolver dicha problemática, sus respectivos mandatos con respecto a la situación emergente del problema, cómo pueden reaccionar ante una posible estrategia para el proyecto, y los conflictos existentes o potenciales entre ellos. Este análisis de involucrados es una fuente útil de información para la evaluación del proyecto durante su ejecución, y por lo tanto es importante efectuarlo y entender los papeles que desempeñan estos actores en la ejecución del proyecto.

20

Versión 1

Fecha de emisión: Página 21 de 16 de octubre de Documento 120 45 2008

El árbol de problemas El árbol de problemas es una ayuda importante para entender la problemática a resolver. En él se expresan, en encadenamiento tipo causa/efecto, las condiciones negativas percibidas por los involucrados en relación con el problema en cuestión. Confirmado el mencionado encadenamiento causa/efecto, se ordenan los problemas principales permitiendo al equipo de diseño identificar el conjunto de problemas sobre el cual se concentrarán los objetivos del proyecto. Esta clarificación de la cadena de problemas permite mejorar el diseño, efectuar un monitoreo de los "supuestos" del proyecto durante su ejecución y, una vez terminado el proyecto, facilita la tarea del evaluador, quien debe determinar si los problemas han sido resueltos (o no) como resultado del proyecto. El árbol de objetivos Los problemas de desarrollo identificados en el árbol de problemas se convierten, como soluciones, en objetivos del proyecto como parte de la etapa inicial de diseñar una respuesta. Los objetivos identificados como componentes o productos de un proyecto se convierten en los medios para encarar el problema de desarrollo identificado y proporcionar un instrumento para determinar su impacto de desarrollo. 5.6. La Matriz de Marco Lógico11 El marco lógico es uno de los principales instrumentos utilizados hoy en día por las agencias de desarrollo para el diseño y planificación de proyectos. Concebido para la Agencia para el Desarrollo Internacional de los Estados Unidos (USAID) a fines de los años setenta, el marco lógico es una herramienta de trabajo con la cual un evaluador puede examinar el desempeño de un proyecto en todas sus etapas. Este tipo de instrumento metodológico ofrece las siguientes ventajas: a) claro análisis de la relación de medios/fines de las actividades del proyecto que conducen a productos (o componentes) requeridos para lograr el propósito establecido para contribuir al logro de un fin (u objetivo de desarrollo); b) especificación precisa de las actividades de un proyecto y de sus costos; c) descripción de indicadores de desempeño y fuentes de verificación de tales indicadores; d) especificación de los supuestos (o riesgos) principales que podrían condicionar el éxito del proyecto; y e) un marco de referencia para identificar las experiencias adquiridas e incorporarlas a otros proyectos. 11

Si bien este tema de la Matriz de Marco Lógico ha sido desarrollado en la “Metodología genérica para la formulación y evaluación de proyectos de inversión”, el mismo se repite también en este documento a efectos de brindarle al mismo la autonomía necesaria para facilitar su lectura y comprensión.

21

Versión 1

Fecha de emisión: Página 22 de 16 de octubre de Documento 120 45 2008

El marco lógico es, pues, un instrumento que ayuda a los diseñadores de proyectos a entender mejor la naturaleza de los problemas que están tratando de resolver. La matriz del marco lógico está basada en dos principios básicos: primero, las relaciones lógicas verticales de causa-efecto entre las diferentes partes de un problema, que corresponden a los cuatro niveles o filas de la matriz que relacionan las actividades (o insumos), los componentes (o productos), el propósito y el fin como el conjunto de objetivos jerarquizados del proyecto; segundo, el principio de la correspondencia (lógica horizontal), que vincula cada nivel de objetivos a la medición del logro (indicadores y medios de verificación) y a las condiciones que pueden afectar su ejecución y posterior desempeño (o supuestos principales). Lógica vertical El marco lógico ayuda a sistematizar y aplicar un enfoque sistemático y racional al diseño, ejecución y evaluación de proyectos. La lógica vertical postula que si contribuimos con ciertas actividades (o insumos), produciremos ciertos componentes (o resultados): por lo tanto, existe una relación necesaria y suficiente entre las actividades y sus componentes correspondientes, siempre y cuando los supuestos identificados sean confirmados en la realidad de la ejecución y posterior uso de los productos. En el nivel siguiente de la lógica vertical de la matriz volvemos a hacer una inferencia causal. Si el proyecto produce estos componentes (o resultados), y los supuestos de este nivel se ratifican, se logrará el propósito (la hipótesis) (los componentes son condiciones necesarias y suficientes siempre y cuando los supuestos también se confirmen en la realidad de la ejecución). Siguiendo hasta el nivel de objetivo superior (fin), si se logra el propósito, y se confirman los supuestos de este nivel, se habrá contribuido de manera significativa a alcanzar el fin (es decir, el propósito es necesario, pero no suficiente). Lógica horizontal En términos prácticos, la dimensión horizontal es una descripción de cómo los gerentes de proyectos, el responsable del monitoreo y los evaluadores, pueden medir el nivel de logro de los resultados esperados a cada nivel de objetivos. En la matriz del marco lógico la segunda columna describe lo que hemos llamado "indicadores". Estos son determinados en la etapa de diseño, y deben ser medidas cuantitativas y cualitativas del estado de ejecución de componentes, del logro del propósito (efecto directo del proyecto) o la magnitud de la contribución hacia el logro del fin (impacto de desarrollo). La tercera columna explica a través de qué medios se verificarán los indicadores, especificando las fuentes de información y métodos que se emplearán. La cuarta columna a la que ya hemos hecho referencia en el punto anterior, es donde se describen los supuestos (y su jerarquía) que deben materializarse para asegurar el logro de las acciones o productos de cada nivel y a su vez se transformen en lo esperado, en el objetivo del nivel superior subsiguiente.

22

Versión 1

Fecha de emisión: Página 23 de 16 de octubre de Documento 120 45 2008

Indicadores Como ya se señalara, éstos son el eje que define la recopilación de los datos necesarios para efectuar el seguimiento de la ejecución del proyecto y su posterior evaluación. Los indicadores deben ser especificados con cuidado y precisión. El marco lógico debe incluir indicadores para todos los niveles de objetivos, pero al mismo tiempo el número de los mismos debe ser cuidadosamente elegido para que sea el mínimo necesario para poder asegurar veracidad, pero con eficacia de gestión. Al fijar indicadores, es preciso que se definan de manera tal que queden claros los niveles de cantidad, calidad y tiempo requeridos para asegurar que se alcance el siguiente nivel de objetivos. Estos indicadores son muy importantes porque enmarcan las características de las respuestas operativas a los problemas que está tratando de resolver el proyecto. Además, proporcionan un punto de referencia para la recopilación de datos en la etapa de preparación y una "carta de navegación" para guiar las actividades de gestión/monitoreo y evaluación del proyecto. Supuestos Tal como se ha mencionado en las secciones anteriores para que la lógica vertical (de causa efecto) sea "válida", la gestión del proyecto depende de la verificación o confirmación de los supuestos establecidos. Estos se especifican, para cada nivel de objetivo, en la cuarta columna del marco lógico. Quizás lo más importante de los supuestos es reconocer que se trata de elementos que implican riesgo relacionados con el entorno del proyecto, que están fuera del control de la gerencia del proyecto y de la agencia ejecutora. LA ESTRUCTURA DEL MARCO LÓGICO RESUMEN NARRATIVO DE OBJETIVOS FIN El Fin es una definición de cómo el proyecto o programa contribuirá a la solución del problema (o problemas) del sector.

INDICADORES VERIFICABLES OBJETIVAMENTE Los indicadores a nivel de Fin miden el impacto general que tendrá el proyecto. Son específicas en términos de cantidad, calidad y tiempo. (grupo social y lugar, si es relevante).

PROPÓSITO El Propósito es el impacto directo a ser logrado como resultado de la utilización de los

Los indicadores a nivel de Propósito describen el impacto logrado al final del proyecto. Deben incluir metas que reflejen la

MEDIOS DE VERIFICACIÓN

SUPUESTOS

Los medios de verificación son las fuentes de información que se pueden utilizar para verificar que los objetivos se lograron. Pueden incluir material publicado, inspección visual, encuestas por muestreo, etc. Los medios de verificación son las fuentes que el ejecutor y el evaluador pueden consultar para ver si los

Los supuestos indican los acontecimientos, las condiciones o las decisiones importantes necesarias para la "sustentabilidad" (continuidad en el tiempo) de los beneficios generados por el proyecto. Los supuestos indican los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que el

23

Versión 1

Fecha de emisión: Página 24 de 16 de octubre de Documento 120 45 2008

LA ESTRUCTURA DEL MARCO LÓGICO RESUMEN NARRATIVO DE OBJETIVOS Componentes producidos por el proyecto. Es una hipótesis sobre el impacto o beneficio que se desea lograr.

INDICADORES VERIFICABLES OBJETIVAMENTE situación al finalizar el proyecto. Cada indicador especifica cantidad, calidad y tiempo de los resultados por alcanzar.

COMPONENTES Los Componentes son las obras, servicios, y capacitación que se requiere que complete el ejecutor del proyecto de acuerdo con el contrato. Estos deben expresarse en trabajo terminado (sistemas instalados, gente capacitada, etc.) ACTIVIDADES Las Actividades son las tareas que el ejecutor debe cumplir para completar cada uno de los Componentes del proyecto y que implican costos. Se hace una lista de actividades en orden cronológico para cada Componente.

Los indicadores de los Componentes son descripciones breves, pero claras de cada uno de los Componentes que tiene que terminarse durante la ejecución. Cada uno debe especificar cantidad, calidad y oportunidad de las obras, servicios, etc., que deberán entregarse. Este casillero contiene el presupuesto para cada Componente a ser producido por el proyecto.

MEDIOS DE VERIFICACIÓN

SUPUESTOS

objetivos se están logrando. Pueden indicar que existe un problema y sugieren la necesidad de cam-bios en los componentes del proyecto. Pueden incluir material publicado, inspección visual, encuestas por muestreo, etc. Este casillero indica dónde el evaluador puede encontrar las fuentes de información para verificar que los resultados que han sido contratados han sido producidos. Las fuentes pueden incluir inspección del sitio, informes del auditor, etc.

proyecto contribuya significativamente al logro del Fin

Este casillero indica donde un evaluador puede obtener información para verificar si el presupuesto se gastó como estaba planeado. Normalmente constituye el registro contable de la unidad ejecutora.

Los supuestos son los acontecimientos, condiciones o decisiones (fuera del control del gerente de proyecto) que tienen que suceder para completar los Componentes del proyecto.

Los supuestos son los acontecimientos, las condiciones o las decisiones que tienen que ocurrir para que los componentes del proyecto alcancen el Propósito para el cual se llevaron a cabo.

5.7. Evaluación y aprobación de proyectos – “Evaluabilidad” Todos los que participan en el diseño y la aprobación de proyectos deberían cerciorarse de que cada proyecto nuevo podrá beneficiarse de futuros procesos de evaluación. En la etapa de diseño se debería incorporar una tarea de verificación de la futura "evaluabilidad" del proyecto, y los documentos presentados para la aprobación del proyecto deberían incluir un Marco Lógico y demás elementos que garanticen tal "evaluabilidad".

24

Versión 1

Fecha de emisión: Página 25 de 16 de octubre de Documento 120 45 2008

La verificación de "evaluabilidad" de un proyecto es una tarea que debería realizar el Equipo de Proyecto para determinar hasta qué grado el diseño descrito en los documentos del proyecto permite realizar un monitoreo y una evaluación adecuados. Dicha verificación: a) ayudará al Equipo de Proyecto asegurar que el proyecto es de la más alta calidad técnica; b) asegurará que la estrategia de ejecución del proyecto proporciona criterios adecuados para su seguimiento, monitoreo y evaluación; c) indicará hasta qué punto se han incorporado las lecciones y experiencias de otros proyectos; d) asegurará que se están siguiendo los principios del marco lógico. Para esta verificación de "evaluabilidad" de los proyectos, se sugieren las siguientes guías: GUÍA DE VERIFICACIÓN DE EVALUABILIDAD Requisitos de Evaluabilidad Párrafo Nro Objetivos El problema que el proyecto se dirige a resolver ha sido identificado y analizado. Se ha determinado a qué involucrado(s) corresponde el problema o necesidad. Las causas del problema han sido identificadas y jerarquizadas. Los objetivos a lograr han sido definidos consistentemente Las experiencias adquiridas de operaciones anteriores han sido tomadas en cuenta. Indicadores Las condiciones (físicas, institucionales, económicas y sociales) previas a la ejecución del proyecto han sido descritas. Los datos del año base (o de arranque) previos a la ejecución del proyecto han sido incluidos. Si no existen datos del año base, el diseño del proyecto incluye su generación. Se incluyen datos del año base, metas u otra evidencia para hacer monitoreo y determinar el logro de los objetivos. Productos Los bienes y servicios que el proyecto generará han sido identificados y descritos. Se ha previsto una descripción de cuándo y cómo los beneficiarios utilizarán los bienes y servicios generados por el proyecto Los beneficios derivados del uso de los bienes y servicios a ser generados por el proyecto han sido identificados. Supuestos Los individuos, grupos, instituciones y otras organizaciones que pudieran afectar, positiva o negativamente, la ejecución del proyecto han sido identificadas.

25

Versión 1

Fecha de emisión: Página 26 de 16 de octubre de Documento 120 45 2008

Los elementos que están fuera del control directo de la gerencia del proyecto y que pudieran afectar la viabilidad del proyecto, de sus productos y objetivos han sido identificados y descritos.

5.8. La evaluación y la ejecución de proyectos Con frecuencia sucede que los encargados del seguimiento y control de proyectos se ven obligados a trabajar con mucha más información que la realmente necesaria para tomar decisiones claves, mientras al mismo tiempo carecen de la información crítica que realmente requerirían para tomarlas. Una cuidadosa selección de indicadores y la eficaz organización del monitoreo puede revertir esta situación fácilmente. ¿Qué es el Monitoreo? El monitoreo es el procedimiento por el cual verificamos la eficiencia y eficacia de la ejecución de un proyecto mediante la identificación de sus logros y debilidades y en consecuencia, recomendamos medidas correctivas para optimizar los resultados esperados del proyecto. La función de la Dirección de Programación de Inversiones del MEF La Dirección de Programación de Inversiones (DPI) del MEF, sería responsable del monitoreo continuo de los proyectos y tiene la función primaria de identificar problemas de desempeño y de trabajar con los ejecutores para solucionarlos satisfactoriamente. Un monitoreo eficaz permite actuar antes de que los problemas se compliquen demasiado, para poder así resolverlos de manera efectiva. La DPI debería encargarse de este proceso de monitoreo y de elevar informes al Despacho Superior del MEF y al máximo nivel de cada Ministerio, sobre los acontecimientos importantes del proyecto. Beneficios del Monitoreo El monitoreo de proyectos genera los siguientes beneficios: a) identifica fallas en el diseño y el plan de ejecución; b) establece si el proyecto se está realizando conforme al plan; c) examina continuamente los supuestos del proyecto, determinando así el riesgo de no cumplir con objetivos; d) determina la probabilidad de que se produzcan los componentes o productos en la forma planificada; e) verifica si los Componentes resultarán en el logro del Propósito; f) identifica problemas recurrentes que necesitan atención; g) recomienda cambios al plan de ejecución del proyecto; h) ayuda a identificar soluciones a problemas; y

26

Versión 1

Fecha de emisión: Página 27 de 16 de octubre de Documento 120 45 2008

i) establece vínculos entre el desempeño de las operaciones en marcha y los futuros proyectos 5.9. Pasos requeridos para el monitoreo exitoso de un proyecto La función de monitoreo es la clave para mejorar el desempeño de un proyecto. Los cinco pasos para realizar un monitoreo satisfactorio, ayudan a asegurar un seguimiento eficaz y exitoso del proyecto. Aunque ya se están aplicando algunos de estos procedimientos, es útil volver a examinarlos para los fines de esta guía. Familiarizarse con el proyecto Si el funcionario responsable de monitorear el proyecto no está familiarizado con el mismo, debe comenzar por conocer su contexto e historia. Para ello, el monitor debe: a) examinar los documentos del proyecto, incluyendo el marco lógico y los informes disponibles; b) entrevistar a los equipos profesionales encargados del diseño y la administración del proyecto; c) visitar el sitio del proyecto y entrevistar al personal del organismo ejecutor. Determinar los requisitos de información de los involucrados Es importante proporcionar la información correcta a los involucrados en el momento oportuno para asegurar que el monitoreo ayude a mejorar el desempeño del proyecto. Las personas que hacen tareas de monitoreo deben: a) b) c) d)

identificar a los involucrados primarios y secundarios del monitoreo; aclarar quiénes deben recibir los informes de monitoreo; establecer la frecuencia de presentación de los informes formales; y determinar si los involucrados en el monitoreo tienen problemas o inquietudes que se deben incorporar.

Establecer un sistema de información gerencial Las necesidades de información sobre monitoreo se deben usar para estructurar un sistema de información gerencial para el proyecto. Este proceso se simplificará si ya se ha preparado un marco lógico para el proyecto. Para que un sistema de información gerencial sea eficaz, la información recopilada debe: a) b) c) d)

ser importante, en el sentido de que sea la información correcta; ser oportuna, en el sentido de que esté disponible en el momento en el que se necesita; ser de bajo costo de obtención; responder a cuestiones estratégicas del proyecto; y

27

Versión 1

Fecha de emisión: Página 28 de 16 de octubre de Documento 120 45 2008

e) contribuir a perfeccionar las actividades de monitoreo, evaluación y de producción de informes especiales. Informes para los involucrados/interesados en monitoreo Los informes de monitoreo pueden ser formales o informales. La mayoría de los procedimientos a seguir para la presentación de informes ya existen en casi todas las instituciones y un buen monitor debe saber que cuanto más pronto se puedan identificar y comunicar los problemas (incluso de manera informal), más fácil será resolverlos. En general, los datos a recopilar para el monitoreo de un proyecto deben contribuir a responder a las siguientes preguntas: a) Las actividades, o insumos, del proyecto (desembolsos, fondos de contrapartida, cofinanciamiento, gerencia del proyecto, personal del proyecto, bienes y servicios)¿se están llevando a cabo en forma oportuna y eficaz en relación a sus costos? b) ¿Hasta qué punto siguen siendo válidos la justificación y los supuestos del proyecto, o se están transformando en riesgos que pueden afectar el progreso e impacto de desarrollo del proyecto? c) Los componentes, o productos, del proyecto (bienes, servicios, acciones de capacitación, medidas de política) ¿se están logrando tal como fueron planificados en cuanto a cantidad, calidad, tiempo y costo? d) ¿Hasta qué punto se está cumpliendo con las cláusulas del contrato de préstamo o donación? e) ¿Hasta qué punto es probable que el proyecto alcance sus objetivos de desarrollo en función de la continua validez de su justificación y la verificación del cumplimiento de los supuestos? Independientemente del formato, es importante que la información sea: • oportuna; • lo más suscinta posible y que transmita la información esencial a sus usuarios; • de calidad técnica adecuada en cuanto a contenido, presentación, credibilidad y orientación para la acción. Intervenciones de monitoreo para mejorar el desempeño de los proyectos Hasta ahora se ha mencionado la participación de funcionarios públicos para efectuar el monitoreo de los proyectos. Sin embargo, puede haber casos en los que, además de estos

28

Versión 1

Fecha de emisión: Página 29 de 16 de octubre de Documento 120 45 2008

actores, se requiera asistencia especializada para efectuar el monitoreo. El cuadro siguiente muestra algunos ejemplos de dichos casos. Los mismos dejan claro que las personas que hacen el monitoreo no son simplemente recopiladores y comunicadores pasivos de información. Deben además decidir cuando es necesario contar con especialistas en evaluación que puedan respaldar sus acciones de monitoreo. Independientemente de la modalidad de evaluación adoptada, lo fundamental (tratándose de proyectos en ejecución) es que los evaluadores y los agentes de monitoreo conviertan, al corto plazo, sus recomendaciones en acciones apropiadas.

Comportamientos Detectados por los Agentes del Monitoreo 1. No hay ninguna desviación notable respecto de los planes trazados. 2. Desviaciones de calendarios para el suministro de insumos y/o generación de componentes debido a dificultades con la ejecución. 3. Evidencia de problemas emergentes de la administración/ gestión del proyecto.

4. Desviaciones considerables respecto de los calendarios para el suministro de insumos y/o la generación de componentes debido a un diseño inadecuado del proyecto. 5. Costos que sobrepasan significativamente los estimados de diseño. 6. Bajo desempeño de insumos y productos, pero sin causas claras.

Acciones de Monitoreo 1. Esto confirma las acciones de ejecución del proyecto, por lo que no cabe acción alguna. 2. El agente de monitoreo debe determinar los efectos de los retrasos y sus causas probables; verificar si hay que hacer cambios en la ejecución del proyecto y qué tipos de cambios recomendar. 3. El agente de monitoreo debe determinar la gravedad de los problemas y analizar y entender sus causas probables; proponer soluciones que se basen en una estrategia de intervenciones de gestión progresivas de manera que se consideren niveles jerárquicos de intervención más bajos antes de apelar a los más altos; finalmente debe planificar los ajustes y modificaciones necesarios. Debe también, considerar la conveniencia de efectuar una evaluación intermedia o de ejecución. 4. El agente de monitoreo debe determinar si el diseño puede ser revisado adecuadamente de manera que todavía se pueda alcanzar el propósito del proyecto (si es válido), o recomendar que se cancele el proyecto. Debe también considerar la necesidad de ejecutar una evaluación de ejecución y monitoreo. 5. El agente de monitoreo debe definir las causas y efectos para determinar cursos de acción y recomendar medidas tales como auditorías, cambios considerables del diseño y/o gestión del proyecto, o bien su cancelación. 6. Recomendar y/o hacer una evaluación intermedia o de ejecución.

De los diversos instrumentos que pueden ser usados para identificar y resolver problemas de desempeño de ejecución de los proyectos, dos procedimientos de evaluación formal (mencionados en la tabla) son particularmente útiles: a. Evaluación de monitoreo Este instrumento permite analizar posibles problemas de diseño. Se trata de lograr que los involucrados en el proyecto participen en un taller intensivo para examinar y reformular el

29

Versión 1

Fecha de emisión: Página 30 de 16 de octubre de Documento 120 45 2008

diseño del proyecto. El marco lógico, acompañado de las técnicas de análisis de involucrados, árbol de problemas, selección de estrategias y diseños específicos es la herramienta principal para volver a analizar la problemática, los involucrados, los objetivos del proyecto y sus datos del año base, indicadores y supuestos. Asimismo, también es evidente que en este ejercicio deben participar especialistas en análisis económico, financiero y técnico. Descubierto un serio problema de diseño, cuanto más pronto se efectúe esta evaluación, mejor, ya que no se desperdician tiempo y recursos tratando de ejecutar un diseño deficiente. b. Evaluación intermedia La evaluación intermedia se puede hacer en cualquier momento durante la ejecución del proyecto. Suele usarse para analizar más a fondo los problemas de ejecución, o para ayudar a tomar decisiones sobre la programación del proyecto. En síntesis, los asuntos examinados en una evaluación intermedia dependen de las razones para efectuar dicha evaluación. 5.10. Marco de trabajo para las evaluaciones operativas y expost Las evaluaciones operativas y ex-post de proyectos deben tener en cuenta cinco conjuntos importantes de cuestiones generales. Estas se deben adaptar, evidentemente, a las características específicas de evaluación de cada proyecto: a) b) c) d) e)

Continuidad de la justificación del proyecto Eficiencia del proyecto Efectividad del proyecto Efectos e impactos del proyecto Experiencia adquirida con el proyecto

Los primeros cuatro conjuntos de cuestiones de evaluación están vinculados a grupos específicos de intersecciones o "ventanas" del marco lógico. El quinto conjunto, la experiencia adquirida, puede abarcar la totalidad del marco lógico. Un evaluador debe estar familiarizado con este marco de trabajo y con los tipos de preguntas que se formulan dentro de su contexto. Continuidad de la justificación del proyecto La continuidad de la justificación se refiere al grado hasta el cual las condiciones de arranque y el diseño del proyecto: • continúan siendo compatibles con las prioridades de desarrollo del país y sus políticas macro y de sector; • contribuyen a las prioridades para el desarrollo nacional y sectorial

30

Versión 1

Fecha de emisión: Página 31 de 16 de octubre de Documento 120 45 2008

Algunos ejemplos de preguntas de evaluación relacionadas con la continuidad de la justificación del proyecto podrían ser: • ¿Continúa siendo el proyecto compatible con las prioridades nacionales y sectoriales? (por ej., reducción de la pobreza; medio ambiente; modernización de estructuras de producción, sectores públicos y el estado)? • ¿En caso de cambiar las condiciones iniciales de justificación siguen siendo pertinentes los objetivos? • ¿Entre las alternativas para alcanzar los objetivos del proyecto, la presente es apropiada? • ¿Se alcanzarán los objetivos de nivel de propósito y fin una vez generados los componentes del proyecto? • ¿Siguen siendo válidos los supuestos del proyecto, tal como figuran en el marco lógico? • ¿Existe algún supuesto no especificado que sea problemático, o que pudiera serlo? Eficiencia del proyecto La eficiencia se relaciona con el nivel de actividades y componentes del proyecto durante su ejecución y se refiere al grado hasta el cual: • se suministraron y administraron los insumos • acciones que se organizaron de la manera más apropiada • se hizo lo anterior al menor costo posible para generar los componentes esperados Algunas de las posibles preguntas de evaluación relacionadas con la eficiencia son: • ¿Cuán bien se administró la ejecución del proyecto? • ¿Cuán apropiadas fueron las actividades para la generación de componentes? ¿se administraron de manera eficaz en función del costo? • ¿Podría haber habido mejores maneras de alcanzar los mismos resultados a menor costo o en menor tiempo? • ¿Se emplearon las alternativas más eficaces en función del costo de administración del proyecto? • ¿El proyecto se superpuso y/o duplicó el trabajo de otras organizaciones de desarrollo? • ¿Hubo coordinación adecuada con otras intervenciones? • Si no se lograron los componentes ¿qué cambios en la ejecución de actividades pudieron haberse hecho para remediar esto? • ¿Qué mejoras en el uso de los componentes obtenidos hubieran mejorado el logro del propósito y del fin del proyecto? • ¿Qué debería hacerse para modificar o mejorar el proyecto? Con qué repercusiones financieras?

31

Versión 1

Fecha de emisión: Página 32 de 16 de octubre de Documento 120 45 2008

• Las actividades del proyecto, ¿complementan, duplican o conflictúan con otros proyectos o programas de desarrollo? Los indicadores para este análisis pueden encontrarse principalmente a nivel de las actividades y los componentes del marco lógico. Deben también verificarse los supuestos para determinar hasta qué grado su comportamiento puede haber afectado la eficiencia de la ejecución del proyecto. Efectividad del proyecto La efectividad se relaciona fundamentalmente con el propósito y el fin después de la terminación del proyecto aunque también, si existen indicadores apropiados, puede referirse a los productos o componentes del proyecto. Se ocupa del grado hasta el cual: • el proyecto produjo los componentes esperados. • los componentes obtenidos conducen al logro del propósito del proyecto. • el logro del propósito contribuyó al fin. A continuación se presentan ejemplos de algunas preguntas relacionadas con la efectividad: • ¿En función del costo, cuán oportuno y eficaz ha sido el desempeño del suministro de actividades? • ¿Cuán bien se desempeñó el proyecto desde el punto de vista de producir los componentes esperados y en qué medida estos fueron entregados a los beneficiarios en plazos adecuados? • ¿Cuán bien se desempeñó el proyecto para alcanzar el propósito? • ¿Hasta qué grado ha contribuido el proyecto al fin o del impacto de desarrollo en el programa de política o sector productivo que apoya? Las pruebas de efecto e impacto y sus posibles causas se pueden encontrar en las columnas de indicadores y supuestos del marco lógico. Efectos e impactos del proyecto Si bien la efectividad (vista arriba) se relaciona con el universo de los objetivos propios del proyecto, los efectos e impactos se refieren a su influencia en otros ámbitos. Los efectos e impactos del proyecto tienen que ver tanto con las consecuencias planificadas como con las imprevistas del proyecto. En general: • los efectos se relacionan con las consecuencias planificadas y/o imprevistas a nivel de propósito. • el impacto se relaciona con las consecuencias planificadas y/o imprevistas a nivel de fin.

32

Versión 1

Fecha de emisión: Página 33 de 16 de octubre de Documento 120 45 2008

A continuación se dan ejemplos de preguntas relacionadas con los efectos e impactos: • ¿Qué cambios se produjeron, en el universo inmediato y mediato del proyecto como resultado del mismo? • ¿Cuáles fueron los efectos e impactos sobre las prioridades de desarrollo? • ¿Cuáles han sido los efectos e impactos imprevistos del proyecto? • ¿Cuáles fueron los probables efectos a largo plazo del proyecto sobre el programa de políticas y el sector productivo correspondiente? • Si fuera el caso, ¿porqué no se materializaron los efectos esperados? Para entender los efectos e impactos, además de los indicadores de la segunda columna del marco lógico, se podría generar información útil examinando algunos de los supuestos del proyecto. Experiencia adquirida con el proyecto La experiencia adquirida y el nivel de aprendizaje que emerge de ella es de dos tipos: a) Aprendizaje operativo, que tiende a estar relacionado con la eficiencia y la eficacia, y b) Aprendizaje de desarrollo, que se concentra en los efectos e impactos. En el método del marco lógico, las primeras figurarían en las seis intersecciones, o "ventanas" inferiores, mientras que las segundas estarían en las seis superiores. El aprendizaje emergente de la experiencia adquirida se registra en conclusiones (que pueden convertirse en parámetros de diseño y/o supuestos de futuros proyectos). Estas se basan en las constataciones de una evaluación determinada que puede ser útil para una futura política o práctica. Este campo es tan amplio (como puede observarse, cubre la totalidad del marco lógico), que desde un principio la evaluación debe establecer criterios y objetivos claros para el análisis e identificar las incógnitas para las cuales hay que encontrar respuestas. De lo contrario, el análisis podría ser interminable en este capítulo de la evaluación (aunque este principio de finitud del campo de análisis debería aplicarse en todos los capítulos). A continuación se presentan algunos ejemplos de preguntas de evaluación relacionadas con el aprendizaje emergente de la experiencia adquirida: • ¿Cuán bien se desempeñó el proyecto desde el punto de vista de producir los componentes esperados y en que medida, estos fueron entregados a los beneficiarios en plazos adecuados? • ¿Cuán bien se desempeñó el proyecto para alcanzar el propósito? • ¿Hasta qué grado ha contribuido el proyecto al fin o del impacto de desarrollo en el programa de política o sector productivo que apoya?

33

Versión 1

Fecha de emisión: Página 34 de 16 de octubre de Documento 120 45 2008

• ¿Cuáles son las lecciones emergentes sobre la relación entre la pertinencia del proyecto y el objetivo de desarrollo originalmente identificado? • ¿Qué se aprendió sobre el desempeño de la ejecución del proyecto en cuanto a alcanzar estos objetivos? • ¿Qué se aprendió sobre la eficiencia del proyecto para utilizar los recursos asignados? • ¿Qué se aprendió sobre la utilidad y/o posibilidad de replicar este tipo de proyecto? 5.11. Marco de evaluación del impacto El marco de evaluación del impacto debería concentrarse en seis tipos importantes de impactos: • • • • • •

Tecnológico Institucional Económico Político Social y cultural Ambiental

6. DESARROLLO DE LA CAPACIDAD DE EVALUACIÓN La buena evaluación brinda oportunidades de aprendizaje a todos los involucrados: autoridades del país, administradores del sector público, gerentes y jefes de equipos de proyectos. La clave es explicar los asuntos relevantes en los resultados de la evaluación del proyecto, tanto éxitos como fracasos. Estas oportunidades de relevancia y de aprendizaje se pueden derivar de la evaluación aplicada a lo largo de todo el ciclo de proyecto. Las buenas evaluaciones, y la difusión de las lecciones emergentes de la experiencia adquirida se pueden utilizar como instrumentos de aprendizaje para mejorar el diseño y el desempeño futuro de proyectos. Tanto los evaluadores internos como externos son útiles para un sistema de evaluación. La utilidad de ambos no se puede discutir en términos abstractos. Es obvio que el evaluador interno no sólo entiende el proceso y los procedimientos que culminan en la identificación, diseño y ejecución del proyecto, sino que también participa en garantizar la operación del sistema de evaluación y, por lo tanto, en la generación de proyectos evaluables en las etapas de aprobación y ejecución. No obstante, la diversidad de campos técnicos potenciales de evaluación, la necesidad frecuente de asignar recursos con carácter intensivo en diversos campos especializados, y de encontrar métodos innovadores para solucionar problemas nuevos, pueden llevar a justificar el uso de evaluadores externos. El criterio de objetividad por sí solo no puede ser razón para contratar un evaluador externo, pues ello daría a entender que un evaluador interno es parcial y que no se puede confiar en él.

34

Versión 1

Fecha de emisión: Página 35 de 16 de octubre de Documento 120 45 2008

El desarrollo de la capacidad de evaluación es importante por dos razones: • Una mayor capacidad de evaluación contribuirá a aumentar la efectividad de la inversión del país y ayudará a resolver los problemas de desarrollo. • El desarrollo de la capacidad de evaluación en el país contribuirá a respaldar el mejoramiento en la capacidad de gestión del Gobierno. La generación de buenos datos de evaluación es una de las maneras en que el país puede asegurar transparencia y hacer que las acciones de Gobierno inspiren confianza en el público. Una cultura de evaluación puede reducir el potencial de corrupción en la vida pública y hacer que los funcionarios del Estado sean más responsables respecto del desempeño de las inversiones del Gobierno. Los administradores del sector público necesitan contar con evaluaciones para proporcionar datos confiables y válidos sobre el desempeño de las inversiones públicas. También deben ser capaces de sacar las conclusiones apropiadas de la información disponible, a fin de facilitar la toma de decisiones estratégicas en el interés público. Dado que contribuyen al continuo examen de las políticas, programas e inversiones públicas, las evaluaciones eficaces son una buena herramienta para respaldar la responsabilidad asumida por el sector público.

7. RECOMENDACIONES ESENCIALES Para formular algunas recomendaciones aceptables con respecto al seguimiento, monitoreo y evaluación de los proyectos de inversión pública, es necesario considerar las metas que deberían alcanzarse en el corto plazo y la situación actual de madurez del Sistema Nacional de Inversiones Públicas (SINIP). 7.1. Situación actual Esa situación actual esta conformada por la realidad que hoy caracteriza los distintos aspectos del SINIP, en especial, en cuanto a los aspectos de desarrollo organizativo, normas legales del SINIP, metodologías estandarizadas, programa de inversión de mediano plazo, banco de proyectos y recursos humanos capacitados. Como es lógico, a estos temas debe agregarse – como primer aspecto – la decisión política de impulsar una Gestión Orientada a Resultados y un Sistema de Seguimiento, Monitoreo y Evaluación. Decisión de Gobierno Tal como se ha expresado al inicio de este documento, la decisión política existe y además, la misma se encuentra explicitada en varios instrumentos legales, como así también en el Plan de Operaciones del nuevo proyecto a ejecutar por el Gobierno de Panamá en el marco del PRODEV/BID.

35

Versión 1

Fecha de emisión: Página 36 de 16 de octubre de Documento 120 45 2008

Desarrollo Organizacional En relación con el desarrollo organizacional, se ha logrado un avance muy importante desde el punto de vista de la reorganización de la Dirección de Programación de Inversiones (DPI) del Ministerio de Economía y Finanzas (MEF), abarcando el Manual de Organización y Funciones (ya aprobado por Resuelto Ministerial) y el Manual de Clases Ocupacionales en el marco de Carrera Administrativa. Normas y procedimientos del SINIP Con respecto a las normas legales del SINIP, también se ha avanzado en forma importante, a través de las disposiciones específicas de la Ley Nro 34/2008 de Responsabilidad Social Fiscal, su Decreto Reglamentario y la Ley Nro 20/2008 de aprobación de los Acuerdos del Proceso de Concertación Nacional para el Desarrollo. Si bien en el Decreto Reglamentario mencionado, se han incorporado una serie de normas detalladas sobre las funciones de las distintas Instituciones inversoras (en particular sobre la obligación de realizar el seguimiento de la ejecución de los proyectos y suministrar la información a la DPI), aún resta la elaboración del Manual de Procesos y Procedimientos internos de la DPI y también, con cobertura externa a la misma, abarcando las restantes Direcciones del MEF y todas las Entidades inversoras que participan en el SINIP. Estos productos – teniendo en cuenta los plazos establecidos en el Decreto Reglamentario de la Ley de Responsabilidad Social Fiscal y la consultoría específica en trámite de contratación – debería estar finalizado en Febrero 2009 y ello permitirá fijar los procesos y procedimientos aplicables – en especial – al tema del Seguimiento, Monitoreo y Evaluación. Metodologías estandarizadas Con respecto a las metodologías estandarizadas, ya se dispone de los lineamientos genéricos para la identificación de los proyectos, como así también para la formulación y evaluación y el seguimiento de los proyectos. Cabe recordar lo expresado al inicio de este documento, en el sentido que: Para efectuar el seguimiento, el monitoreo y la evaluación de un proyecto durante su ejecución y expost, el mismo tiene que haber sido formulado de una manera “seguible, monitoreable y evaluable”. No se puede seguir y monitorear algo que no se ha previamente programado y que previamente no se hayan identificado y cuantificado sus productos, resultados e impactos. Esta necesidad de tener proyectos mejor formulados, surge como consecuencia de los escasos esfuerzos actuales de preinversión. Solo 30 proyectos, sobre un total de 5091 proyectos

36

Versión 1

Fecha de emisión: Página 37 de 16 de octubre de Documento 120 45 2008

ingresados en el 2007, tenían indicadores de rentabilidad social y solo un 15% tenía indicadores de impacto en generación de empleo y pobreza. Programa de Inversiones de Mediano Plazo En la actualidad se dispone de un Programa Sectorial de Inversiones de Mediano Plazo para los sectores Agropecuario, Agua Potable y Saneamiento, Educación, Salud, Transporte Marítimo y Transporte Terrestre, con el análisis de las connotaciones de tales inversiones desde el punto de vista del desarrollo urbano. Banco de Proyectos El avance alcanzado de Enero 2007 a Setiembre 2008 con el diseño, desarrollo y puesta en marcha del Banco de Proyectos ha sido notable. El sistema abarca todas las instituciones inversoras (80 Unidades), esta procesando información de más de 10 mil proyectos, se ha logrado vincular el código de proyecto con la partida presupuestaria para cerca del 96% de los casos y ya se han acordado los procedimientos que se seguirán para la incorporación de nuevos proyectos a los futuros presupuestos de inversiones, destacándose el rol institucional que comienza a jugar el Banco de Proyectos. Recursos humanos capacitados Si bien se ha logrado capacitar a más de 1500 funcionarios públicos en los aspectos conceptuales y operativos del Banco de Proyectos y en los temas de formulación y evaluación de proyectos, aún resta mucho por hacer para apoyar adecuadamente la operación del sistema de seguimiento, monitoreo y evaluación. 7.2. Recomendaciones Las recomendaciones para el corto plazo están muy estrechamente ligadas con las apreciaciones mencionadas al principio de este documento. Si se tienen en cuenta las disposiciones – en cuanto a metas y plazos – de la Ley Nro 34/2008 de Responsabilidad Social Fiscal, su Decreto Reglamentario y la Ley Nro 20/2008 de los Acuerdos de la Concertación Nacional para el Desarrollo, surgen varios temas que deben incorporarse urgentemente en la agenda de la actual Administración, con el propósito de diagramar y fortalecer el subsistema de seguimiento, monitoreo y evaluación. a) Operacionalizar los Acuerdos de la Concertación Nacional para el Desarrollo (ACND) Tal como ya se ha expresado en varios documentos, si bien los ACND estarían conformando la “sombrilla de cobertura” hasta el 2025, ellos están en un nivel muy agregado, muchos de ellos no tienen metas cuantitativas asociadas, ni tampoco tienen gestiones públicas vinculadas, ni responsabilidades institucionales definidas.

37

Versión 1

Fecha de emisión: Página 38 de 16 de octubre de Documento 120 45 2008

El diseño y puesta en marcha de un sistema de seguimiento, monitoreo y evaluación, implica la necesidad de contar con indicadores de productos, resultados e impactos a nivel de cada proyecto de inversión y ello – necesariamente – estará en función de las metas que se establezcan en un nivel más agregado. Por ello, resulta imprescindible acelerar los trabajos de interpretación de los ACND, definición de metas donde ellas están faltando, identificación de las gestiones de Gobierno que sean necesarias (a nivel de inversiones y programas de funcionamiento) y definición de las responsabilidades institucionales asociadas con cada gestión. Para conformar una Gestión Orientada a Resultados, es necesario identificar cuáles son los resultados que se pretenden lograr y los plazos que deben respetarse. Estas especificaciones sólo pueden realizarse en el marco de una visión de país y sería necesario avanzar en estos trabajos, a efectos de poder brindar – en Febrero 2009 – las instrucciones correspondientes a las Entidades inversoras, para la formulación del anteproyecto del presupuesto 2010. b) Mejorar la formulación de los proyectos del 2009 vinculados con los ACND El anteproyecto del presupuesto de inversiones para el 2009 incluye un conjunto de proyectos, que se seleccionaron por considerarlos – en forma preliminar – relacionados con los ACND. Sin embargo, estos proyectos no tienen estudios de preinversión de respaldo y con ello, no solamente se dificultaría el seguimiento y monitoreo, sino que además se estaría infringiendo las disposiciones legales que establecen la exigencia de los estudios de preinversión. Por ello, resulta imprescindible que la DPI solicite a las Unidades inversoras – al menos – la formulación de los correspondientes Marcos Lógicos para esos proyectos seleccionados, y el envío de los mismos antes del 31 de Diciembre próximo. Para ello, sería necesario realizar algunas sesiones de inducción y capacitación de los funcionarios de la DPI, a efectos de conformar una acción coordinada. Además, también sería necesario desarrollar algunos eventos de capacitación sobre Marco Lógico para los funcionarios de las Unidades inversoras (posiblemente los mismos funcionarios que ya fueron capacitados en formulación y evaluación), a efectos de generar una acción homogenea y coordinada. También sería conveniente abarcar – con esta tarea – la formulación de los marcos lógicos de los proyectos estratégicos de gobierno, con el propósito de cubrir estos dos conjuntos (estratégicos y vinculados con los ACND). Estos Marcos Lógicos deberían ser el punto de partida para diseñar el módulo de seguimiento e ingresar la información inicial de cada uno de los programas de acción y de indicadores de productos, resultados e impactos.

38

Fecha de emisión: Página 39 de 16 de octubre de Documento 120 45 2008

Versión 1

c) Desarrollar y poner en funcionamiento el Módulo de Seguimiento del Banco de Proyectos Desde sus inicios, el Banco de Proyectos sólo abarca la fase de preinversión. Si bien la versión original contemplaba un primer diseño del módulo de programación y seguimiento, el mismo no pudo ponerse en funcionamiento por la falta de correspondencia entre el código de proyecto en el Banco y la partida presupuestaria de asignación de recursos. Esta falta de correspondencia hacía imposible conocer los montos asignados a cada proyecto, como así también conocer la ejecución financiera de los mismos. En este año 2008, a partir de una decisión del Despacho Superior del MEF, se ha logrado avanzar en el establecimiento de esa correspondencia y aunque todavía existen algunos problemas, se ha alcanzado un nivel de vinculación cercano al 96% de los casos. No obstante, si bien en algunos Ministerios, se han logrado esas correspondencias a nivel de programas, aún persisten los problemas para llegar a identificar las correspondencias a nivel de los proyectos específicos. Estos problemas se irán solucionando en forma gradual. De todas formas, ya se dispone de una situación muy avanzada, como para sustentar la reformulación y puesta en marcha del Módulo de Seguimiento y Monitoreo en el Banco de Proyectos. Para ello, podría caminarse hacia un esquema estructural con la siguiente imagen. ESTRUCTURA BASICA DEL BANCO DE PROYECTOS - Demanda de Financiamiento Programa Proyecto Etapa Idea

Etapas Preinversión

Solicitud, Recomendación y Asignación de Financiamiento

Programación, Seguimiento y Monitoreo

Evaluación Durante Y Ex Post

Nivel Proyecto Presup Sigte-N

Factibilidad

Idea

Presup Sigte-2

Prefactibilidad Perfil

Presup Actual-N Presup Actual-1

Programacion y Ejecución de Hitos Relevantes Programacion y Ejecución Física

Presup Sigte-1 Programacion y Ejecución Financiera

Nivel Contrato Programacion y Ejecución de Hitos Relevantes Programacion y Ejecución Física Programacion y Ejecución Financiera

39

Versión 1

Fecha de emisión: Página 40 de 16 de octubre de Documento 120 45 2008

El Módulo llevaría la información de Programación, Seguimiento y Monitoreo, a nivel de proyecto y contrato12. Obviamente, a nivel de contrato deberán llevarse los datos básicos de identificación, tales como la empresa Contratista; el valor del contrato; fechas de firma de contrato, orden de proceder, finalización de obra, recepción provisoria y recepción definitiva; posibles ampliaciones de contrato, montos y fechas; tipo de contrato. También, para los contratos y el proyecto, se ingresarán los datos de: Programación y ejecución de “hitos” relevantes referidos a las actividades preparatorias para el inicio de obras (preparación de pliegos, llamado a licitación, análisis de propuestas, adjudicación, firma de contrato, orden de proceder, terminación y recepción de las obras). La disponibilidad de los datos programados y los reales, permitirá incorporar en el Banco un sistema de alarmas automáticas para indicar la existencia de posibles desvíos. Con respecto a las programaciones, es conveniente que se puedan llevar dos calendarios, el original (que debe quedar fijo) y el vigente, de acuerdo con los ajustes que se vayan realizando, dejando constancia de las fechas de reprogramación y la correspondiente justificación. Programación y avance de la ejecución física de las obras, con el propósito de poder identificar desvíos, analizar el ritmo de avance y apoyar las decisiones que sean necesarias para optimiar el ritmo de ejecución. Con respecto a esta programación y avance de la ejecución física, existirían dos alternativas. La primera sería realizar el desarrollo en base a la estructura de los Marcos Lógicos que se entreguen a las Entidades inversoras, para su llenado correspondiente para los proyectos vinculados con los ACND y los proyectos estratégicos. La segunda alternativa, sería iniciar el desarrollo previendo la existencia de indicadores agregados a nivel de cada proyecto o contrato, hasta tanto sea posible implantar un sistema basado en la definición de renglones de trabajo por tipología de proyectos. De todas formas, para los casos futuros, las Entidades inversoras deberían entregar las programaciones a nivel mensual, junto con las correspondientes solicitudes de financiamiento. Al igual que en el caso anterior, es conveniente que se puedan llevar dos programaciones, la original (que quedaría fija) y la vigente, de acuerdo con los ajustes que se vayan realizando, dejando constancia de las fechas de reprogramación y la correspondiente justificación. Programación y avance de la ejecución financiera, también con el objetivo de poder identificar los posibles desvíos, analizar el ritmo de avance y apoyar las decisiones que sean necesarias para optimiar el ritmo de ejecución. Con respecto a la programación financiera, la misma podría basarse – como primera alternativa – en la información que se solicitó por Circular del MEF a todas las Entidades inversoras, para los casos futuros, las Entidades inversoras deberían entregar las programaciones a nivel mensual, junto con las correspondientes solicitudes de financiamiento. Los datos de la ejecución financiera serían tomados directamente desde SIAFPA, para los casos que ya se ha logrado la correspondencia 12

En la mayor parte de los proyectos la información será coincidente por la existencia de un solo contrato, pero en algunos proyectos la información podrá corresponder a más de un contrato.

40

Versión 1

Fecha de emisión: Página 41 de 16 de octubre de Documento 120 45 2008

entre código del Banco y la partida presupuestaria. Puede ser conveniente trabajar con dos series de datos de ejecución financiera, una basada en la información que procesan las propias Entidades inversoras y la segunda, en base a información de SIAFPA, con validez legal y administrativa. En muchos casos, pueden existir hasta 2 meses de diferencia entre ambas fuentes de información y por lo tanto, podría ser conveniente registrar ambas informaciones. Al igual que en el caso anterior, es conveniente que se puedan llevar dos programaciones, la original (que quedaría fija) y la vigente, de acuerdo con los ajustes que se vayan realizando, dejando constancia de las fechas de reprogramación y la correspondiente justificación. Por otra parte, también es conveniente destacar la conveniencia de vincular este Módulo del Banco, con el datawarehouse que se está construyendo para vincular la información de COBE, con SIAFPA y SIRIP. De esta manera, al establecer la vinculación entre partida presupuestaria y contrato, la misma podría ser leída y registrada en el Banco para cada proyecto. BANCO DE PROYECTOS - Vinculación con Datawarehouse de SIAFPA, COBE y SIRIP Programa Proyecto Etapa Idea

Etapas Preinversión

Solicitud, Recomendación y Asignación de Financiamiento

Programación, Seguimiento y Monitoreo

Evaluación Durante Y Ex Post

SIAFPA

COBE

DATA WAREHOUSE

SIRIP

Con respecto al tema del Monitoreo, hay varios trabajos que deberían concretarse antes de pensar en su incorporación dentro del Banco de Proyectos. Entre otros, algunos de los temas se mencionan a continuación:

41

Versión 1

• • • •

Fecha de emisión: Página 42 de 16 de octubre de Documento 120 45 2008

Determinación de tipologías de proyectos, a partir del análisis de las carteras de proyectos de las Entidades inversoras Determinación de costos promedio estimados por tipología de proyectos Determinación de indicadores de productos, resultados e impactos por tipología de proyectos Determinación de renglones de trabajo estandarizados por tipología de proyectos

Sería conveniente que – para el 2009 – se organice un trabajo piloto con algunas Entidades inversoras, a efectos de cubrir algunas tipologías de proyectos y lograr un avance significativo en el desarrollo de las actividades antes mencionadas. Otro de los temas vinculados con el Monitoreo, es el trabajo que actualmente viene realizando la DPI en relación con el seguimiento de la ejecución de los préstamos internacionales. En este sentido, como ya se ha expresado en varias reuniones, es conveniente que el Módulo de Fuentes de Financiamiento del Banco de Proyectos, se ajuste para poder incorporar la incormación de SIGADE y los campos necesarios para registrar el avance en la ejecución de los financiamientos, los problemas enfrentados y que pueden estar obstaculizando el ritmo de los desembolsos, las acciones correctivas que se han implementado y los acuerdos que se van logrando con la correspondiente Institución Financiera. Un aspecto de importancia es que al ingresar toda esta información de Monitoreo en el lado de las Fuentes, la misma podría estar disponible cada vez que se solicita información de los proyectos financiados con estas Fuentes externas. Con respecto al tema de Evaluación Durante y Ex Post, este es un aspecto que – por el momento – sólo podría quedar circunscrito al tratamiento de algunos casos piloto. Podría ser conveniente que la DPI, en coordinación con algunas de las Entidades inversoras, seleccionara algunos proyectos testigo, con el propósito de focalizar la atención en la preinversión, el marco lógico, la programación, el registro de la información de avance, el monitoreo durante la ejecución y la evaluación durante y ex post. Esta actividad podría generar “casos de estudio” que servirían luego para expandir la experiencia a otros proyectos y Entidades. d) Metodologías estandarizadas Es aconsejable que – en conjunto con el resto de las actividades antes mencionadas – se seleccionen algunos proyectos (en base a tipologías más representativas o de mayor importancia estratégica para la gestión de gobierno), para los cuales se proceda a formular los correspondientes Marcos Lógicos con un buen nivel técnico. Este trabajo podría ser realizado entre la DPI, en coordinación con las Entidades inversoras responsables de los proyectos, en base a talleres de capacitación y desarrollo. Estos Marcos Lógicos por tipología de proyectos, podrían luego servir como “casos de referencia” para expandir la experiencia al resto de los proyectos.

42

Versión 1

Fecha de emisión: Página 43 de 16 de octubre de Documento 120 45 2008

e) Capacitación de Funcionarios Como ya se ha manifestado, hay varias actividades que implican esfuerzos en capacitación de funcionarios, entendiendo la capacitación no solamente como una forma de enseñar a hacer las cosas, sino también como un mecanismo válido para crear consensos, para generar visiones compartidas y lograr un lenguaje común – a nivel terminológico y de contenidos conceptuales – que haga posible la coordinación de esfuerzos para lograr objetivos compartidos. Con ese propósito, es necesario capacitar a los funcionarios técnicos de las Entidades inversoras, pero todo esto también implica la necesidad de priorizar la capacitación de los funcionarios de la DPI, de modo que cada uno de los sectorialistas se convierta en un capacitador potencial. Si la DPI debe jugar el papel de Coordinador Técnico del SINIP, entonces es imprescindible que en la misma se concentre el mayor conocimiento técnico sobre el tema de inversiones públicas, como así también el mayor conocimiento y dominio de la problemática de cada sector, experiencias internacionales relevantes, información estadística apropiada para las labores de análisis, etc. Para ello, es necesario que el esfuerzo de capacitación se concentre en los funcionarios de la DPI, en especial con respecto a los temas de preinversión, marco lógico, programación de inversiones, seguimiento, monitoreo y evaluación, tanto a nivel de proyectos específicos, como a nivel agregado.

43