Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

MINISTERIO DE SALUD

DOCUMENTO DE TRABAJO:

SEGUIMIENTO Y EVALUACIÓN DE LAS FASES DE EJECUCIÓN Y OPERACIÓN DE PROYECTOS DE INVERSIÓN PUBLICA EN EL SECTOR SALUD

Directora Ejecutiva: Arq. Fabiola Luna Andrade. Consultora OPI Salud: Ing. Liliana Li Mostacero.

Lima, 2004.

_____________________________________________________________________________ Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

ÍNDICE

Presentación I.Antecedentes II.- Base legal III.- Ámbito de aplicación IV.- Objetivo V.- Fines VI.- Experiencia a la fecha VII.- Criterios Generales VIII.- Información Básica IX.- Marco conceptual X.- Estrategia del sistema de evaluación y seguimiento 10.1 Decisión de lo que debe ser evaluado 10.2 Enfoque y metodología 10.3 Obtención de información 10.4 Uso de resultados de la evaluación y seguimiento 10.5 Papeles potenciales de los organismos para la evaluación y seguimiento XI.- Metodología de evaluación y seguimiento 11.1 Metodología de evaluación y seguimiento de la ejecución de la inversión 11.2 Metodología de evaluación de resultados y seguimiento de la fase operativa 11.3 Evaluación de impacto XII.- Perfil del equipo de evaluación XIII.- Recomendaciones XIV.- Glosario de Términos XV.- Bibliografía XVI.- Anexo: Hojas de Trabajo

_____________________________________________________________________________ Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

3 4 5 5 5 6 7 8 9 10 13 13 14 17 18 19 21 22 40 47 51 52 52 53 54

2

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

PRESENTACIÓN

La gestión de los servicios públicos de salud requiere del análisis profundo de la realidad sanitaria, de factores condicionantes y de la propuesta social del gobierno para revertir los problemas existentes a fin de mejorar las condiciones de vida y salud de la población. El Ministerio de Salud ha definido los objetivos y metas sectoriales que espera alcanzar en el Plan Estratégico Multianual, orientando todos los esfuerzos y recursos al logro de esos objetivos. No obstante, que en algunos casos estos objetivos, no necesariamente concuerdan con las prioridades en determinados ámbitos regionales, por ello los Gobiernos Regionales, a través de las Direcciones Regionales de Salud, definen los objetivos, en función a la situación de salud de la población de su ámbito. La definición de objetivos claros puede añadir transparencia al proceso de asignación de recursos y proveer una referencia de comparación para la evaluación de los objetivos y metas previstas en el marco de la política sectorial, regional e institucional. La definición de objetivos se basa en los diagnósticos, que definen la línea basal ó punto partida de los planes, programas y proyectos de inversión pública a través de los indicadores que servirán de referencia para el proceso de evaluación y seguimiento de los resultados obtenidos durante la implementación de los planes, programas y proyectos. El objetivo del presente documento de trabajo es poner a disposición de todos los agentes del sector que participan en la implementación de proyectos, una metodología de evaluación y seguimiento de proyectos en sus fases de ejecución y operación, que ha sido diseñada como un sistema de control de los resultados de los objetivos y metas planteados y así poder mejorar la gestión de servicios de salud.

_____________________________________________________________________________ Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

3

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

I.- ANTECEDENTES La Inversión Pública está normada por la Ley N° 27293, Ley del Sistema Nacional de Inversión Pública, las leyes anuales de presupuesto y de endeudamiento externo, así como por las normas sobre requerimientos técnicos de infraestructura y acreditación de servicios para los diferentes niveles de atención. Esta normatividad establece los principios, procesos, metodologías y normas técnicas relacionadas con las diversas fases de los proyectos de inversión y obliga la observancia del Ciclo de Proyectos por parte de todas las entidades y empresas del sector público no financieros con el fin de optimizar el uso de los recursos públicos destinados a la inversión. La Inversión Pública en el sector Salud tiene como objetivos específicos mejorar la cobertura y calidad de los servicios para garantizar la eficiencia de la producción de servicios de salud. El mejoramiento de la oferta de servicios debe estar articulado al proceso de planificación local, acorde a las necesidades de la demanda, perfiles epidemiológicos, oferta actual y el estado socio económico de la población objetivo del proyecto. El Sistema Nacional de Inversión Pública, desde su creación en Julio del año 2000 a la fecha, ha otorgado delegaciones de facultades tanto a las OPIs Sectoriales como a los Gobiernos Regionales y Locales, para efectuar la Declaración de Viabilidad de los proyectos; en un inicio esta delegación se realizó según tipología y montos de inversión, actualmente la delegación de viabilidad está dada según montos de inversión. Los proyectos de inversión pública generalmente están orientados a la producción de bienes y servicios para satisfacer las necesidades de una población determinada, en tal sentido, la unidad de análisis para la realización de un proyecto es el impacto de los resultados del proyecto sobre la población beneficiaria. De ahí la importancia de verificar los cambios del estado de salud de la población objetivo, como consecuencia de la implementación del proyecto. Haciendo uso de las facultades establecidas en el art. 13 de la Directiva N° 004-2003EF/68.01 y habiendo transcurrido más de tres años de la implementación del SNIP, la Oficina General de Planeamiento Estratégico a través de la Oficina Ejecutiva de Proyectos de Inversión ha visto por conveniente diseñar una metodología de evaluación y seguimiento de proyectos de inversión pública del sector Salud, a fin de obtener información de cómo se viene ejecutando la inversión, detectar debilidades si las hubieran, identificar sus causas y recomendar las acciones correctivas. Así mismo, en la fase de operación nos interesa conocer si se viene logrando las metas propuestas en cuanto a producción de servicios y los costos de los mismos, lo que también permitirá obtener información que sirva para retroalimentar los procesos en el marco del ciclo de proyecto.

_____________________________________________________________________________ Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

4

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

II.- BASE LEGAL -

-

Ley N° 27293. Ley del Sistema Nacional de Inversión Pública. D.S. N° 157-2002-EF. Reglamento del Sistema Nacional de Inversión Pública. Resolución Directoral N° 007-2003-EF/68.01. Directiva N° 004-2003-EF/68.01 del SNIP. Resolución Ministerial N° 525-2002-SA/DM, mediante la cual se encarga la conducción del Sistema Nacional de Inversión Pública a la OGPE del MINSA a través de la OEPI. Resolución Ministerial N° 007-2001-SA-DM, mediante la cual se establece la OPI Salud.

III.- ÁMBITO DE APLICACIÓN Se aplica a las unidades ejecutoras que conforman el Pliego Ministerio de Salud, Gobiernos Regionales, Gobiernos Locales, Fuerzas Armadas y Policiales, ESSALUD y todas las unidades ejecutoras que lleven a cabo inversiones que beneficiarán al sector Salud en el ámbito nacional.

IV.- OBJETIVO El presente es un documento de trabajo que contiene una propuesta de procedimientos y acciones de evaluación y seguimiento de los proyectos de inversión pública declarados viables, con la finalidad de obtener información del desempeño de los agentes que participan en el proceso de implementación del ciclo del proyecto.

_____________________________________________________________________________ Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

5

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

V.- FINES La evaluación y seguimiento de los procesos en la etapa de implementación de los proyectos nos permitirá medir los niveles de eficiencia alcanzados en la ejecución de las actividades de la inversión, observar el grado de eficacia que se está logrando en el cumplimiento de objetivos, según las metas anuales ejecutadas y apreciar en qué medida el proyecto está contribuyendo al fin propuesto; todo lo cual, permitirá identificar las debilidades existentes y recomendar acciones pertinentes para evitar en el futuro situaciones que en la práctica hacen menos eficiente y/o eficaz el proceso de implementación del proyecto. Así mismo, la información obtenida en este proceso de seguimiento será de muchísima utilidad cuando al finalizar los primeros cinco años del proyecto se realice una primera evaluación de impacto. Fines específicos: 5.1 Verificar si se ha logrado ejecutar las actividades previstas en el estudio de preinversión al mejor costo y en el mejor tiempo (eficiencia). 5.2 Verificar si se viene logrando las metas del proyecto (eficacia) a través de la medición de los avances logrados en el cumplimiento de los objetivos, teniendo como referencia la matriz de marco lógico, planes de producción y otros parámetros que hayan sido considerados en el estudio de preinversión. 5.3 Verificar las capacidades de gestión de las unidades ejecutoras para la ejecución de la inversión. 5.4 Generar información que contribuya a retroalimentar el proceso de la toma de decisiones y el aprendizaje organizacional para mejorar proyectos futuros.

_____________________________________________________________________________ Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

6

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

VI.- EXPERIENCIAS A LA FECHA

Algunos proyectos que se encuentran en la fase de inversión, cuando se ha culminado la elaboración del estudio definitivo, muestran que el monto de inversión obtenido en el expediente técnico es mayor al estimado en el estudio a nivel de perfil. Estos casos se han presentado en proyectos cuyos componentes de inversión son infraestructura y equipamiento. Los motivos de incremento generalmente aceptados en el caso de infraestructura, son por mayores costos por concepto de suelos de baja resistencia que requerían platea de cimentación y/o muros de contención; así también, por incremento de área construida por concepto de muros, circulación y/o áreas complementarias, o por subestimación de costos unitarios por metro cuadrado al momento de la estimación. En el caso de equipamiento, normalmente el incremento se presenta por diferencias entre los precios consignados en el perfil y los obtenidos en las cotizaciones, así también se observó que en algunos perfiles no se había indicado la especificación del equipo (variable según el nivel de atención del establecimiento) y que influye en la determinación de su precio. En ambos casos, la variación que se produce, generalmente, se encuentra en el rango de 5 – 10% y en algunos casos excepcionales se superó el 20 y 30%.

_____________________________________________________________________________ Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

7

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

VII.- CRITERIOS GENERALES

Para conocer si los resultados de la evaluación del estudio de preinversión no se alteran cuando se presentan incrementos en la fase de inversión, (es decir, sigue siendo viable), se debe tener en cuenta los siguientes criterios generales: i)

ii)

iii)

iv) v)

Los incrementos que se produzcan deben estar dentro del margen del análisis de sensibilidad donde se utiliza como variable riesgosa la inversión, según el cual la alternativa elegida sigue siendo mejor que la segunda mejor alternativa. Los componentes de inversión del proyecto deben ser los mismos que los previstos en el estudio de preinversión (infraestructura, equipos, capacitación, etc.). Pueden producirse variaciones en el área a construir, remodelar, ampliar y/o rehabilitar, más no se aceptarán cambios en el número de unidades productoras de servicios (consultorios, camas, sala de partos, sala de operaciones, equipos de rayos X, ecógrafos, tópicos de emergencia, etc.), que afecten la capacidad instalada prevista de las unidades orgánicas de los establecimientos de salud intervenidos. Se debe respetar el área mínima establecida en las normas de arquitectura para establecimientos de salud vigentes. Que los equipos a adquirir tengan las características técnicas indicadas en el estudio de preinversión y acordes a la complejidad de los establecimientos intervenidos.

_____________________________________________________________________________ Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

8

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

VIII.- INFORMACIÓN BÁSICA En la evaluación se tendrá que contrastar la información del estudio de preinversión con el que se obtiene la viabilidad, con la existente a la fecha de la evaluación, por tanto será de interés conocer: i) ii) iii) iv) v)

vi) vii)

viii) ix) x) xi) xii)

El problema a resolver, con su indicador ó indicadores. El objetivo central a lograr, con su indicador ó indicadores. La mejor alternativa y las actividades que implique su implementación, con sus respectivos indicadores. El plan de implementación, que indique el tiempo programado de las actividades para la ejecución del proyecto. El programa de requerimientos de recursos humanos, infraestructura, equipamiento y gestión. En el caso del recurso humano, será de interés conocer si se prevé incrementar personal y de que profesión y/o especialidad; en el caso de infraestructura, es de interés conocer si se incrementan unidades de producción (consultorios, salas de partos, salas de operaciones, tópicos, camas, etc.). El plan de producción de los servicios intervenidos (atenciones esperadas). Línea basal que sirva de referencia cuando se realice las actividades de seguimiento y evaluación del proceso de implementación del proyecto (ej: cobertura en consulta externa, tasa de parto institucional, gestantes controladas, etc.). Estos indicadores deben estar referidos a los servicios a intervenir y que se espera se modifiquen con la implementación del proyecto. Costos de inversión, de operación y mantenimiento anualizados. Ratios costo / eficacia de las alternativas propuestas. Análisis de sensibilidad de la inversión y de las atenciones. Análisis de sostenibilidad financiera e institucional. Matriz de marco lógico de la alternativa seleccionada.

_____________________________________________________________________________ Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

9

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

IX.-

MARCO CONCEPTUAL

Las acciones de evaluación y seguimiento de los proyectos que se plantean en el presente documento se enmarcan dentro del proceso de control de la gestión realizada, con el fin de verificar que las actividades de los PIPs se lleven a cabo tal y como fueron planeadas, de manera que garanticen el cumplimiento de sus objetivos y metas. En tal sentido, se relaciona con objetivos, metas, estrategias, políticas, recursos, resultados, procesos y actividades. La evaluación es un proceso continuo, que debe realizarse durante todas las etapas del ciclo de proyectos: 1.- Evaluación ex – ante: Busca proporcionar criterios racionales para decidir si debe o no implementarse el proyecto, en caso en que la respuesta sea afirmativa se evalúa que alternativa se elige y en general, el criterio a seguir es “aquella alternativa que genere el mayor impacto al menor costo”. 2.- Evaluación de procesos: Se realiza durante la implementación y busca detectar las dificultades en la programación, administración, control, etc., si las hubiera. Se trata de una evaluación periódica. La herramienta de evaluación es el monitoreo o seguimiento de las actividades previstas, pues busca mejorar la eficiencia de la ejecución. Este tipo de evaluación no permite evaluar los resultados o impacto del proyecto, sólo conocer el cumplimiento de actividades y la ejecución presupuestal. Así cuando se presenta datos de monto invertido, m2 construidos, número de ambientes remodelados, charlas impartidas, talleres de capacitación realizados, etc. no se está señalando nada acerca del resultado é impacto en el nivel de la población objetivo de una intervención social, sólo se refiere a las actividades realizadas y los insumos utilizados. 3.- Evaluación de resultados: Busca determinar si se ha cumplido con los objetivos específicos señalados en el proyecto o programa. Establece el nivel de eficacia en el cumplimiento del objetivo del proyecto y sirve para determinar las razones del éxito o fracaso. Generalmente este tipo de intervención se realiza al final del proyecto, o luego de transcurrido un tiempo de maduración. La evaluación de resultados sólo es posible si existen objetivos mensurables y si además se puede demostrar que estos resultados son la consecuencia de las actividades del proyecto. En síntesis, la evaluación de resultados revela si el proyecto o intervención entregó los productos esperados en el plazo previsto y con la financiación asignada. Por ejemplo: si uno de los objetivos específicos era incrementar la cobertura de atenciones en consulta externa, se podrá demostrar si se incrementaron estas atenciones; pero no sabremos si ello contribuyó a disminuir la tasa de morbilidad y/o mortalidad general, para lo cual se requiere de la evaluación de impacto.

_____________________________________________________________________________ 10 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

4.- Evaluación de impacto: La evaluación de impacto constituye la evaluación sustantiva de los resultados de una intervención o proyecto en el nivel de la población objetivo o beneficiaria. Generalmente, alude al cumplimiento del objetivo general del proyecto o programa (fin último), por ello debe realizarse luego de un tiempo de finalizada la intervención para estimar su sustentabilidad, entendida ésta no sólo en términos financieros, sino también en términos de cambio social. Busca apreciar en qué medida el proyecto eleva el bienestar de la comunidad, incorpora así los efectos secundarios y colaterales. La evaluación de impacto habitualmente requiere herramientas y técnicas especiales (encuestas o entrevistas) en el nivel de la población objetivo (una muestra representativa) para estimar los cambios que la intervención ha producido en ella. La metodología empleada en la evaluación ex - ante de proyectos del sector Salud es la de Costo Efectividad, donde el principal criterio para evaluar proyectos es el impacto sobre la salud de los pacientes y los costos necesarios para lograr ese impacto. Sin embargo, dado que actualmente no se dispone de información para la obtención de indicadores de costo efectividad, se optó por incorporar criterios de costo-eficacia, más orientados a las relaciones entre los resultados, productos y costos. Ejemplo de indicadores costo efectividad: i) Costo del período relevante / Reducción de tiempo de discapacidad (recuperación / rehabilitación). ii) Costo del período relevante / Incremento del tiempo de vida saludable (prevención / promoción). Entre los indicadores costo eficacia más utilizados tenemos: i)

Costo total actualizado/ pacientes atendidos, y

ii)

Costo total actualizado/atenciones integrales.

Se debe tener en cuenta que para que un proyecto sea efectivo debe lograrse el objetivo propuesto, es decir que el servicio llegue a las personas con la necesidad identificada, en otras palabras, debe ser eficaz. La evaluación de la efectividad de un servicio, implica conocer la situación antes y después de las acciones. Así, pueden haber proyectos eficientes, pero que no logran los impactos deseados, es decir no son eficaces. Cuando se sostiene que la evaluación mide “hasta qué punto un proyecto alcanza ciertos objetivos”, también se debe tener en cuenta que esta definición tiene dos riesgos:

_____________________________________________________________________________ 11 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

a.- Cuando en el estudio de preinversión se han sobreestimado las metas, el resultado de la evaluación puede conllevar a que un proyecto se considere fracasado aún cuando desde otra perspectiva pueda haber sido exitoso. b.- Cuando en el estudio de preinversión se han subestimado las metas, el resultado de la evaluación puede ser “inadecuadamente positivo”. En tal sentido, el equipo que se encargue de realizar la evaluación de los procesos deberá incorporar en el informe final un análisis previo de la coherencia y validez de los supuestos considerados para la estimación de las metas que conllevarán a lograr los objetivos del proyecto.

_____________________________________________________________________________ 12 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

X.- ESTRATEGIA DEL SISTEMA DE EVALUACIÓN Y SEGUIMIENTO El diseño de una estrategia de evaluación comprende la determinación de las políticas, programas y proyectos que deberían ser evaluados, la definición de los resultados esperados y el lapso de tiempo que deberían tomar, la selección de un diseño de evaluación y la obtención de los datos necesarios.

10.1 Decisión de lo que debe ser evaluado Para constatar la tendencia de la intervención del Estado en el mejoramiento de las condiciones de salud de la población en el país, podríamos ver cuatro aspectos: análisis de la demanda en salud, la cobertura de atención por financiamiento de la demanda, la cobertura de atención por financiamiento de la oferta y la cobertura de atención por reestructuración de la gestión de servicios de salud. Los resultados obtenidos pueden ser evaluados desde el punto de vista de la eficacia y eficiencia. Para el análisis de la demanda, una información importante es el análisis de la situación de salud proporcionada por INEI en las Encuestas Nacionales de Hogares, además del análisis de la situación de entorno, con las que se podrá estimar la cantidad de personas que se sintieron enfermas y/o sufrieron accidente, la demanda efectiva, los establecimientos que consulta la población, la demanda insatisfecha y las causas de ello. Con el análisis de la cobertura de atención por financiamiento de la demanda es posible evaluar el resultado de la aplicación de los sistemas de aseguramiento a la población de escasos recursos económicos; la información utilizada en este análisis será el propio registro de población asegurada; si se incorpora además información del nivel de pobreza de la población asegurada, se podrá verificar si la población beneficiada con este aseguramiento corresponde a la población objetivo de esta política. Con el análisis de la cobertura de atención por financiamiento de la oferta, se podrán evaluar aquellas intervenciones del Estado para mejorar la oferta de servicios de salud, para ello se puede utilizar información de producción de los diferentes establecimientos de salud referente al número de atendidos y atenciones, pudiéndose incorporar además información referente a la condición de pobreza de las nuevas personas atendidas, con la que podemos evaluar si se avanza a alcanzar la equidad y la eficacia en la atención de servicios de salud. Así por ejemplo, si se encontrara que se produce un incremento en el número promedio de atenciones por paciente, pero no necesariamente la incorporación de nuevos pacientes, se estaría observando que se está mejorando la eficacia, pero no necesariamente la equidad.

_____________________________________________________________________________ 13 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

El análisis de la cobertura de atención por reestructuración de la gestión de establecimientos nos permitirá analizar el efecto de las acciones de mejoramiento de la gestión de los establecimientos, con la implementación de los sistemas de redes y microrredes, se ha capacitado personal, se ha iniciado la calificación de usuarios según nivel de pobreza y con la puesta en marcha de sistemas de información y monitoreo. Para esto, se puede utilizar información histórica de producción de los diferentes establecimientos de salud que conforman la red en análisis, referente al número de atendidos y atenciones, incorporando información de referencias de pacientes de los establecimientos de menor a mayor nivel de complejidad, con la que se podrá hacer un análisis de comparación de la producción de servicios antes y después de la intervención. Además, es posible evaluar la eficiencia del uso de los recursos para la producción de servicios de salud, sus costos operativos y la sostenibilidad financiera, a través del análisis de los ingresos. En general, es recomendable que todos los proyectos cuenten con el respectivo seguimiento y evaluación, pero si se trata de priorizar lo que debe ser evaluado, habría que considerar lo siguiente: -

Las zonas donde se registran altos indicadores de morbilidad y mortalidad. Población beneficiaria ó grupos poblaciones con características socioculturales específicas, de difícil acceso, donde existe gran incertidumbre respecto a los resultados de aplicación del proyecto. - Si la evaluación considerada nos permitirá conocer las dificultades encontradas en la implementación del proyecto y por consiguiente nos ayudará a decidir su ampliación a otras zonas ó su reestructuración. - Cuando en el proyecto se han considerado métodos innovadores para la solución del problema.

10.2.- Enfoque y metodología La estrategia del sistema de seguimiento y evaluación se ha planteado pensando en verificar el grado de cumplimiento de los objetivos y determinar los impactos reales del proyecto, programa y política, según sea el caso. La contribución de un proyecto en términos de resultados económicos, sociales, ambientales, etc.) está dada por la diferencia entre la nueva situación (con el proyecto en operación) y la situación original (sin proyecto). Una buena medición de los efectos asociados al proyecto se obtiene del contraste entre dos fotografías, antes y después. Para facilitar un buen proceso de evaluación ex post ó evaluación de impacto, la dependencia responsable del proyecto, en cada fase, debe proponerse efectuar el “registro sistemático” de los avances, logros, problemas y forma como se van enfrentando sobre la marcha, es decir implementando el sistema de seguimiento y control de resultados. _____________________________________________________________________________ 14 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

El seguimiento de resultados y la evaluación de impacto son dos actividades diferentes pero sumamente complementarias. Ambas están dirigidas a la recopilación y análisis sistemáticos de la información que tiene un impacto en la salud de la población. Sin embargo difieren en sus necesidades de información, en las cuestiones metodológicas y en su uso final.

Principales diferencias entre el control de resultados y la evaluación de impacto Aspecto Objetivos

Control de resultados Seguir los cambios de los resultados de los proyectos (metas) a medida que pasa el tiempo.

Datos necesarios

Datos al nivel del ámbito del proyecto, programa y/o plan recopilados a intervalos frecuentes.

Metodología

Comparación de indicadores a medida que pasa el tiempo.

Evaluación de impacto Evaluar los cambios en los resultados a nivel de la salud de la población, debidos a unas medidas públicas específicas y evaluar los impactos sobre diferentes grupos de la población. Datos de una población representativa de la población beneficiaria recopilados por lo menos en dos oportunidades, antes y después de la puesta en práctica de una política o un programa. Comparación de los indicadores antes y después de la intervención y entre unos grupos comparables de participantes y no participantes.

La evaluación en sus propósitos de: a) verificar si el proyecto ha valido la pena como esfuerzo de inversión para resolver un problema, b) derivar propuestas de mejoramiento a futuros proyectos, recorre el ciclo del proyecto e indaga por la forma como se han realizado las tres fases: formulación, ejecución y operación. Cuando la evaluación comprende un paquete de proyectos dentro de la institución, o un programa interinstitucional, deberá efectuarse el análisis ex post vs ex ante, tanto para cada proyecto, como para el conjunto. Generalmente, por razones prácticas, cuando se evalúa un programa configurado por un número significativo de proyectos, se efectúa la evaluación sobre una muestra, con el fin de derivar conclusiones en el nivel individual de los proyectos seleccionados, así como en el nivel agregado del programa.

_____________________________________________________________________________ 15 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Un buen instrumento para abordar la evaluación es el Marco Lógico. Este no sólo provee elementos esenciales para la evaluación, sino que sirve de referencia para orientar la identificación de información adicional y el diseño de elementos complementarios para el análisis. Por ejemplo, en la fila del propósito, dado que la cobertura está en función de los recursos productivos, costos operativos e ingresos percibidos, dentro del análisis a efectuar también revisaremos el programa de requerimientos, costos de producción e ingresos por toda fuente de financiamiento.

Instrumento de evaluación: Matriz de marco lógico Preguntas Niveles de objetivos del marco lógico básicas Concepto Indicador Verificación Supuesto ¿Cuál es la Fin contribución al desarrollo del Sector? ¿Cuál fue el Propósito grado de solución al problema? ¿Qué se Componente entregó?

Atributos a evaluar ¿Impacto?. ¿Contribución?. ¿Sostenibilidad?.

¿Cobertura?. ¿Déficit?. ¿Calidad de atención?. ¿Cantidad? ¿Calidad? ¿Costo? ¿Cronología? ¿Cómo se Actividad ¿Tiempo? hizo? ¿Costo? ¿Calidad? Los indicadores del marco lógico servirán de referencia para la comparación de la situación sin proyecto, con la situación con proyecto y nos permitirá medir el avance logrado respecto a las metas trazadas.

Una vez que se dispone del análisis de objetivos y de sus niveles de logro mediante el marco lógico, es necesario abundar en información con mayor especificidad, para lo cual se requerirá aplicar una gama de elementos complementarios. La metodología propone el análisis del ciclo del proyecto mediante la verificación de los siguientes aspectos: 1. 2. 3. 4. 5. 6. 7. 8.

El problema o necesidad identificada. El proyecto como solución al problema (pertinencia). Objetivos del proyecto (% de cumplimiento de objetivos). Cobertura (índice de cobertura = real (fase operación) / teórica (proyecto)). Brecha (índice de brecha = real (fase operación) / teórica (proyecto)). Dimensionamiento (¿adecuado, sobre o subdimensionado?). Localización (análisis ex ante: ¿adecuada?, ¿se ha cumplido?). Aspectos técnicos (análisis ex ante; ¿cumplimiento de especificaciones?).

_____________________________________________________________________________ 16 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

9. Aspectos ambientales (análisis ex ante, balance ambiental). 10. Aspectos institucionales (capacidad para la ejecución y para la operación). 11. Costos de inversión (índice de costos). 12. Tarifas (¿han variado las tarifas de la situación ex ante?) 13. Esfuerzo de financiación (de la entidad ejecutora, adicional al aporte del Estado). 14. Desembolsos (grado de cumplimiento y análisis de factores externos e internos). 15. Ejecución. (índice de cumplimiento: plazos). 16. Evaluación económica (costo eficacia). 17. Sostenibilidad (análisis integral (social, técnico, institucional, financiera) sobre condiciones de continuidad y expansión). 18. Impacto del proyecto (verificación de eficacia en función del problema y del entorno).

10.3 Obtención de información Para la obtención de información se puede acudir a los siguientes procedimientos: -

-

Investigación documental: especialmente sobre los estudios de preinversión, los informes de avance del proyecto, los registros y estados financieros y la información sobre productos y resultados. Recopilación de información estadística sobre el proyecto y su entorno. Verificación y comprobación de hipótesis por observación directa. Recolección de información por visitas a terreno y entrevistas con los diferentes actores sociales relacionados con el proyecto y su ambiente. Procesamiento, estimación y análisis de indicadores de evaluación.

Ejemplos de fuentes de datos para la evaluación: • Encuestas nacionales de hogares (ENAHO). • Estudios de medición del nivel de vida (ENNIV). • Encuestas demográficas y sobre la salud (ENDES). • Encuestas especiales realizada por universidades, ONG, grupos consultores. • Datos de seguimiento para administradores de programas de salud existentes (identificación de beneficiarios según nivel de pobreza, población asegurada por el SIS, producción de servicios, sistema de referencia y contrarreferencia, costos operativos: recursos humanos, insumos, servicios, mantenimiento). • Estudios de casos de proyectos. Por tal motivo, es de suma importancia fortalecer los sistemas de registro de información estadística tanto de los establecimientos de salud, redes, microrredes y de las Direcciones Regionales de Salud que permita facilitar el sistema de seguimiento y evaluación de proyectos.

_____________________________________________________________________________ 17 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Algunas evaluaciones podrían necesitar la recopilación de nuevos datos. Si ese es el caso, es importante estar al tanto de la capacidad institucional adicional y de los demás recursos que se requieran para la tarea de recopilación de datos. Cuando la necesidad de datos es de la más alta importancia y la capacidad institucional es débil, es importante coordinar esfuerzos con las instituciones, bien sea públicas o no públicas, para diseñar instrumentos que puedan recopilar la información que pueda servir para la más alta cantidad de propósitos posible. Es importante tener como criterio el gasto y tiempo que demandaría la obtención de información adicional, comparados con los beneficios que esta proporcionaría en este proceso de control de resultados.

10.4 Uso de los resultados de la evaluación y seguimiento El seguimiento de los resultados y la evaluación del impacto no son actividades técnicas aisladas. Su propósito principal es de presentar una imagen del estado de la salud de una población en una región o país en diferentes épocas, con una clasificación por grupos poblacionales ó ciclos de vida, según lo apropiado. Son íntimamente vinculados al proceso de toma de decisión en todos los niveles y proveen retroacción a los directores de proyectos, a los responsables de las políticas y a la sociedad civil. Por tanto, un elemento crucial de la estrategia de seguimiento de resultados y de evaluación de impacto es la producción de un proceso de retroacción. Un proceso de retroacción es un mecanismo por medio del cual el seguimiento y los resultados de la evaluación son difundidos y utilizados para evaluar el progreso general de los esfuerzos de mejorar las condiciones de salud y para decidir el camino a seguir. Consta de dos componentes: una estrategia de difusión y un vínculo claro entre las actividades de seguimiento y de evaluación y la estrategia planteada. La difusión de los resultados del seguimiento y de la evaluación considera generalmente una amplia gama de auditorios que incluye los responsables de la política, los directores de programas, los beneficiarios de los programas, el público en general, los medios de comunicación y los académicos. Por lo tanto, los resultados del seguimiento y de la evaluación darían información sistemáticamente para las estrategias, las cuales a su vez, podrán determinar las asignaciones presupuestarias. En particular, es conveniente una evaluación anual del progreso sobre la ejecución de las estrategias planteadas. Con ello se conocería si las metas se han alcanzado, indicando las razones por cualquier diferencia existente entre los resultados deseados y los resultados reales. Además, podría examinar cualquier modificación necesaria a la estrategia para reforzar su ejecución que se haya sugerido con los resultados obtenidos de las actividades de seguimiento y evaluación. Para que sean útiles, los resultados del seguimiento y evaluación deberían estar disponibles cuando se necesiten.

_____________________________________________________________________________ 18 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

10.5 Papeles potenciales de los organismos para la evaluación y seguimiento El seguimiento de los resultados y la evaluación del impacto comprenden la participación de varios organismos dentro y fuera del gobierno. Dentro del gobierno, la participación de varios organismos en diferentes niveles también es importante. Por ejemplo, el Ministerio de Salud tiene un papel más importante para el diseño, el seguimiento y el aporte de respaldo a toda la estrategia de seguimiento y evaluación, mientras el INEI y otras fuentes estadísticas pueden ser esenciales para proveer la información necesaria. El Ministerio de Salud está en buena posición para coordinar el diseño, seguimiento y el respaldo para las actividades de seguimiento y evaluación. Los Órganos de Línea del MINSA están generalmente encargados de la coordinación y supervisión de los programas. Por lo tanto, juegan un papel importante en la supervisión de la ejecución de las actividades de seguimiento y evaluación a nivel sectorial. La Oficina General de Planeamiento Estratégico a través de la Oficina Ejecutiva de Proyectos de Inversión realiza el monitoreo de las actividades de seguimiento y evaluación de los proyectos de inversión pública en sus fases de inversión y operación, orientando a las Unidades de Proyectos de Inversión de las Direcciones Regionales de Salud, para que a su vez realicen el seguimiento y evaluación de los proyectos en el ámbito de su competencia. La Oficina General de Estadística e Informática del Ministerio de Salud, puede aportar información valiosa respecto a la producción de servicios en los diferentes establecimientos de salud. Los Organismos Ejecutores de los proyectos están encargados de la gestión de los proyectos y programas y son responsables de que la ejecución sea hecha correctamente y según el cronograma establecido, además son responsables de proveer la información necesaria para el proceso de seguimiento y evaluación. El Instituto Nacional de Estadística e Informática es proveedor esencial de datos, además de tener experiencia en la recopilación de los mismos. Los beneficiarios de los programas pueden proveer información sobre la calidad de los servicios. Los organismos de asistencia al desarrollo pueden ayudar en el desarrollo de la capacidad de seguimiento y evaluación con la prestación de asistencia técnica, que incluya consejos, pericia, organización de seminarios, capacitación, identificación de consultores competentes y de la preparación de documentación de orientación que incluya ejemplos de estudios de casos.

_____________________________________________________________________________ 19 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Las actividades de seguimiento y evaluación se tendrán que ir implementando gradualmente. Inicialmente este proceso se realizará tomando las capacidades y actividades existentes de seguimiento y evaluación a nivel del Ministerio de Salud, que incluye la participación de las Direcciones Regionales de Salud y Gobiernos Regionales.

CICLO CICLO DE DE VIDA VIDA DEL DEL PROYECTO PROYECTO DE DE INVERSIÓN INVERSIÓN PÚBLICA PÚBLICA SEGUIMIENTO Y EVALUACIÓN PRE-INVERSIÓN

aprobado

PrePerfil

Factibilidad Unidad Formuladora

INVERSIÓN

Declaración de Viabilidad Factibilidad

POSTINVERSIÓN

autorizado

Expediente Ejecución Operación Técnico Unidad Ejecutora

DIRESA

_____________________________________________________________________________ 20 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

XI.- METODOLOGÍA DE EVALUACIÓN Y SEGUIMIENTO El diseño de un sistema de evaluación y seguimiento implica identificar los objetivos y metas, con los correspondientes indicadores en los diferentes niveles de desglose y determinar la información necesaria, la frecuencia de seguimiento, que permitirá la comparación de los indicadores a medida que pasa el tiempo. Además, para el análisis de los resultados se requiere conocer los criterios generales de evaluación y los parámetros establecidos en las normas sectoriales vigentes. Previamente al inicio del proceso de evaluación de resultados es interesante conocer si el proyecto a evaluar estuvo incluido en el Plan Multianual de Inversión Pública, a fin de verificar si este proyecto surgió de un proceso de planificación. Además, es de interés conocer si existen otros proyectos en el ámbito de influencia que puedan influir en el logro de las metas previstas (ej.: creación, mejoramiento ó ampliación de otro establecimiento en el ámbito de influencia, ya sea del MINSA, municipal ó privado).

Objetivos Fin último:

PLAN Y/O

“Disminuir la tasa de

PROGRAMA

morbilidad general”

Objetivo central: PROYECTOS

“Incrementar cobertura de Servicios de Salud”

Evaluación de Impacto:

“Medir efectividad”

Evaluación de Resultados:

“Medir eficacia”

Actividades:: -Ampliación de infraestructura. - Adquisición de equipos. - Capacitación a personal Asistencial.

Evaluación de procesos:

“Medir eficiencia”

_____________________________________________________________________________ 21 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

La evaluación de impacto se realiza generalmente a nivel de planes y/o programas, según sea el caso, considerando que un programa está conformado por un conjunto de proyectos que contribuyen a un mismo fin; a su vez un plan puede estar conformado por un conjunto de programas que contribuyen a lograr un mismo fin. Luego, en la evaluación de impacto se evaluará la efectividad de los programas y proyectos en la salud de la población, es decir los cambios en los indicadores de la salud de la población, para ello será necesario que a nivel de plan, programas y proyectos se haya definido la línea basal ó punto de partida del proyecto, que contiene los indicadores a una fecha anterior al inicio del proyecto. Los indicadores de impacto podrían ser: tasas de morbilidad, tasas de mortalidad ó prevalencia de discapacidad de un grupo poblacional. Un indicador de resultado podría ser la cobertura de servicios a determinado grupo poblacional. La evaluación de impacto se realiza una vez culminado el horizonte de evaluación del proyecto, pero es necesario que durante la fase de implementación (inversión y operación) se realice el seguimiento respectivo, con la finalidad de recoger información del progreso del logro de los objetivos y metas previstas tanto en la inversión como en la operación. En la evaluación de resultados realizada en la fase de operación se examinará la tendencia en el logro de los objetivos y metas previstas. Se medirá la eficacia alcanzada por el proyecto. En la evaluación del proceso de inversión se examinará la eficiencia alcanzada en la ejecución de las metas previstas.

11.1. Metodología de evaluación y seguimiento de la ejecución de la Inversión Información básica: Seguimiento: En la etapa de seguimiento el objetivo es obtener información de las metas alcanzadas, costo y tiempo de ejecución. Evaluación: En la etapa de evaluación se realiza la comparación de la información obtenida durante el seguimiento realizado, respecto a las metas previstas en el proyecto. En la fase preoperativa se encuentra la inversión, con la cual se ejecutan las actividades previstas que permitirán alcanzar los objetivos propuestos. En esta evaluación se medirá la eficiencia con que se ha ejecutado la inversión.

_____________________________________________________________________________ 22 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Paso 1: Identificación de Objetivos y Metas Un primer aspecto será conocer el problema o necesidad identificada en el proyecto, luego se analiza la pertinencia del proyecto, es decir, el proyecto como solución al problema, los objetivos planteados y las actividades a ejecutar para el logro de los mismos. En esta parte es conveniente verificar si el dimensionamiento del proyecto es adecuado, su localización y cumplimiento de aspectos técnicos normativos. En esta etapa se identifica los componentes de la inversión. Los componentes más frecuentes de los proyectos de inversión en salud son: infraestructura, equipamiento y capacitación. En cada uno de estos componentes se programan actividades. En el componente de infraestructura, las actividades más habituales son: • Elaboración de los estudios definitivos y expediente técnico. • Aprobación del Expediente Técnico. • Proceso de selección y contratación. • Ejecución de obra. • Supervisión de obra. • Recepción de obra. • Liquidación de obra. • Transferencia de obra. * El terreno donde se realiza la obra civil debe contar con el saneamiento físico legal correspondiente. En el componente equipamiento, las actividades más habituales son: • Elaboración del Expediente Técnico. • Aprobación del Expediente Técnico. • Proceso de selección y contratación (orden de compra). • Entrega de bienes. • Liquidación. • Entrega de bienes a beneficiarios. En el componente de capacitación, las actividades más habituales son: • Elaboración de los términos de referencia de la capacitación a realizar. • Selección del capacitador o capacitadores. • Elaboración de material de capacitación. • Talleres y/o otras actividades de capacitación. Si existieran otros componentes de inversión, también habrá que señalarlos indicando las actividades previstas.

_____________________________________________________________________________ 23 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Paso 2: Parámetros para la evaluación Teniendo en cuenta las actividades que corresponden a cada componente de la inversión, se ha considerado los siguientes parámetros: Componente Infraestructura En el componente de infraestructura las líneas de intervención se caracterizan por incluir: remodelación y/o rehabilitación, así como también reconstrucción y/o construcción nueva. En todos los casos, los parámetros de comparación serán cuantitativos y cualitativos. - Cuantitativos: Se requiere comparar el número de unidades definidas en el estudio de preinversión, respecto del número de unidades ejecutadas. Metas: • Número de metros cuadrados remodelado, rehabilitado y/o construido. • Número de unidades productoras de servicios: consultorios, sala de operaciones, sala de partos, ambientes de hospitalización, tópicos, etc. Monto de inversión. • Costo de estudios definitivos y elaboración de expediente técnico. • Costo de ejecución de obra. • Costo de supervisión y liquidación de obra. Plazo de ejecución: A fin de comparar el plazo de ejecución estimado en el estudio a nivel de perfil, respecto del tiempo en que se llevó a cabo la fase de inversión del proyecto, en sus diferentes etapas: ƒ Elaboración de expediente técnico. ƒ Contratación de ejecución de obra. ƒ Ejecución de obra. ƒ Recepción de obra y liquidación. ƒ Entrega y recepción. Medios de verificación: ƒ Estudio de preinversión con el que se obtuvo la viabilidad. ƒ Expediente técnico. ƒ Resolución de aprobación de expediente técnico. ƒ Bases y/o Términos de Referencia para proceso de selección. ƒ Acta de adjudicación y/o licitación de obra. ƒ Contrato de supervisor. ƒ Acta de recepción de obra, resolución de aprobación de liquidación de obra. ƒ Acta de Transferencia de obra a entidad del sector salud.

_____________________________________________________________________________ 24 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Cualitativos: Se refiere a: • Material de construcción empleado: material noble, adobe, drive wall u otros. • Características visibles de la construcción: Se deberá describir si se encuentra en buen estado ó presenta deficiencias en acabados, estructuras, instalaciones sanitarias, instalaciones eléctricas, etc. • Características funcionales: Se deberá describir si la construcción efectuada se articula adecuadamente con los servicios relacionados teniendo en cuenta lo establecido en las normas de arquitectura de establecimientos de salud. Componente Equipamiento En el componente de equipamiento las líneas de intervención se caracterizan por incluir: adquisición de equipos, mobiliario e instrumental. Muchas veces también se incluye unidades móviles (ambulancia, moto y/o camioneta). Estas adquisiciones se realizan dado que a la fecha no existen ó para reemplazar equipos existentes en estado obsoleto. Los parámetros de evaluación serán cuantitativos y cualitativos. Cuantitativos: Se requiere comparar el número de unidades definidas en el estudio de preinversión, respecto del número de unidades ejecutadas. Metas: • Número de unidades adquiridas, según sea el caso (equipos, mobiliario, instrumental y/o unidad móvil). Monto de inversión. • Costo de elaboración de expediente técnico. • Costo de adquisición de equipos. Plazo de ejecución: A fin de comparar el plazo de ejecución estimado en el estudio a nivel de perfil, respecto del tiempo en que se llevó a cabo la fase de inversión del proyecto, en sus diferentes etapas: ƒ Elaboración de expediente técnico. ƒ Proceso de selección del proveedor. ƒ Recepción y entrega de equipos al establecimiento. Medios de verificación: ƒ Estudio de preinversión con el que se obtuvo la viabilidad. ƒ Expediente técnico. ƒ Resolución de aprobación de expediente técnico. ƒ Bases y/o Términos de Referencia para proceso de selección. ƒ Acta de adjudicación de Buena pro. ƒ Contrato u Orden de Compra. ƒ Acta de recepción de obra, resolución de aprobación de liquidación de obra. ƒ Acta de Transferencia de equipos a entidad del sector salud y/o PECOSA. Cualitativos: Se refiere a: • Características visibles del equipo: Se deberá indicar si se encuentra en buen estado y en funcionamiento.

_____________________________________________________________________________ 25 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Componente Capacitación Generalmente se consideran talleres de capacitación en tal sentido, se procurará ubicar información de la unidad de capacitación respecto a: • Actividades realizadas. • Personas capacitadas (población, personal asistencial, personal administrativo). • Ejecución de gastos por concepto de ponentes, elaboración de material de capacitación, carpetas de trabajo de los participantes, etc. • Plazo de implementación.

Paso 3: Identificación de Indicadores Nos interesa conocer: ¿en qué grado se ha logrado cumplir el objetivo o la meta propuesta? (cantidad y calidad), ¿a qué costo operativo? y ¿si además del proyecto evaluado se han realizado otras intervenciones en los servicios en evaluación?. De acuerdo a esto se han definido indicadores según tipo de servicio: a) b) c) d) e)

Indicadores de cumplimiento de metas (cuantitativo y en términos porcentuales). Indicadores de eficiencia en el procesamiento de información estadística (cualitativo y cuantitativo). Indicadores de costos operativos (cantidad). Indicadores de ingresos operativos (cantidad). Indicadores de costo eficacia (cantidad).

Para ello se ha preparado formatos que pueden ser usados por los evaluadores como hojas de trabajo para levantar información y cálculo de indicadores, donde se encuentran además los principales criterios de evaluación. Después de identificar los objetivos (actividades) y los parámetros de medición de cada una de ellas, se debe identificar los indicadores para medir el progreso hacia esos objetivos. Rara vez un solo indicador puede reflejar la medida en la cual un objetivo dado se ha realizado. Es posible identificar tanto indicadores intermedios, como indicadores finales para cada objetivo. Los indicadores son relaciones cuantitativas entre dos cantidades susceptibles de ser observadas y medidas, asociadas a eventos determinados y que por sí solos no son relevantes, sino que adquieren importancia cuando se les compara con patrones de referencia o con el mismo tipo de cantidades o variables, correspondientes a períodos anteriores. Por lo tanto, los indicadores constituyen instrumentos y sus resultados insumos para el análisis e interpretación de los fenómenos relacionados con el quehacer de los servicios de salud.

_____________________________________________________________________________ 26 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Son indicadores finales cuando miden un objetivo final o el efecto de una intervención sobre el bienestar de la población, se denominan también indicadores de impacto ó indicadores de resultado, según sea el caso. Por ejemplo, la disminución de la tasa de mortalidad materna se puede considerar como un objetivo final y la tasa de mortalidad materna un indicador de impacto. Así también, el incremento de gestantes que acceden a control pre natal se puede considerar como objetivo central y la cobertura de control pre natal se puede considerar como un indicador de resultado. Son indicadores intermedios cuando miden un factor que determina un resultado o contribuye al proceso de lograr un resultado, se denominan también indicadores de aporte ó indicadores de producto, según sea el caso. Por ejemplo: una medida de los gastos públicos para establecimientos de salud y personal sería un indicador de aporte, mientras que el número de consultorios, área construida, equipos adquiridos son indicadores de producto. Un aspecto a tener en cuenta es que los indicadores de aporte y producto ayudan a alcanzar el objetivo central y por tanto contribuyen a lograr el objetivo final. Los datos sobre los indicadores intermedios pueden generalmente ser recopilados a través de los sistemas de seguimiento, mientras los datos sobre los resultados ó impactos normalmente deben ser recopilados de los beneficiarios y necesitan de encuestas a la población. Ambos indicadores, los finales (resultado e impacto) y los intermedios (aporte y producto) son importantes. El examen de los indicadores finales ayuda a juzgar el progreso hecho hacia las metas fijadas. Sin embargo, estos indicadores cambian generalmente más lentamente con el tiempo y sus resultados están en función de muchos factores, algunos fuera del control de los responsables de la política y de los administradores de los programas. El examen de los indicadores intermedios da una imagen más correcta de lo que está ocurriendo. Estos indicadores cambian por factores que los administradores de los programas y otros agentes controlan y sobre los cuales es más fácil recoger información. El seguimiento y vigilancia de los aportes y de los productos puede ayudar a identificar cuáles de los varios factores que influencian un resultado no está en buen camino e indicar las medidas correctivas que se debería tomar. Los indicadores intermedios que son más útiles para seguir la marcha del progreso hacia un impacto o resultado son los que se refieren a los determinantes esenciales de ese impacto o de ese resultado y que varían según las zonas o grupos poblacionales al pasar el tiempo. Los indicadores finales e intermedios podrían ser completados con otros indicadores escogidos para medir el rendimiento general del país, a fin de contar con información del contexto en el cual la estrategia del plan o programa se está llevando a cabo.

_____________________________________________________________________________ 27 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

La decisión al nivel de desglose de indicadores es tan importante como la selección de los indicadores mismos. En la presente metodología para plantear los indicadores de resultado, según los cuales se realizará la evaluación de los resultados de la intervención realizada y los indicadores de aporte y de producto que nos permitirán realizar el proceso de seguimiento se ha tenido en cuenta lo siguiente: √ ¿Qué nos interesa medir en el proceso de seguimiento? Nos interesa medir: • ¿Cuánto se ha ejecutado? (cantidad). • ¿Qué se ha ejecutado y de qué tipo? (descripción y calidad). • ¿Cuándo y en que tiempo se ejecutó?. De acuerdo a esto se han definido indicadores intermedios para medir: • Inversión realizada según componentes y actividades. • Metas realizadas según componentes y actividades. • Plazo de implementación, según componentes y actividades. • Cumplimiento de normatividad vigente para arquitectura de establecimientos de salud, según componentes (infraestructura, equipamiento y capacitación). Además se han definido indicadores totales de inversión, plazo de implementación, cumplimiento de metas, cumplimiento de normatividad vigente para arquitectura de establecimientos de salud, donde se consolida lo evaluado anteriormente por componente. Para ello se ha preparado formatos que pueden ser usados tanto en la fase de seguimiento como en la fase evaluación, como hojas de trabajo para levantar información y cálculo de indicadores; allí se indican además los principales criterios de evaluación. √ ¿Qué implica la evaluación ó examen de los indicadores obtenidos? Implica conocer cuan eficiente fue la fase de inversión del proyecto y si se consiguió alcanzar las metas previstas en el estudio de preinversión aprobado, con el que se obtuvo la viabilidad del proyecto. Luego, se proponen los siguientes indicadores: Indicadores del Componente Infraestructura Monto de inversión: En la hoja de trabajo elaborada se han considerado en este rubro información complementaria de metas desagregadas según tipo de intervención en infraestructura: demolición, remodelación, rehabilitación, construcción nueva, con sus correspondientes montos de inversión, tanto en la fase de preinversión como en la fase de operación; así mismo, se formulan preguntas relacionadas al estado de la infraestructura, articulación funcional con la infraestructura existente, cumplimiento de requisitos de la normatividad vigente de arquitectura de establecimientos de salud y propiedad del terreno, a fin de que el evaluador tenga mayores elementos de juicio para emitir sus apreciaciones en la fase de evaluación. _____________________________________________________________________________ 28 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Indicadores de inversión: En la etapa de seguimiento: • Monto del exp. técnico / Monto de la estimación del estudio de preinversión. En la etapa de evaluación: • Monto ejecutado / Monto de la estimación del estudio de preinversión. Esta es la forma en que se desarrolla en la hoja de cálculo: d) ¿Existen variaciones en la fase de inversión respecto a lo estimado en la fase de preinversión, ? PREINVERSIÓN

d.1) Infraestructura - Actividades

Und.

Cantidad

INVERSIÓN Monto (S/.)

Und.

Demolición

m3

m3

Remodelación

m2

m2

Rehabilitación

m2

m2

Construcción Nueva TOTAL

m2

INDICADOR 1 : INVERSIÓN =

Monto (S/.) del Exp. Técnico (2)

Cant.

Monto contratado

Monto ejecutado

m2 (1)

(2)

( (2) x 100 ) / (1)

Metas: En esta parte se ha desagregado las metas según unidad de servicio a intervenir, dado que en cada una de ellas se encuentran ambientes que constituyen unidades productoras de servicios y que en el estudio de preinversión se determinan en función a la demanda existente y la oferta optimizada. Así en consulta externa, tenemos los consultorios; en emergencia, los consultorios-tópico; en hospitalización, los ambientes dimensionados según el número de camas; en el centro quirúrgico, la sala de operaciones; en el centro obstétrico, la sala de partos, etc. Por tanto, es de interés verificar que la inversión realizada respete el tamaño del proyecto definido en el estudio de preinversión en cuanto a unidades productoras de servicios, no obstante, van a existir variaciones en la definición del área total por efecto de estimaciones de áreas complementarias, área de circulación, área verde, área de muros, etc. En tal sentido, se han planteado dos tipos de indicadores. Indicadores de Metas: Metas Ejecutadas / Metas Previstas en estudio de preinversión • Número de metros cuadrados remodelado, rehabilitado y/o construido / Número de metros cuadrados a remodelar, rehabilitar y/o construir. En la hoja de trabajo diseñada se plantea de la siguiente forma:

_____________________________________________________________________________ 29 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________ PREINVERSIÓN RemodeRehabililación tación (a) (b)

Construcción (c)

INVERSIÓN RemodeRehabililación tación (d) (e)

Construcción (f)

- Intervención en:

Und.

Consulta externa

m2

m2

m2

Emergencia

m2

m2

m2

Hospitalización

m2

m2

m2

Centro quirúrgico

m2

m2

m2 m2

Und.

Und.

Centro obstétrico

m2

m2

Rayos X

m2

m2

m2

Laboratorio

m2

m2

m2

Nutrición

m2

m2

m2

Lavandería

m2

m2

m2

Casa de Fuerza

m2

m2

m2

Ambientes administrativos

m2

m2

m2

INDICADORES RemodeRehabiliConstruclación tación ción (g)=(d/a)x100 (h)=(e/b)x100 (i)=(f/c)x100

Metas Ejecutadas - Metas Previstas en estudio de preinversión • Número de unidades productoras de servicios construidos Número de unidades productoras de servicios a construir. En la hoja de trabajo diseñada se plantea de la siguiente forma: - Unidades Productoras de servicios Consulta externa Emergencia Hospitalización

Unidad

PREINVERSIÓN Area unit. (m2) (j) (k)

Cantidad

Area total (m2)

Unidad

INVERSIÓN Area unitaria (m2) (l) (m)

Cantidad

Area total (m2)

Unidad

Consultorios

Consultorios

Consultorios

Tópicos

Tópicos

Tópicos

Camas

Camas

Camas

Centro quirúrgico

Salas de operaciones

Salas de operaciones

Salas de operaciones

Centro obstétrico

Salas de partos

Salas de partos

Salas de partos

m2

m2

m2

m2

m2

m2

Rayos X Laboratorio

INDICADORES Area unitaria Cantidad (m2) (n) = (l) - (j) (o)=(m)-(k)

Plazo de ejecución: A fin de comparar el plazo de ejecución en que se llevó a cabo la fase de inversión del proyecto, respecto al tiempo estimado en el estudio a nivel de perfil, en sus diferentes etapas: ƒ ƒ ƒ ƒ ƒ

Elaboración de expediente técnico hasta su aprobación. Contratación de ejecución de obra. Ejecución de obra. Recepción de obra y liquidación. Transferencia de obra.

Indicador de plazo de implementación: Tiempo de ejecución – Tiempo estimado para ejecución

En la hoja de trabajo se presenta de la siguiente manera:

_____________________________________________________________________________ 30 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________ PREINVERSIÓN

- De los plazos

INVERSIÓN

Unidad

Expediente Técnico aprobado Proceso de selección y contratación Ejecución de Obra Recepción y liquidación Transferencia de obra

Cantidad (p)

meses meses meses meses meses

TIEMPO TOTAL meses INDICADOR 2 : PLAZO DE IMPLEMENTACIÓN

Unidad

INDICADOR

Cantidad (q)

Unidad

meses meses meses meses meses (3)

Cantidad (r) = (q) - (p)

meses meses meses meses meses (4)

meses

meses

(4) - (3)

Indicadores del Componente Equipamiento Monto de inversión: En la hoja de trabajo elaborada se han considerado en este rubro información complementaria de metas desagregadas según tipo de equipamiento: equipos biomédicos, mobiliario, instrumental, unidades móviles, en cuanto a unidades adquiridas ó por adquirir y al costo ejecutado y costo estimado. Así mismo, se incluyen preguntas para la fase de evaluación, respecto al estado del equipamiento adquirido y uso actual. Indicadores de Inversión: En la etapa de seguimiento: • Monto del exp. técnico / Monto de la estimación del estudio de preinversión. En la etapa de evaluación: • Monto ejecutado / Monto de la estimación del estudio de preinversión. En la hoja de trabajo se presenta de la siguiente manera: f) ¿Existen variaciones en la fase de inversión respecto a lo estimado en la fase de preinversión? PREINVERSIÓN f.1) Adquisiciones - Actividades Equipos biomédicos Mobiliario Instrumental Unidades móviles TOTAL INDICADOR 3 : MONTO DE INVERSIÓN

Unidad

Cantidad

Monto (S/.)

Und. Und. Und. Und.

Unidad

INVERSIÓN Cantidad

Monto (S/.) Exp. Téc.

Monto ejecutado (S/.)

Und. Und. Und. Und. (5)

(6)

( (6) x 100 ) / (5)

Metas: En esta parte se ha desagregado las metas según tipo de intervención (reemplazo de equipos existentes ó adquisición de equipos) y según tipo de equipamiento (equipos biomédicos, mobiliario, instrumental ó unidades móviles). Indicadores de Metas: Metas Ejecutadas - Metas Previstas en estudio de preinversión En la hoja de trabajo se presenta de la siguiente forma: _____________________________________________________________________________ 31 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________ EQUIPAMIENTO

PREINVERSIÓN

f.1 Equipos biomédicos

Und.

INVERSIÓN Cant. (s)

Und.

INDICADORES

Cant. (t)

Und.

Reemplazo de equipos exist.

Und.

Und.

Und.

Adquisición de equipos nuevos

Und.

Und.

Und.

Cant. (x) = (t) - (s)

f.2 Mobiliario Reemplazo de mobiliario exist. Adquisición de mobiliario nuevo f.3 Instrumental Reemplazo de instrumental exist. Adquisición de instrumental nuevos f.4 Unidades móviles Reemplazo de und. móviles exist. Adquisición de und. móviles nuevos

Und.

Und.

Und.

Und.

Und.

Und.

Und. Und.

Und. Und.

Und. Und.

Und. Und.

Und. Und.

Und. Und.

Plazo de implementación: A fin de comparar el plazo de ejecución en que se llevó a cabo la fase de inversión del proyecto, respecto al tiempo estimado en el estudio a nivel de perfil, en sus diferentes etapas: ƒ ƒ ƒ ƒ ƒ

Elaboración de expediente técnico hasta su aprobación. Contratación de proveedor. Entrega de equipos. Recepción y liquidación. Transferencia.

Indicador de plazo de implementación: Tiempo de ejecución – Tiempo estimado para ejecución En la hoja de trabajo se presenta de la siguiente manera: PREINVERSIÓN

- De los plazos

Unidad

INDICADOR

INVERSIÓN Cantidad (y)

Unidad

Cantidad (z)

Unidad

Expediente Técnico aprobado

meses

meses

meses

Proceso de selección y contratación

meses

meses

meses

Entrega de equipos

meses

meses

meses

Recepción y liquidación

meses

meses

meses

Transferencia

meses

TIEMPO TOTAL

meses

INDICADOR 4 : PLAZO DE IMPLEMENTACIÓN

meses (7)

meses

Cantidad (z')=(z)-(y)

meses (8)

meses

(8)

(8) - (7)

Indicadores del Componente Capacitación Monto de inversión: En la hoja de trabajo elaborada se han considerado en este rubro información respecto a donde está orientada la capacitación: personal asistencial, personal técnico, personal administrativo y/o población. Así mismo, se considera las actividades contempladas: talleres, charlas, otros y el monto de inversión requerido y ejecutado. Indicadores de Inversión: Monto ejecutado / Monto de la estimación del estudio de preinversión _____________________________________________________________________________ 32 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

En la hoja de trabajo se presenta de la siguiente manera: f) En el componente capacitación:

PREINVERSIÓN Sí

f.1 La capacitación está orientada a:

INVERSIÓN No

Sí

Monto (S/.)

Und.

No

f.1.1 Personal asistencial f.1.2 Personal técnico f.1.3 Personal administrativo f.1.4 Población PREINVERSIÓN

f.2 ¿Qué actividades se han contemplado? Und.

Cant.

INVERSIÓN Cant.

Monto (S/.)

f.2.1 Talleres f.2.2 Charlas f.1.3 Otros TOTAL INDICADOR 5 : MONTO DE INVERSIÓN

(9)

(10)

( (10) x 100 ) / (9)

Metas: En esta parte se ha desagregado las metas según tipo de intervención (talleres, charlas, otros). Indicadores de Metas: Metas Ejecutadas - Metas Previstas en estudio de preinversión En la hoja de trabajo se presenta de la siguiente forma: f.3 ¿Qué metas se han contemplado?

PREINVERSIÓN Und.

Cant.

INVERSIÓN

Monto (S/.)

Und.

Cant.

(a')

INDICADORES Monto (S/.)

Und.

(c')=(b')-(a')

f.2.1 Talleres

Und.

f.2.2 Charlas

Und.

f.1.3 Otros TOTAL

Cant.

(b')

Und. (11)

INDICADOR 6 : METAS

(12)

(12) - (11)

(12) - (11)

Plazo de implementación: A fin de comparar el plazo de ejecución en que se llevó a cabo la fase de inversión del proyecto, respecto al tiempo estimado en el estudio a nivel de perfil. Indicador de plazo de implementación: Tiempo de ejecución – Tiempo estimado para ejecución En la hoja de trabajo se presenta de la siguiente manera: f.4 ¿Se cumplió plazo de implementación?

PREINVERSIÓN Und.

INVERSIÓN Cant. (d')

Und.

INDICADORES Cant. (e')

Und.

f.2.1 Talleres

Und.

f.2.2 Charlas f.1.3 Otros

Und. Und.

TOTAL INDICADOR 7: PLAZO

(13)

(14)

Cant. (f')=(e')-(d')

(14) - (13)

(14) - (13)

_____________________________________________________________________________ 33 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Indicadores para la evaluación final de la fase inversión Monto de inversión: En la hoja de trabajo elaborada se han considerado en este rubro información según componentes y se presenta de la siguiente manera: g) RESUMEN FINAL DE LA FASE INVERSIÓN PREINVERSIÓN

g.1 Componentes:

Sí

INVERSIÓN No

Sí

No

g.1.1 Estudio definitivo g.1.2 Infraestructura g.1.3 Supervisión y liquidación g.1.4 Equipamiento g.1.5 Capacitación g.1.6 Gastos administrativos g.1.7 Gastos imprevistos g.1.8 Otros

En esta parte lo que se quiere es verificar si en la inversión se ejecutaron todos los componentes previstos en la preinversión. Indicadores de Inversión: Monto ejecutado / Monto de la estimación del estudio de preinversión g.2 Inversión según componentes

PREINVERSIÓN Und.

Cant.

INVERSIÓN

Monto (S/.)

Und.

Cant.

Monto (S/.)

g.2.1 Estudio definitivo g.2.2 Infraestructura g.2.3 Supervisión y liquidación g.2.4 Equipamiento g.2.5 Capacitación g.2.6 Gastos administrativos g.2.7 Gastos imprevistos g.2.8 Otros TOTAL

(15)

(16)

INDICADOR 8 : MONTO DE INVERSIÓN ( (16) x 100 ) / (15)

Metas: En la hoja de trabajo elaborada se han considerado en este rubro información según componentes y se presenta la información de la siguiente manera: Indicadores de Metas: Metas Ejecutadas - Metas Previstas en estudio de preinversión

_____________________________________________________________________________ 34 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________ g.3 Metas según componentes

PREINVERSIÓN Und.

Cant. (g')

INVERSIÓN Und.

Cant. (h')

INDICADORES Und.

Cant. (i')=(h')-(g')

g.3.1 Estudio definitivo g.3.2 Infraestructura g.3.3 Supervisión y liquidación g.3.4 Equipamiento g.3.5 Capacitación g.3.6 Gastos administrativos g.3.7 Gastos imprevistos g.3.8 Otros

Plazo de Implementación: En la hoja de trabajo elaborada se han considerado en este rubro información según componentes y se presenta la información de la siguiente manera: Indicador de plazo de implementación: Tiempo de ejecución – Tiempo estimado para ejecución g.4 Plazos según componentes

PREINVERSIÓN Und.

Cant. (j')

INVERSIÓN Und.

Cant. (k')

INDICADORES Und.

Cant. (l')=(k')-(j')

g.4.1 Estudio definitivo g.4.2 Infraestructura g.4.3 Supervisión y liquidación g.4.4 Equipamiento g.4.5 Capacitación g.4.6 Gastos administrativos g.4.7 Gastos imprevistos g.4.8 Otros g.4.9 TOTAL INDICADOR 9 : PLAZO DE IMPLEMENTACIÓN

(17)

(18)

(18) - (17)

(18) - (17)

Paso 4: Identificación de las fuentes de información La Unidad Ejecutora está definida en el estudio de preinversión con el que se obtiene la viabilidad y será necesario presentarse ante el responsable de la misma, para comunicarle de las acciones que se realizarán, solicitándole brinde las facilidades del caso para obtener la información necesaria y para realizar las coordinaciones con las personas responsables de acciones específicas en la ejecución del proyecto. Así por ejemplo, en el caso de Gobiernos Regionales, la Gerencia Regional de Administración, se encuentra a cargo de las acciones de adquisiciones y pagos efectuados por diferentes conceptos y la Gerencia Regional de Infraestructura, se encuentra a cargo de la elaboración de expedientes técnicos, ejecución, recepción, liquidación y transferencia de obras. Se recomienda el uso del siguiente cuadro para la presentación de los involucrados en la ejecución de las actividades, responsables de brindar la información necesaria en el proceso de seguimiento y evaluación de resultados.

_____________________________________________________________________________ 35 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

CUADRO DE INVOLUCRADOS COMPONENTE

ACTIVIDADES

DEPENDENCIA RESPONSABLE

PERSONA RESPONSABLE

OTROS INVOLUCRADOS

Es importante que se analice la calidad de la información proporcionada, si ésta es congruente entre sí y la oportunidad con la que es entregada, lo que estará en función de la organización administrativa de la unidad ejecutora.

Paso 5: Determinación de la frecuencia de evaluación y seguimiento La decisión sobre la frecuencia de los seguimientos a realizar, como los que se efectúan sobre los indicadores y el nivel de desglose de los mismos, depende de una cuidadosa evaluación de las ventajas relativas entre el deseo de obtener datos recientes y el costo de su recopilación. Dado que en la etapa de seguimiento de la fase de inversión, la información requerida debe estar disponible, no debe ser muy difícil obtenerla, por lo tanto es factible que se realice frecuentemente (mensual, trimestral ó semestral), de acuerdo a las características de la ejecución del proyecto. La evaluación se realiza culminado el año en que se realiza la inversión.

Paso 6: Criterios de evaluación Los criterios de evaluación se han orientado para obtener información respecto a lo siguiente: Costos: Las variaciones permitidas están de acuerdo al análisis de sensibilidad, es decir que ante las variaciones producidas la alternativa elegida sigue siendo mejor que la segunda alternativa. Además hay que considerar que los motivos de las variaciones de costos sean por razones aceptables de carácter técnico, de acuerdo al nivel del estudio de preinversión, que no modifiquen la capacidad de producción definida en el estudio con el que se obtuvo la viabilidad, es decir, NO se aceptan incrementos en el número de unidades productoras de servicios (consultorios, camas, salas de operaciones, sala de partos, equipos de rayos x, etc.), que modifiquen la capacidad de oferta definida en el proyecto. _____________________________________________________________________________ 36 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Los incrementos en costos de carácter técnico, generalmente están supeditados a la capacidad portante del suelo (dado que a nivel de perfil no es exigible estudio de suelos), o por precisiones de carácter arquitectónico en la definición de áreas complementarias como áreas de circulación, áreas verdes, muros, etc. en el diseño definitivo del proyecto. Calidad: Grado de cumplimiento de la normatividad vigente de arquitectura de establecimientos de salud aprobada por el Ministerio de Salud. Esto se refiere al respeto de áreas mínimas, condiciones de bioseguridad y funcionalidad de los diferentes servicios que proporcione el establecimiento de salud. Así mismo, se requiere conocer el estado de conservación actual y funcionamiento de los activos que son producto de la inversión realizada. En este aspecto se considera que dado que existe una normatividad al respecto, la evaluación es más rígida: si se cumple se obtiene la conformidad, si no se cumple se califica como incumplimiento. Cantidad: Grado de cumplimiento de las metas previstas en el estudio de preinversión con el que se obtiene la viabilidad. Básicamente se refiere a las unidades productoras de servicios (consultorios, sala de partos, sala de operaciones, camas, etc.), no obstante también se realiza comparaciones de las metas totales, incluyendo las áreas complementarias como visión general. Respecto a las metas previstas también se plantea una evaluación por cuanto se considera que se debe respetar las unidades productoras de servicios definidas en el estudio de preinversión con el que se obtiene la viabilidad, dado que éstas definen el tamaño del proyecto y han sido obtenidas en base al estudio de demanda respectivo, por tanto un incremento de estas unidades productoras de servicios contravendría lo aprobado. En el caso de que se encuentre algún elemento de juicio que amerite tal incremento, deberá ser explicitado, dado que supondría un aspecto no considerado en la evaluación del estudio de preinversión aprobado. Tiempo: Aunque actualmente no se tiene un parámetro respecto a posibles variaciones en la ejecución de actividades respecto al tiempo previsto en el plan de implementación, lo que se pretende en la evaluación a realizar es conocer si se están presentando variaciones en los tiempos de ejecución, determinar sus causas, a fin de obtener información que ayude a plantear soluciones para mejorar el proceso de implementación de los proyectos. En la presente evaluación se procura identificar las causas de desfases producidos (ej. impugnaciones a procesos de selección, demora en la obtención de financiamiento, etc.).

Paso 7: Análisis de la información obtenida Después de que el evaluador ha efectuado el levantamiento de información y el cálculo de indicadores, con los criterios de evaluación presentados anteriormente podrá determinar el resultado de la evaluación. _____________________________________________________________________________ 37 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Los resultados preliminares de la evaluación realizada deberán permitir concluir en determinar si la inversión del proyecto se realizó de manera: √ Eficiente, si se obtiene un puntaje de 3 puntos. √ Medianamente eficiente, si se obtiene un puntaje mayor a cero y menor de 3 puntos. √ No cumple las características de eficiencia, si se obtiene un puntaje de 0 puntos. Esto se aplica tanto para las conclusiones parciales por componente, como para las conclusiones finales de la evaluación del proyecto.

Paso 8: Reunión con los involucrados Consiste en reunirse con las personas responsables de la ejecución de las actividades de cada componente del proyecto a fin de obtener su punto de vista respecto de los resultados obtenidos a fin de que sean considerados en el informe final de evaluación. Para dejar constancia de ello, se propone la elaboración de un acta.

Paso 9: Elaboración de Informe de Evaluación La elaboración del Informe Final de Evaluación debe incluir los siguientes aspectos: a) Ficha Resumen de Evaluación de la Inversión, que incluye: 1.- Nombre del proyecto. 2.- Código SNIP. 3.- Nivel del estudio declarado viable. 4.- Fecha de declaración de viabilidad. 5.- Entidad responsable de declaratoria de viabilidad. 6.- Unidad Formuladora, indicando persona responsable y cargo. 7.- Unidad Ejecutora, indicando persona responsable y cargo. 8.- Cuadro de Análisis de Resultados INDICADOR

PRE INVERSIÓN

INVERSIÓN

VALOR INDICADOR

OBSERVACIÓN – ANÁLISIS

Indicador de cumplimiento de metas (*) Indicador de cumplimiento de plazo de implementación (**) Cumplimiento de aspectos técnico normativos (**) Indicador de inversión (**) * El valor del indicador de cumplimiento de metas utilizado será el promedio simple de los indicadores de desglose identificados en la hoja de trabajo. ** Los valores de los indicadores de cumplimiento de plazo de implementación, de aspectos técnico normativos y de inversión son los obtenidos respecto al enfoque global del proyecto.

_____________________________________________________________________________ 38 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

9.- Resultado de la evaluación. 10.- Conclusiones. 11.- Recomendaciones. b) Aspectos de la evaluación. b.1. Fecha de inicio. b.2. Proceso de evaluación, incluye: b.2.1 Las acciones de coordinación realizadas por el evaluador con los responsables de la ejecución de las actividades previstas. b.2.2 Análisis acerca de las facilidades brindadas para la obtención de la información necesaria para la evaluación, por parte de las unidades responsables. b.2.3 El problema o necesidad identificada. b.2.4 El proyecto como solución al problema (pertinencia). b.2.5 Objetivos del proyecto b.2.6 Cobertura b.2.7 Brechas b.2.8 Dimensionamiento (¿adecuado, sobre o sub dimensionado?) b.2.9 Localización (análisis ex ante: ¿adecuada y cumplida?) b.2.10 Aspectos técnicos (análisis ex ante; cumplimiento de especificaciones) b.2.11 Aspectos ambientales (análisis ex ante, balance ambiental) b.2.12 Aspectos institucionales (capacidad de la unidad ejecutora). b.2.13 Costos de Inversión. b.2.14 Desembolsos (Grado de cumplimiento según cronograma y análisis de factores). b.2.15 Ejecución (cumplimiento de plazo de implementación). b.2.16 Comentarios de lo informado por los responsables de la ejecución en las reuniones de coordinación realizadas. b.2.17 Actas de reuniones realizadas. b.2.18 Presentación de los resultados de la evaluación. b.2.19 Hojas de trabajo de la evaluación realizada. b.3. Conclusiones. Incluyen un análisis de los resultados de la evaluación realizada y aquellos aspectos que según el criterio del evaluador sean necesarios, como por ejemplo aspectos particulares que no han sido medidos en los indicadores y criterios de evaluación considerados, pero que para el caso del proyecto evaluado también son necesarios tenerlos en cuenta. b.4. Recomendaciones. En esta parte el evaluador podrá emitir opinión respecto a los aspectos de la implementación del ciclo del proyecto que podrían ser mejorados. _____________________________________________________________________________ 39 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

11.2 Metodología de evaluación de resultados y seguimiento de la Fase Operativa. Información básica: Seguimiento: En la etapa de seguimiento el objetivo es obtener información de las metas alcanzadas, costo y tiempo de ejecución. Es decir, en esta fase del proyecto se recogerá información de cobertura alcanzada por el proyecto (atendidos, atenciones, egresos, exámenes y/o análisis logrados, casos referidos), mejoramiento de la calidad del servicio (de acuerdo a los parámetros definidos en el estudio), según corresponda; así como también información de los costos operativos por concepto de recurso humano, insumos, servicios básicos, mantenimiento; información de los ingresos obtenidos según fuente de financiamiento (recursos directamente recaudados, seguro integral de salud, recursos ordinarios). Evaluación de Resultados: En la etapa de evaluación de resultados se realiza la comparación de la información obtenida durante el seguimiento realizado, respecto a las metas previstas en el proyecto. Se comparará la información estadística que corresponda a los servicios donde interviene el proyecto respecto a las estimaciones efectuadas en el estudio de preinversión, a fin de conocer en que medida se viene logrando la meta prevista en cuanto a cobertura de servicio, mejoramiento de la calidad y/o de la gestión; así como los costos operativos reales, con lo obtendrá el ratio costo eficacia real; además, con la información de los ingresos y costos operativos reales se medirá la sostenibilidad del proyecto. Luego, en esta fase se medirá la eficacia del proyecto. Se recomienda que previo a esta fase se realice la evaluación de la fase preoperativa.

Paso 1: Identificación de Objetivos y Metas El primer paso será identificar el objetivo central a lograr con el proyecto, cuales son los servicios donde se ha intervenido y si se pretende superar un problema de cobertura, calidad ó ambas cosas, para lo cual es de interés conocer las metas cuantitativas y cualitativas previstas, es decir nos interesa saber la cantidad de atenciones esperadas por servicio y la mejora en la calidad prevista en el proyecto, la cual puede estar dada por ejemplo por una modernización de la infraestructura, funcionalidad del servicio, implementación de equipos y/o mejora en la gestión. Será muy importante además contar con información de la línea basal o punto de partida del proyecto.

_____________________________________________________________________________ 40 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Paso 2: Parámetros para la evaluación de resultados Esta evaluación requiere comparar las metas cuantitativas y cualitativas previstas anualmente para los diferentes servicios donde el proyecto ha intervenido, así como los costos e ingresos que éstos han generado. Ello supone contar con un plan de producción, una descripción de los costos operativos e ingresos esperados. Teniendo en cuenta lo indicado anteriormente, se ha considerado los siguientes parámetros de evaluación: -

Cuantitativos: Se requiere comparar el número de atenciones en cada uno de los servicios donde interviene el proyecto, de acuerdo a lo previsto en el plan de producción del estudio de preinversión, respecto a la cantidad de servicios prestados al año anterior al que se realiza la evaluación. Así mismo, se requiere comparar los costos operativos de los servicios prestados respecto a los costos operativos supuestos en la preinversión. Teniendo en cuenta que se va a medir producción de servicios, costos e ingresos operativos, se ha considerado los siguientes parámetros: PARÁMETROS PARA MEDIR PRODUCCIÓN DE SERVICIOS Servicios Servicios Finales Consulta externa Emergencia Hospitalización Servicios Intermedios Centro quirúrgico Centro obstétrico Laboratorio Rayos X Ecografía

Unidades Atendidos, atenciones Atendidos Egresos

Intervenciones quirúrgicas Partos Análisis Placas Placas

Si con el proyecto se ha previsto incrementar la cobertura de servicios de salud, habría que revisar los supuestos para la estimación de la demanda, para poder direccionar la búsqueda de información para efectuar las verificaciones respectivas. Estos supuestos podrían ser: a) Incremento de la demanda al eliminar la barrera de acceso por falta de recursos monetarios de la población demandante, dada la implementación del Seguro Integral de Salud. b) Incremento de referencias de otros establecimientos porque se ha mejorado la capacidad resolutiva del establecimiento materia de intervención y/o porque se ha mejorado el equipamiento del sistema de referencia y contrarreferencia (equipos de radio, unidades móviles, etc.).

_____________________________________________________________________________ 41 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

c) Incremento de atenciones dado que con la intervención realizada se puede atender lo que antes se tenía que referir a otros establecimientos por no tener capacidad resolutiva. d) Incremento de atenciones al incrementarse el ratio de concentración. e) Incremento de atendidos por efecto de las campañas de información, educación y capacitación a la población. De acuerdo a lo indicado anteriormente se podrá solicitar información estadística que nos permita corroborar si éstos supuestos se llegaron a presentar. Con la información de datos de producción, se podrá comparar la producción de los servicios actuales con los obtenidos en años anteriores, es importante determinar si existen cambios por efectos del proyecto en la tendencia que siguen los valores de producción, lo que se irá apreciando más claramente conforme se tenga mayor información histórica y el proyecto avance en su fase de implementación. En tal sentido, será mucho más práctico elaborar diagramas de barras, gráficos de líneas ó alguna otra forma de presentación estadística que nos permita visualizar la tendencia en la demanda estimada, la producción anterior a la implementación del proyecto y la producción actual. Es conveniente revisar el programa de requerimientos de los recursos productivos necesarios (recursos humanos, infraestructura, equipos y gestión) para lograr las metas previstas. Dado que la infraestructura y equipos fueron evaluados en la fase de inversión, en esta segunda fase sólo se revisará lo correspondiente a recursos humanos y gestión. Nos interesa conocer si se ha incrementado personal de acuerdo a la especialidad requerida, el número de turnos, la programación de horas del recurso humano, funcionamiento del sistema de referencia y contrarreferencia, etc. En lo que se refiere a costos operativos debemos tener en cuenta la estructura de costos presentados en el estudio de preinversión aprobado, puede darse el caso que se presenten costos desagregados (personal, insumos, servicios básicos y mantenimiento) totales ó por servicio, lo ideal es que se presenten costos por servicio en el estudio de preinversión que se puedan comparar con los que resulten realmente durante la fase de operación del proyecto, lo que no permitirá conocer el grado de aproximación de las estimaciones realizadas, así mismo, se podrá establecer una comparación con los costos privados a fin de observar el beneficio para el Estado de brindar el servicio a través del establecimiento. Si se presentan costos donde se totalizan los costos de varios servicios, habrá que tener en cuenta los servicios incluidos a fin de establecer una comparación similar. Así también es de interés conocer si se viene ejecutando el mantenimiento respectivo tanto a la infraestructura como a los equipos, de acuerdo a lo previsto en el estudio de preinversión con el que se obtuvo la viabilidad. _____________________________________________________________________________ 42 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

En la fase de operación los ingresos, pueden darse por recursos directamente recaudados, seguro integral de salud, donaciones y recursos ordinarios. Además, se ha considerado parámetros cualitativos referidos a la gestión administrativa del establecimiento: a) Infraestructura: estado de conservación del establecimiento de salud. b) Equipamiento: estado de conservación de los equipos, mobiliario y unidades móviles. c) Gestión: horario de atención, número de turnos, asignación de recursos humanos por turnos y por servicios. Funcionamiento del sistema de referencia y contrarreferencia. Además de los parámetros cuantitativos y cualitativos mencionados anteriormente, se propone verificar si las unidades productoras de servicios fueron mejoradas de acuerdo a lo establecido en el estudio de preinversión con el que se obtiene la viabilidad, dado que esto afectaría la adecuada producción de los servicios; para ello se recomienda revisar la evaluación de la fase de inversión y en caso de no haberse realizado ésta, será necesario efectuarla. Así mismo, dado que para la presente evaluación se recogerá información de producción de los servicios del año anterior a la fecha de evaluación, es necesario conocer cómo se encuentra funcionando la unidad estadística de la DISA, Red, microrred y/o establecimiento, según corresponda, a fin de tener una idea de la confiabilidad de los datos recogidos, por tanto se propone que el evaluador considere un análisis de esta situación desde su percepción, considerando los siguientes aspectos: -

Tiempo de demora desde que se solicita la información al encargado de la unidad de estadística hasta su entrega. Congruencia de los datos entregados entre sí.

Paso 3: Identificación de Indicadores Nos interesa conocer: ¿en qué grado se ha logrado cumplir el objetivo o la meta propuesta? (cantidad y calidad) y ¿a qué costo operativo?. De acuerdo a esto se han definido indicadores según tipo de servicio: a) b) c) d) e)

Indicadores de cumplimiento de metas (cuantitativo y en términos porcentuales). Indicadores de eficiencia en el procesamiento de información estadística (cualitativo). Indicadores de costos operativos (cantidad). Indicadores de ingresos operativos (cantidad). Indicadores de costo eficacia (cantidad).

Para ello se ha preparado formatos que pueden ser usados por los evaluadores como hojas de trabajo para levantar información y cálculo de indicadores, donde se encuentran además los principales criterios de evaluación. _____________________________________________________________________________ 43 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Paso 4: Identificación de las fuentes de información La fase de operación del proyecto está a cargo del Director ó Jefe del establecimiento donde el proyecto ha intervenido y si se trata de una red de servicios de salud, del Director de la Red. Actualmente todos los establecimientos de salud cuentan con unidades de estadística, pero será necesario que los responsables de la administración de los mismos, organicen sus sistemas de información a fin de facilitar el manejo de información que les permita efectuar el seguimiento de los proyectos y brindar información a la Dirección Regional de Salud quien se encargará de seguir y evaluar el proceso de implementación de los proyectos. Las fuentes de información más relevantes son la unidad de estadística (para obtener los datos de producción de los diferentes servicios), las oficinas de presupuesto y contabilidad (para obtener información de asignaciones de recursos ordinarios, ingresos por recursos directamente recaudados e ingresos del seguro integral de salud, así como también de los gastos operativos) y la oficina de recursos humanos (para obtener información del personal existente, así como su respectiva programación).

Paso 5: Determinación de la frecuencia de evaluación y seguimiento Se recomienda que la evaluación y seguimiento, se realice anualmente, considerando que en los planes de producción del proyecto se presentan metas anualizadas para cada uno de los servicios intervenidos. Con ello se medirá el logro de las metas de cobertura previstas en el estudio de preinversión aprobado, identificar problemas que afectan su cumplimiento y recomendar medidas que permitan salvar los problemas encontrados.

Paso 6: Criterios de evaluación Los criterios de evaluación se han orientado para obtener información respecto a lo siguiente: - Costos: Es necesario conocer los costos operativos reales para tener conocimiento del grado de aproximación de los costos operativos estimados en la fase de preinversión, en base a los cuales se ha determinado el ratio costo eficacia de la alternativa elegida. -

Ingresos: Con los ingresos reales podremos conocer el grado de aproximación de los ingresos estimados en la fase de preinversión, en base a los cuales se ha determinado la sostenibilidad de la alternativa elegida. Aquí se analizan los recursos directamente recaudados, el aporte del Seguro Integral de Salud y los recursos ordinarios.

_____________________________________________________________________________ 44 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

-

Cantidad: Grado de cumplimiento de las metas previstas en el estudio de preinversión con el que se obtiene la viabilidad. Básicamente se refiere a los atendidos y/o atenciones, egresos, partos, intervenciones quirúrgicas, análisis, placas, etc. considerados en el proyecto en los diferentes servicios, según corresponda. Se podrá determinar la cobertura real del proyecto.

-

Tiempo: Todo proyecto tiene un período de maduración, en tal sentido, es previsible que en los primeros años no se logre el 100% de la meta prevista, no obstante es necesario conocer cómo el proyecto se va consolidando y superando los problemas iniciales que se pudieron presentar.

Paso 7: Análisis de la información obtenida Después de que el evaluador ha efectuado el levantamiento de información y el cálculo de indicadores, con los criterios de evaluación presentados anteriormente podrá presentar el resultado de la evaluación. Los resultados de la evaluación, en el marco del proceso de seguimiento de los proyectos declarados viables en su fase de implementación deberán permitir conocer en que medida se viene logrando el objetivo central del proyecto, de acuerdo a las metas previstas anualmente, en tal sentido en el resultado de la evaluación se presentará los avances logrados en el cumplimiento de metas, el ratio costo eficacia real y el análisis de sostenibilidad.

Paso 8: Reunión con los involucrados Consiste en reunirse con las personas responsables de la fase operativa para obtener su punto de vista respecto de los resultados obtenidos a fin de que sean considerados en el informe final de evaluación. Para dejar constancia de ello, se propone la elaboración de un acta.

Paso 9: Elaboración de Informe de Evaluación El Informe Final de Evaluación debe incluir los siguientes aspectos: a) Ficha Resumen de Evaluación del ….. año de la fase de operación, que incluye: 1.- Nombre del proyecto. 2.- Código SNIP. 3.- Nivel del estudio declarado viable. 4.- Fecha de declaración de viabilidad. 5.- Entidad responsable de declaratoria de viabilidad. 6.- Unidad Formuladora, indicando persona responsable y cargo. 7.- Unidad Ejecutora, indicando persona responsable y cargo. _____________________________________________________________________________ 45 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

8.- Cuadro de Análisis de Resultados INDICADOR

PRE INVERSIÓN

INVERSIÓN

VALOR INDICADOR

OBSERVACIÓN – ANÁLISIS

Indicador de cumplimiento de metas (cobertura, calidad) Indicador de costos operativos Indicador de costo eficacia Indicador de sostenibilidad financiera * Los valores de los indicadores utilizados serán los promedios simples de los indicadores de desglose identificados en la hoja de trabajo, en cada uno de los rubros de evaluación.

9.- Resultado de la evaluación. 10.- Conclusiones. 11.- Recomendaciones. b) Aspectos generales de la evaluación. b.1. Fecha de inicio. b.2. Proceso de evaluación, incluye: b.2.1 Las acciones de coordinación realizadas por el evaluador con los responsables de la ejecución de las actividades previstas. b.2.2 Análisis acerca de las facilidades brindadas para la obtención de la información necesaria para la evaluación, por parte de las unidades responsables. b.2.3 El problema o necesidad identificada. b.2.4 El proyecto como solución al problema (pertinencia). b.2.5 Objetivos del proyecto b.2.6 Cobertura b.2.7 Brechas b.2.8 Dimensionamiento (¿adecuado, sobre o sub dimensionado?) b.2.9 Localización (análisis ex ante: ¿adecuada y cumplida?) b.2.10 Aspectos técnicos (análisis ex ante; cumplimiento de especificaciones) b.2.11 Aspectos ambientales (análisis ex ante, balance ambiental) b.2.12 Aspectos institucionales (capacidad del responsable de operación). b.2.13 Costos operativos. b.2.14 Desembolsos (Grado de cumplimiento según cronograma: SIS, RO y análisis de factores). b.2.15 Operación (análisis de la gestión operativa). b.2.16 Tarifas. b.2.17 Implementación del Seguro Integral de Salud. b.2.18 Evaluación económica (costo eficacia). b.2.19 Sostenibilidad. b.2.20 Resultados del proyecto (verificación de la eficacia en función del problema). _____________________________________________________________________________ 46 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

b.2.21 Comentarios de lo informado por los responsables de la ejecución en las reuniones de coordinación realizadas. b.2.22 Actas de reuniones realizadas. b.2.23 Presentación de los resultados de la evaluación. b.2.24 Hojas de trabajo de la evaluación realizada. b.3. Conclusiones. Incluyen un análisis de los resultados de la evaluación realizada y aquellos aspectos que según el criterio del evaluador sean necesarios, como por ejemplo aspectos particulares que no han sido medidos en los indicadores y criterios de evaluación considerados, pero que para el caso del proyecto evaluado también son necesarios tenerlos en cuenta. b.4. Recomendaciones. En esta parte el evaluador podrá emitir opinión respecto a los aspectos de la implementación del ciclo del proyecto que podrían ser mejorados.

11.3 Evaluación de Impacto Ésta constituye la evaluación sustantiva de los resultados de una intervención o proyecto en el nivel de la población objetivo o beneficiaria. Generalmente la evaluación de impacto alude al cumplimiento del objetivo general (efecto final) del proyecto ó programa. Por ello debe realizarse luego de un tiempo de finalizada la intervención para estimar su sustentabilidad, entendida ésta no sólo en términos financieros, sino también en términos de cambio social. La evaluación de impacto generalmente requiere de técnicas especiales (encuestas o entrevistas) en el nivel de la población objetivo (una muestra representativa) para estimar los cambios que la intervención ha producido en ella. La razón por la cual este tipo de evaluación no es muy frecuente en los proyectos sociales, es que supone una asignación presupuestal específica y debe realizarse luego de un tiempo de efectuada la intervención, habitualmente cuando el equipo responsable ya no está involucrado con el proyecto. La evaluación de impacto es más exigente y a menudo más compleja. Generalmente, alude al cumplimiento del objetivo general del proyecto o programa (fin último), por ello debe realizarse luego de un tiempo de finalizada la intervención. Busca apreciar en qué medida el proyecto eleva el bienestar de la comunidad, incorpora así los efectos secundarios y colaterales, por ello habitualmente requiere herramientas y técnicas especiales (encuestas o entrevistas) en el nivel de la población objetivo (una muestra representativa) para estimar los cambios que la intervención ha producido en ella. Generalmente las evaluaciones de impacto son llevadas a cabo por investigadores fuera de los organismos que controlan los resultados y demanda mayores costos para su realización. El seguimiento de resultados implica que se deba seguir el progreso de la realización de objetivos. Específicamente el control de resultados está dirigido hacia el control de las tendencias de los resultados al pasar el tiempo y dentro de los grupos poblacionales y zonas beneficiarias, la recopilación de información para estudiar los determinantes de esos resultados y la retroacción a los responsables de la política sobre la efectividad de los esfuerzos dirigidos hacia el logro de los objetivos sectoriales. _____________________________________________________________________________ 47 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

El seguimiento de resultados requiere recopilación de datos a intervalos frecuentes y la metodología utilizada es relativamente sencilla: al nivel más básico implica una comparación del nivel alcanzado con un nivel de meta (o nivel pasado) predeterminado, por ello se pueden realizar con mayor frecuencia.

Medición del impacto de las políticas y de los programas Para evaluar un programa o una política es necesario que primero se entienda la naturaleza de los beneficios para el bienestar que se espera que produzcan. Esto, por supuesto, depende del tipo de intervención y de sus objetivos. Es igualmente importante ser claro acerca del lapso de tiempo dentro del cual se esperan los resultados. En la evaluación de impacto de una política o un programa se realiza una pregunta fundamental ¿cuál sería la situación si la intervención no hubiera ocurrido?. Aunque obviamente no se pueda observar tal situación, es posible aproximarse a ella con la construcción de una situación inversa apropiada. En este contexto, una situación inversa es una situación hipotética que trata de describir los niveles de bienestar de las personas en la ausencia de una política o programa. Para los programas de cobertura parcial, las situaciones inversas se simulan con la comparación de los participantes de un programa con un grupo de control o de comparación. El grupo de control o de comparación consta de personas que tienen las mismas características de los beneficiarios del programa, pero que no participan en el programa que se está evaluando. Lo más importante cuando se evalúa el impacto de los programas de cobertura parcial es cómo seleccionar o identificar los que no participan. El grupo que no participa se llama el grupo de control cuando sus miembros son seleccionados al azar; si no, se llama grupo comparativo. La selección de un método para identificar el grupo de no participantes determina el diseño de evaluación, lo que puede ser simplemente clasificado en tres categorías: experimental, cuasi experimental y no experimental. Estos diseños varían en factibilidad, en costo y en el grado de claridad y de validez de los resultados. Las evaluaciones de las intervenciones de cobertura completa dependen sobre todo de una comparación del grupo pertinente de personas antes y después del programa. Determinación de los datos necesarios Lo ideal sería que los datos para la evaluación de impacto se recopilen del mismo grupo poblacional por lo menos dos veces, antes y después de la intervención. Sin embargo, es importante distinguir entre lo deseado y lo factible. La base de información y las limitaciones de tiempo y de recursos son unos factores esenciales que se deben considerar cuando se decida cuales fuentes de datos se podrían usar.

_____________________________________________________________________________ 48 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Métodos cuantitativos y cualitativos para la recopilación de datos La validez de los resultados de la evaluación depende en gran parte de la corrección y de la fiabilidad de los datos. Por tanto, es importante utilizar varias fuentes de datos recopilados con métodos cuantitativos como cualitativos. En general, los métodos cualitativos son dirigidos hacia el estudio a fondo de temas, casos o eventos seleccionados por medio de la compilación de información sobre las actitudes, las preferencias y las percepciones de la gente; la recopilación de datos no está limitada por unos formatos o categorías de análisis normalizados predeterminados. En contraste, los métodos cuantitativos típicamente dependen de instrumentos para la recopilación de datos de muestras al azar y datos normalizados que corresponden a diversas experiencias para entrar en categorías de respuestas predeterminadas. Aunque los dos métodos difieren substancialmente en sus objetivos y características, son sumamente complementarios. Los métodos cuantitativos producen resultados que son fáciles de resumir, comparar y analizar, mientras que los métodos cualitativos ofrecen datos completos y detallados que pueden ser útiles para entender los procesos usados para obtener los resultados observados y para evaluar los cambios en la percepción que la gente tiene de su bienestar.

Vinculación de los datos necesarios con los métodos de evaluación Los datos necesarios dependen de los tipos de resultados que se deban medir y de los tipos de diseño de evaluación que se vayan a ejecutar. Ya que los programas seleccionados para la evaluación deberán examinar toda una gama de indicadores y necesitarán diferentes diseños de evaluación, los datos que se requieran también deberán ser diversos. Por un lado, la necesidad de datos depende del diseño de la evaluación. Por otro lado, la selección de la metodología se determina por el tipo de intervención que se deba evaluar; el nivel deseado de fiabilidad de los resultados; las limitaciones de tiempo y de recursos; y la disponibilidad de datos. La ejecución de la evaluación puede parecer una tarea desalentadora por los requisitos de información y análisis. Sin embargo, es importante enfatizar que la selección del diseño de evaluación puede acomodar las limitaciones en tiempo y en recursos. Aún cuando los datos y los recursos están disponibles, la capacidad dentro del país podría no ser adecuada para lanzar la evaluación de programas con frecuencia. En tales casos, el número y la frecuencia de las evaluaciones pueden ser gradualmente aumentados a medida que las limitaciones de capacidad se alivian. _____________________________________________________________________________ 49 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Información requerida según metodología Diseño de evaluación

Datos requeridos Mínimo

Experimental

Cuasi experimental Comparación correspondiente

Comparación reflexiva

No experimental

Datos transversales simples del grupo tratado y del grupo de control

Uso de método cualitativo Ideal

Conexiones de datos tanto sobre el grupo de • Informar el diseño del tratamiento como sobre el instrumento de la encuesta, grupo de control muestreo.

Sección transversal Encuesta nacional y nacional (encuestas, encuesta menor sobre presupuesto). familias dentro del proyecto, ambas en dos épocas definidas. Datos básicos y de seguimiento sobre los Serie cronológica o participantes del estudios de conexiones programa. que recopilan datos durante varios años, antes y después del programa. Datos transversales Serie transversal y representativos de cronológica representativa toda la población con de la población tanto los instrumentos beneficiaria como no variables beneficiaria con los correspondientes. instrumentos correspondientes.

• Identificar indicadores.

• Recopilación y registro de datos usando datos textuales, entrevistas informales o semi estructuradas, grupos muestra elegidos o reuniones comunitarias, observación directa, métodos participatorios, fotografías. • Triangulación. • Análisis de datos.

Obtención de datos La recopilación de datos puede ser a la vez costosa y tomar mucho tiempo. Por lo tanto, el principal desafío es cómo aprovechar los recursos de datos existentes y cómo planificar una recopilación adicional de datos para maximizar su utilización tanto para la evaluación del impacto como para el seguimiento de los resultados. Las evaluaciones de impacto pueden utilizar una diversidad de fuentes de datos, incluso de encuestas, de registros administrativos y de sistemas de gestión de información. Por consiguiente, uno de los primeros pasos para diseñar una estrategia de evaluación sería de tomar un surtido de diferentes tipo y calidad de datos ya disponibles. Algunos de los datos usados para el análisis y el seguimiento de los resultados sobre el estado de salud de la población podrían ser igualmente útiles en la evaluación de impacto. Ejemplos de fuentes de datos para la evaluación: • Encuestas nacionales de hogares (ENAHO). • Estudios de medición del nivel de vida. • Encuestas demográficas y sobre la salud (ENDES). • Encuestas especiales realizada por universidades, ONG, grupos consultores. • Datos de seguimiento para administradores de programas. • Estudios de casos de proyectos. _____________________________________________________________________________ 50 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Uso de los resultados del seguimiento y de la evaluación del impacto El seguimiento de los resultados y la evaluación del impacto no son actividades técnicas aisladas. Su propósito principal es de presentar una imagen del estado de la salud de una población en una región o país en diferentes épocas, con una clasificación por grupos poblacionales ó ciclos de vida, según lo apropiado. Son íntimamente vinculados al proceso de toma de decisión en todos los niveles y proveen retroacción a los directores de proyectos, a los responsables de las políticas y a la sociedad civil. Por tanto, un elemento crucial de la estrategia de seguimiento de resultados y de evaluación de impacto es la producción de un proceso de retroacción.

Promoción de participación para el seguimiento y la evaluación La participación en el seguimiento y la evaluación se puede promover en cuatro campos: • Fijación de objetivos: Un consenso para los objetivos de un país se puede formar por medio de consultas con la población y con diferentes sectores, incluso con organismos del gobierno, grupos organizados en la sociedad civil y con el sector privado. Esto a su vez, puede formar un respaldo para la estrategia planteada. • Selección de metodología: El uso de métodos cualitativos para complementar los métodos cuantitativos para el seguimiento y la evaluación puede fomentar la participación. Los métodos cualitativos generalmente significan una participación de los habitantes locales en las actividades de seguimiento y evaluación, lo que les permite tener una voz en las decisiones acerca de la asignación de recursos, de las cuestiones de intervención prioritarias y de la prestación de servicios. • Colaboración en la recopilación y análisis de datos: La participación también puede ser promovida con la integración de diferentes grupos y organizaciones en la recopilación y análisis de datos, incluso de académicos, ONG y gobiernos locales. Este tipo de participación también puede ser útil para fortalecer una capacidad dentro del país para el seguimiento y evaluación. • Difusión de resultados: Una difusión amplia de los resultados fomenta la participación. Al asegurarse de que diferentes partes interesadas tienen acceso a los resultados de seguimiento y evaluación, es posible generar un proceso participatorio del examen de los esfuerzos realizados, que aumenta la responsabilidad y la transparencia de la asignación de los recursos públicos y de las actividades públicas.

XII.- PERFIL DEL EQUIPO DE EVALUACIÓN Los equipos de evaluación deben estar integrados por personas de diferentes orígenes técnicos que cubran los requisitos de diversidad del proyecto, con experiencia en la formulación, evaluación y ejecución de proyectos de inversión pública, de preferencia del sector Salud. _____________________________________________________________________________ 51 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

XIII.- RECOMENDACIONES -

-

-

La implementación de la evaluación y seguimiento de proyectos del sector Salud debe realizarse progresivamente, recomendándose que en función a las prioridades existentes se evalúen en primer lugar proyectos pilotos, que permitan determinar la validación de este sistema y sirvan de ejemplos ó casos prácticos, en los talleres de difusión y capacitación que se realicen a las Direcciones Regionales de Salud y a las diferentes unidades ejecutoras. La generación y/o fortalecimiento de capacidades tanto en las DIRESAS como en las unidades ejecutoras es fundamental para el éxito del sistema de evaluación y seguimiento de los proyectos. El fortalecimiento de las unidades de estadística de los establecimientos, direcciones de redes y microrredes, así como de las DIRESAS es de suma importancia para el adecuado registro de la información que servirá de insumo en el sistema diseñado.

XIV.- GLOSARIO DE TÉRMINOS Proyecto de Inversión Pública: Toda intervención limitada en el tiempo que utiliza total o parcialmente recursos públicos, con el fin de crear, ampliar, mejorar, modernizar o recuperar la capacidad productora de bienes o servicios; cuyos beneficios se generen durante la vida útil del proyecto y éstos sean independientes de los de otros proyectos. Línea basal: Antes de iniciar cualquier intervención o proyecto, o al efectuar un cambio de estrategia u orientación de un programa, es conveniente contar con un estudio de base o línea basal. La línea basal permite establecer el punto de partida del proyecto ó intervención que servirá para realizar la comparación de los resultados de la intervención durante la evaluación de resultados y de impacto. La línea de base además recoge datos más precisos sobre la población objetivo. Generalmente, la línea basal se obtiene de información que proviene de fuentes secundarias (censos, encuestas anteriores, estadísticas oficiales, estudios previos, estadística de la DISA, Red, Microrred, establecimientos de salud, etc.). Sin línea de base será muy difícil medir los resultados y el impacto del proyecto y, por lo tanto, también será difícil conocer si tuvimos errores ó aciertos, para aprender de ellos. Cobertura: Es la proporción de personas con necesidades de servicios de salud que reciben atención para tales necesidades. El indicador de cobertura indica en que porcentaje el servicio de salud está llegando a la población que realmente lo necesita. (Ej. Tasa de parto institucional, % de gestantes con control pre natal, etc.). Indicadores: Son las variables que se utiliza para medir el progreso hacia los objetivos.

_____________________________________________________________________________ 52 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

Eficiencia: Establece la relación óptima entre los recursos utilizados y los resultados alcanzados. Es decir, determina la más adecuada y económica utilización de los recursos para obtener los mejores resultados. Eficacia: Se define como el logro de los objetivos o metas previstas en el estudio de preinversión aprobado. El indicador de eficacia permite determinar porcentualmente el grado de cumplimiento de una meta en un tiempo determinado. Para cuantificar la eficacia es condición definir con claridad los resultados que se espera obtener, lo que debe estar definido en el estudio de preinversión. Para proyectos del sector salud, en términos de eficacia los beneficios que obtienen los pacientes están expresados en las atenciones obtenidas en los diferentes servicios. Efectividad: En proyectos de salud, la efectividad mide el impacto logrado en la salud de la población como producto de un proceso. Usualmente se expresa en tasas que sirven para ser comparadas entre uno o varios períodos (tasa de mortalidad, tasa de morbilidad, tasa de incidencia, tasa de Prevalencia, etc.).

XV.- BIBLIOGRAFÍA

1.- Enrique Vásquez, Carlos Arambulú, Carlos Figueroa, Carlos Parodi. Gerencia Social. Universidad del Pacífico. Edición Mayo 2000. 2.- G. Rubio, G. Prennushi y K. Subbarao. Seguimiento y evaluación. Tomado de www.bancomundial.org. 3.- CEPAL – Serie Manuales. El monitoreo y evaluación ex post. Tomado de www.eclac.cl/publicaciones/Ilpes/7/LCL1267P/manual2.pdf. 4.- H. Sanín. Control de gestión y evaluación de resultados en la gerencia pública. Tomado de: www.eclac.cl/publicaciones/documentospublicaciones/2/cl/1242/lcl1242e.

_____________________________________________________________________________ 53 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.

Oficina General de Planeamiento General Oficina Ejecutiva de Proyectos de Inversión

Documento de Trabajo: no citar, no reproducir.

________________________________________________________________________________________

XVI.- ANEXO: HOJAS DE TRABAJO

_____________________________________________________________________________ 54 Seguimiento y evaluación de las fases de ejecución y operación de proyectos de inversión pública en el sector Salud.