DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

MONITOREO Y EVALUACIÓN DESARROLLO DE INDICADORES* Ricardo Marín García** * CONTENIDO INTRODUCCIÓN MONITOREO Y EVALUACIÓN ¿Qué son el monitoreo y la evaluación? ¿Cuál es el propósito de la evaluación? ¿Cuál es el alcance de la evaluación? ¿Son complementarios los procesos de monitoreo y evaluación? ¿Tiene un momento la evaluación? ¿Quiénes participan en el proceso de evaluación? ¿Qué se obtiene de la evaluación? ¿Qué elementos tener en cuenta en un proceso evaluativo? ¿Qué se entiende por marco conceptual? ¿Por qué se necesita un marco conceptual? ¿Quiénes son los actores? ¿Cuales son los criterios y estándares de análisis? ¿Cuales son los pasos que se deben seguir para el diseño y puesta en marcha de un proceso evaluativo? CONCLUSIONES

DESARROLLO DE INDICADORES ¿Qué es un indicador? ¿Que atributos debe tener un indicador? ¿Qué problemas pueden encontrase durante el diseño y selección de indicadores? ¿Cómo construir o diseñar indicadores? ¿Qué es la unidad de análisis? ¿Qué se entiende por variables? ¿Cómo formular un Indicador? *

*Elaborado por Ricardo Marín en el marco del Diplomado Gerencia Social para la protección social. Universidad icesi. Cali 2006 **Ricardo Marín, Asesor en el desarrollo e implantación del Sistema de Gestión de Calidad para la Administración Central del Municipio de Cali

1

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

¿Cómo se clasifican los indicadores? ¿Hay indicadores para hacer seguimiento y evaluación a las organizaciones? ¿Cómo se clasifican los indicadores de desempeño? ¿Qué criterios se utilizan para la selección de indicadores de desempeño? ¿Cómo se identifican y desarrollan los indicadores de desempeño? ¿Qué medir? ¿Cómo implantar los indicadores de desempeño? ¿Quién es responsable de la medición?

INTRODUCCIÓN Con frecuencia se utilizan los términos monitoreo y evaluación para hacer referencia a la verificación de la gestión de un proceso, o a la verificación de los resultados obtenidos de un proceso. El uso de los mismos es indiscriminado. Parece no haber una claridad sobre cual es el propósito de cada uno de ellos dentro de ese verificar; e igual sucede cuando de desarrollar indicadores se trata. Vale la pena, entonces, adelantar la revisión conceptual de estos temas, a la luz de una serie de preguntas y respuestas, elaboradas a partir de la compilación y análisis de los conceptos y procedimientos, presentados por diferentes autores, quienes en el desarrollo de su trabajo han contribuido a especificar y precisar los mismos. Es bien importante tener en cuenta que para llegar a un proceso de monitoreo y/o evaluación, previamente, debe haberse dado un proceso de planificación y su consecuente desarrollo de indicadores, solamente con esta información, se puede de manera sistémica comparar lo ejecutado con lo planificado, para así poder proponer los ajustes necesarios en procura de alcanzar los propósitos deseados. Así mismo, se requiere que se genere la información necesaria y oportuna para realizar dicha comparación y tomar las decisiones del caso. La evaluación es, entonces, un proceso mediante el cual una organización, en forma sistemática y disciplinada, monitorea y evalúa, con base en Indicadores, su desempeño.

2

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

MONITOREO Y EVALUACIÓN ¿Qué son el monitoreo y la evaluación? Muchos autores se refieren a la evaluación, como la verificación de los resultados obtenidos frente a los resultados esperados. En otras palabras, la muestran como la medición del impacto que el plan, programa o proyecto adelantado ha tenido sobre las condiciones iniciales que motivaron su formulación y desarrollo. Según la UNICEF (1991), la evaluación se define como el “proceso que procura determinar periódicamente y de manera sistemática y objetiva, la relevancia, eficacia, eficiencia e impacto de un proyecto o programa, a la luz de sus objetivos.” No obstante, la determinación de la eficacia y la eficiencia de un proyecto o programa, a la luz de sus objetivos, implica el seguimiento del mismo, en su ejecución. Y es aquí cuando aparece en escena, el monitoreo. En el documento “Evaluación: Una herramienta de gestión para mejorar el desempeño de los proyectos”, el Banco Interamericano de Desarrollo - BID, establece: “El monitoreo es una herramienta de gestión empleada para comprobar la efectividad y eficiencia de un proceso, mediante la identificación de los aspectos limitantes y/o ventajosos que culmina recomendando medidas correctivas para optimizar los resultados deseados”. Puede decirse, entonces, que el monitoreo permite describir y calificar el cumplimiento del plan de trabajo que contiene las actividades operativas; entendiendo como tales aquellas que el equipo gestor del plan, programa o proyecto, deben llevar a cabo para asegurar el logro de cada resultado o producto. El monitoreo responde, así, a la evaluación del proceso. Analizando el propósito y el alcance, tanto del monitoreo como de la evaluación, se ve que cada uno tiene su momento y su relevancia, que son complementarios e indispensables el uno para el otro y que como tal deben conformar un solo proceso, denominado evaluación, el cual se inicia desde el comienzo de la formulación del plan, programa o proyecto y finaliza, cuando ha concluido la ejecución del mismo. Bajo este enfoque, la evaluación apunta a: 1. Verificar el cumplimiento de objetivos, frente a unos estándares esperados; 2. Explorar y analizar los impactos y efectos no esperados, tanto positivos como negativos; 3. Describir, diagnosticar y explicar el proceso o gestión del plan, programa o proyecto. 3

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

Y, contempla: 1. Una permanente observación y un registro continúo de la ejecución del proyecto. 2. La comparación de los datos y el conocimiento, obtenidos de la observación y el registro, con lo planificado. 3. El análisis y valoración de los resultados de dicha comparación. 4. La revisión del plan inicial y/o la adopción de medidas de ajuste. 5. La documentación precisa, específica y oportuna y su suministro, dentro y fuera del proyecto. Vista así, la evaluación “se puede convertir en aliado del equipo gestor, cuyo papel consiste en asegurar que la iniciativa que gesta efectivamente genera valor para la sociedad”, 1 alcanzando los resultados propuestos. Pues, si se logran obtener los resultados o productos, se logran los propósitos; y si se logran los propósitos se hace una contribución significativa al logro del fin.

¿Cuál es el propósito de la evaluación? Como ya se dijo, la evaluación busca monitorear y evaluar, con base en indicadores, un plan, programa o proyecto, en términos de su ejecución o proceso y del logro de sus resultados. Bajo esta premisa, la evaluación, tiene dos propósitos fundamentales: 1. Realizar el seguimiento a los planes, programas o proyectos, observando y analizando su ejecución, para medir su avance en términos del logro de sus objetivos. Haciendo referencia, así, al monitorear. 2. Medir el cumplimiento de los objetivos y las metas alcanzadas para un plan, programa o proyecto, ponderando su eficiencia y determinando sus impactos sobre la transformación de las condiciones iniciales. Haciendo referencia, así, al evaluar.

1

MOKATE, K. M. El Monitoreo y la Evaluación. Herramienta indispensable de la Gerencia Social. BID, Indes, ‘Diseño y Gerencia de Políticas y Programas Sociales’ agosto 2000. Indes 2002. 35 p. 4

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

¿Cuál es el alcance de la evaluación? Son cinco (5) los aspectos claves que se deben examinar durante un proceso de evaluación, entendiéndolo tanto como el seguimiento al proceso o ejecución, como la medición del logro de resultados: No.

Aspectos

Objeto de Evaluación

1

La ejecución de las actividades y el uso de los recursos

Las actividades y el presupuesto

2

El funcionamiento de los servicios del proyecto

Los resultados

3

La utilización de esos servicios por la población objetivo o grupo meta

El objetivo del proyecto

4

Los beneficios alcanzados por la población objetivo o grupo meta

El objetivo del desarrollo

5

El desarrollo de los factores externos

Los supuestos

¿Son complementarios los procesos de monitoreo y evaluación? Si, los procesos de monitoreo y de evaluación son complementarios entre sí, “ya que el monitoreo permite describir y calificar el cumplimiento del plan de trabajo y la evaluación permite ver si dicho cumplimiento, a su vez, ha conducido al logro de efectos e impactos que dan una razón de ser al plan, programa o proyecto. En la medida en que la evaluación revela un logro de mejoras en las condiciones de vida de la población objetivo, el monitoreo genera valiosa información para analizar las relaciones causales entre las actividades de la iniciativa que se evalúa y dicho cumplimiento (o falta de logro)”. 2 Es en este sentido que se habla de ellos como un todo o como un solo proceso, pues la realización del uno sin el otro, conduciría a una visión parcial o incompleta de la ejecución o los resultados del proyecto, dependiendo de cual de ellos se adelante. 2

MOKATE, K. M. El Monitoreo y la Evaluación. Herramienta indispensable de la Gerencia Social. BID, Indes, ‘Diseño y Gerencia de Políticas y Programas Sociales’ agosto 2000. Indes 2002. 35 p. 5

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

Así, si lo que se hace es el seguimiento al proceso sin la medición de resultados, lo que se tiene es solo la verificación de la ejecución de un plan, programa o proyecto. Y, no es posible determinar algo con respecto al beneficio de la misma, o a si vale la pena continuarla o suspenderla. De igual manera, no es posible hacer solo la evaluación de resultados sin el seguimiento del proceso, pues para juzgar la eficacia y eficiencia de unas determinadas acciones en el logro de mejoras en las condiciones iniciales, la evaluación requiere de toda la información generada por el monitoreo acerca de los aspectos cuantitativos y cualitativos de su ejecución.

¿Tiene un momento la evaluación? Como se dijo inicialmente, la evaluación entendida como un todo se inicia una vez se ha identificado el problema o la necesidad que se desea solucionar. En la medida que la evaluación: 1. hace parte de las etapas de formulación de políticas, programas y estrategias; 2. permite la toma de decisiones, aportando oportunamente la información sobre los logros, avances y limitaciones; y 3. puede aplicarse de manera retrospectiva, puede hablarse de evaluación ex-ante, de evaluación sobre la marcha y de evaluación expost. En este punto es importante tener en cuenta que “Los diversos momentos de la evaluación no son exclusivos; cada momento de la evaluación puede ser valioso, pues arroja información relevante en la fase correspondiente de los procesos decisorios y gerenciales”. 3

¿Quiénes participan en el proceso de evaluación? Entendiendo por “participación en el proceso de evaluación”, el hacer parte de:

3

MOKATE, K. M. El Monitoreo y la Evaluación. Herramienta indispensable de la Gerencia Social. BID, Indes, ‘Diseño y Gerencia de Políticas y Programas Sociales’ agosto 2000. Indes 2002. 35 p. 6

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

1. el diseño de los procesos de gestión y evaluación; 2. la definición de los indicadores para la medición de la gestión y los resultados del proceso; y 3. la recopilación e interpretación de la información y uso de la misma es bien importante que se incorporen todos los gestores, sin importar si son personas independientes, grupos de personas u organizaciones, o el tipo de vinculación con el plan, programa o proyecto que se evalúa. Igualmente, se deben incorporar en todas las etapas (formulación, gestión y evaluación) del plan, programa o proyecto, sus beneficiarios o población objetivo. Así mismo, debe darse cabida a las evaluaciones externas, en aras de obtener perspectivas, ideas e interpretaciones alternativas, que enriquezcan la información y el aprendizaje que resulta del proceso.

¿Qué se obtiene de la evaluación? La evaluación tiene como último propósito generar información que permita retroalimentar el conocimiento acerca del proceso, de los diferentes actores involucrados en los niveles gerenciales y decisorios del mismo y en razón de ello debe trabajar en la generación de la información que dichos actores consideren válida, útil y oportuna. De igual manera se deben definir mecanismos y procedimientos para que dicha información fluya fácil y oportunamente, entre los diferentes actores, en los medios apropiados para su revisión y análisis. En este punto, vale la pena tener en muy en cuenta, que la importancia de la información generada, no radica en su cantidad sino en su calidad o confiabilidad y en la difusión, conocimiento y análisis que de ella se haga, permitiendo su transformación en aprendizajes y acciones, que retroalimenten la gestión del proyecto, aplicando los correctivos necesarios en aquellos aspectos que así lo requieran.

¿Qué elementos tener en cuenta en un proceso evaluativo? Son tres los elementos a tener en cuenta en el diseño y manejo de un buen proceso evaluativo: •

El marco conceptual que define lo que el plan, programa o proyecto propone realizar; (Objetivos estrategias y actividades) 7

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

• •

Los actores que tengan interés en ese proceso evaluativo; y Los estándares y/o criterios que se van a aplicar en la evaluación del plan, programa o proyecto. (Expectativas)

¿Qué se entiende por marco conceptual? Son muchas las definiciones que se han hecho de lo que es un marco conceptual, en la formulación de un plan, programa o proyecto. Algunas de ellas son las siguientes: •

• • • • •

Es una relación de las Actividades a los Productos; de los Productos a los Objetivos Intermedios; de los Objetivos Intermedios a los Objetivos Finales; y de los Objetivos Finales a la Contribución a la transformación deseada Es una serie de ideas o conceptos coherentes organizados de tal manera que sean fáciles de comunicar a los demás. Es una manera organizada de pensar en el cómo y el porqué de la realización de un proyecto, y en cómo entendemos sus actividades. Es la base de pensamiento sobre lo que hacemos y lo que ello significa, con la influencia de otras ideas e investigaciones. Es una visión de conjunto de las ideas y las prácticas que conforman el modo en que se lleva a cabo el trabajo de un proyecto. Es una serie de suposiciones, valores, y definiciones que todo el equipo adopta para un trabajo conjunto.

Una buena herramienta que facilita la construcción del marco conceptual, en la formulación de un plan, programa o proyecto, es el ‘Marco Lógico’.

¿Por qué se necesita un marco conceptual? El marco conceptual es necesario ayuda a explicar el porque se está llevando a cabo un proyecto de una manera determinada. También ayuda a comprender y a utilizar las ideas de otras personas que han hecho trabajos similares. El marco conceptual permite explicar el camino que se ha decidido tomar: el porque se han escogido ciertos métodos y no otros para llegar a un punto determinado. Puede que haya personas que hayan tomado trayectorias similares y hayan tenido experiencias diferentes usando una u otra vía. También es posible que existan trayectorias que nunca han sido exploradas. Con un marco conceptual se puede explicar por qué se ha intentado seguir determinada vía y no otra, basándose en las experiencias de los demás, y en lo que se quiere explorar o descubrir.

8

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

¿Quiénes son los actores? Entre los actores a tener en cuenta en el diseño y manejo de un buen proceso evaluativo, se tienen todas aquellas personas interesadas bien sea en el plan, programa o proyecto y/o en el mismo proceso evaluativo, estén involucrados o no en su gestión. Pueden considerarse como actores, también, los gestores del proyecto, la población objetivo del mismo, sus proveedores y quienes lo financian (incluidos los contribuyentes).

¿Cuales son los criterios y estándares de análisis? La aplicación al análisis de los procesos y resultados de los planes, programas o proyectos, de los cuatro criterios que se presentan a continuación, se ha vuelto de carácter obligatorio: • • • •

Eficacia Eficiencia Equidad Sostenibilidad

No obstante, pueden ser complementados con otros criterios que expresen expectativas particulares, tanto de los procesos como de los resultados esperados.

¿Cuales son los pasos que se deben seguir para el diseño y puesta en marcha de un proceso evaluativo? A continuación se presentan algunos pasos que no necesariamente conforman una secuencia y con los cuales se pretende dar una visión global del proceso evaluativo, que en la práctica se desarrolla mediante aproximaciones y ajustes, acordes con el grado de evolución o interés en desarrollar el mismo. 1. Identificar los diferentes usuarios del proceso evaluativo y de otros interesados en él; 2. Incorporar tales usuarios en el diseño y manejo del proceso; 3. Especificar los marcos conceptuales que permitan a los diferentes actores, entender las actividades o estrategias del plan, programa o proyecto y los resultados esperados de él; 4. Definir cuáles son las preguntas de los diversos actores a las cuales se pretende dar respuesta, por medio del proceso evaluativo;

9

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

5. Identificar y concertar los indicadores y la información, consideradas relevantes, para el proceso evaluativo; 6. Definir y poner en marcha las estrategias e instrumentos encaminados a acopiar la información, en medios adecuados y en forma sistemática y rigurosa; 7. Definir y manejar de manera efectiva cuales deben ser los flujos a seguir por la información generada durante el proceso evaluativo; 8. Promover a través de diferentes estrategias e incentivos, el uso de dicha información; y 9. Ajustar continuamente el proceso evaluativo. CONCLUSIONES Concluyendo se puede decir que el monitoreo y la evaluación son procesos que nos permiten aprender: aprender lo que está resultando y lo que no resulta. Aprender que en determinados entornos, una determinada relación causa-efecto se produce, mientras que en otros entornos, no se produce. Nos permite detectar los ajustes que hay que hacer para facilitar que las actividades se hagan de manera oportuna, en forma eficiente y con la calidad esperada. Identifica los ajustes o las actividades adicionales que tienen que incluirse, con tal de producir los efectos esperados. En síntesis, la evaluación permite enriquecer los procesos gerenciales con un aprendizaje dinámico.

10

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

DESARROLLO DE INDICADORES ¿Qué es un indicador? Son medidas específicas, verificables objetivamente, sobre los cambios o resultados de una actividad. Son variables o relaciones entre variables que ayudan a caracterizar una situación o a medir los cambios presentados en ella después de una actividad. 4

¿Que atributos debe tener un indicador? Un Indicador para cumplir efectivamente su propósito debe tener algunos atributos muy importantes: • • • • • •

Fácil de entender para todos. Accesible para no especialistas. Consistente: Relacionados con el interés de uno o más grupos de tomadores de decisiones. Con el fin de cumplir con metas comunes. Oportuno: Medibles usando inmediatamente datos disponibles para el nivel local o nacional. Los indicadores deben poder construirse en el corto plazo para facilitar la evaluación y el reajuste de las metas. Pertinente: Claramente relacionados con las metas de política y factibles de ser cambiados por el uso de instrumentos de política. Relacionados en lo posible con la sostenibilidad económica, social y ambiental. Los indicadores deben dar cuenta de los efectos colaterales de los proyectos o programas que evalúan. Confiables: Los indicadores deben dar una demostración convincente de que los objetivos están siendo alcanzados, basados en la observación y no subjetivamente.

¿Qué problemas pueden encontrarse durante el diseño y selección de indicadores?

4

COLOMBIA. DEPARTAMENTO ADMINISTRATIVO DE PLANEACIÓN - DNP. Guía para la formulación de planes de desarrollo. Fondo Financiero de Proyectos de desarrollo – FONADE. p. 69. 11

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES •

El tener que elegir entre muchos indicadores posibles para una misma meta o variable.

•

El problema de la medición: dentro de los indicadores seleccionados, es posible que algunos no sean fácilmente medibles y deban reemplazarse por otros menos confiables pero más asequibles.

•

El problema de la objetividad: puede suceder que los indicadores encontrados no midan exactamente la variable objetivo sino algún aspecto conexo de menor relevancia. Para discernir se requiere intuición y conocimiento sobre el tema para no correr el riesgo de ser demasiado subjetivo. 5

•

Que no muestra independencia. Un indicador independiente es aquél que refleja el resultado especificado en el objetivo, no los medios utilizados para alcanzar ese resultado.

¿Cómo construir o diseñar indicadores? Como los indicadores constituyen los criterios para valorar y evaluar las modificaciones de las variables, el primer paso consiste en hacer explícita la unidad de análisis, luego, descomponer esta unidad en variables y finalmente, obtener el o los indicadores que servirán como patrón de lo que se quiere valorar o evaluar. 6

¿Qué es la unidad de análisis? Por unidad de análisis se entiende el elemento mínimo de estudio, observable o medible, en relación con un conjunto de otros elementos que son de su mismo tipo. La unidad de análisis será cada uno de los objetivos establecidos que se hayan seleccionado como estratégicos para el cumplimiento de las metas y objetivos globales. 7

5

COLOMBIA. DEPARTAMENTO ADMINISTRATIVO DE PLANEACIÓN - DNP. Guía para la formulación de planes de desarrollo. Fondo Financiero de Proyectos de desarrollo – FONADE. p. 70. 6

Ibíd., p. 70.

7

Ibíd.., p. 70. 12

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

¿Qué se entiende por variables? Se entiende por variables las características, cualidades, elementos o componentes de una unidad de análisis las cuales pueden modificarse o variar en el tiempo. Deben, además, definirse con la mayor rigurosidad posible asignándole un sentido unívoco y claro, para evitar que se originen ambigüedades, discusiones y disputas terminológicas. Para el diseño de indicadores como parte de un sistema de monitoreo y evaluación, es útil: Establecer el Status, entendido como el valor de la variable antes de iniciarse el proyecto (Línea de base); Las Metas, entendidas como la expresión cuantitativa y cualitativa de lo que se pretende obtener con el proyecto social; así como construir y analizar el Logro o valor de la variable al finalizar el proyecto, pues de otra manera no se podrían realizar análisis de su comportamiento. Recomendaciones para seleccionar las variables: • • •

Iniciar con la desagregación de los diferentes objetivos de manera que al desmoronar la unidad de estudio, se obtengan factores específicos relevantes para la comprensión y la transformación de los fenómenos que se estudian Tener en cuenta un conjunto de características claves que "personifiquen" lo que se está estudiando. Mientras más concretas y menor el número de variables seleccionadas, mayor la posibilidad de profundizar en su análisis Definir cada variable asignándole un sentido unívoco y claro, para evitar ambigüedades y confusiones dentro y fuera de la unidad que la definió. 8

¿Cómo formular un Indicador? Una vez establecidas las variables, el siguiente paso es especificar el indicador. Para ello entonces deben definirse: • • • •

Nombre del indicador Atributo Unidad de medida Unidad operacional

8

COLOMBIA. DEPARTAMENTO ADMINISTRATIVO DE PLANEACIÓN - DNP. Guía para la formulación de planes de desarrollo. Fondo Financiero de Proyectos de desarrollo – FONADE. p. 70-71. 13

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

El Nombre del indicador es la expresión verbal, precisa y concreta del patrón de evaluación con el cual se "personifica" el indicador respectivo, sea éste de gestión o de logro. Ejemplo: Línea de Pobreza, nivel de escolaridad promedio. El Atributo hace referencia a la cualidad o calidad del indicador establecido. Es una dimensión específica del indicador. Ejemplo: nivel de escolaridad según: género, región o edad, se constituye en un indicador del sector educación, útil para sus análisis sectoriales. La unidad de medida especifica la unidad en la que se formula el indicador. Un indicador puede estar dado en cifras absolutas si se utilizan para dar cuenta de características particulares en un momento dado, p. e. población total por sexo según, municipio, distrito o departamento; en porcentajes, cuando se usan para destacar aspectos de distribución, p. e. porcentaje de población urbana y rural por municipio, departamento o distrito; en tasas cuando se utilizan para mostrar la evolución de un fenómeno en el tiempo, p. e. tasa de crecimiento de los recaudos fiscales por municipio y finalmente, en medidas estadísticas como promedios, mediana, moda, etc. cuando se usan para mostrar comportamientos típicos. Ejemplo: promedio de escolaridad en los empleados del departamento La unidad operacional es la forma de calcular o la expresión matemática del indicador. Los indicadores pueden medirse mediante operaciones (índices, tasas, promedios, etc.) o investigarse por medio de ítems o preguntas que se incluyen en los instrumentos para recopilar información (cuestionarios, fichas de entrevista, guía de investigación). Ejemplo: porcentaje de población entre 0 y 10 años por municipio es la relación entre población total en ese grupo de edad en el municipio y el número total de habitantes. 9

¿Cómo se clasifican los indicadores? Como los indicadores son los patrones de valoración del comportamiento de las variables relevantes, dentro del sistema de seguimiento y evaluación, a lo planeado, se requiere explicar las diferentes clases de indicadores que lo componen. Se distinguen así dos tipos o clases de indicadores: •

De Gestión o Eficiencia

9

COLOMBIA. DEPARTAMENTO ADMINISTRATIVO DE PLANEACIÓN - DNP. Guía para la formulación de planes de desarrollo. Fondo Financiero de Proyectos de desarrollo – FONADE. p. 71-72. 14

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

•

De Logro o Eficacia

Los Indicadores de Gestión o de Eficiencia son conocidos también como indicadores de seguimiento, de control, de monitoreo, de administración, de actividades, de tareas, de metas intermedias, etc. Estos indicadores permiten la valoración de la eficiencia en la utilización de los recursos durante el tiempo que se adelanta el plan, programa o proyecto social. Pertenecen primordialmente al subsistema de seguimiento o monitoreo. Estos indicadores deben valorar el rendimiento (como productividad física) de insumos, recursos y esfuerzos dedicados a obtener ciertos objetivos en unos tiempos y costos registrados y analizados. Los Indicadores de Logro o de Eficacia son cconocidos también como indicadores de éxito, externos, de impacto, de resultados o de objetivos. Permiten la valoración de los cambios en las variables socioeconómicas propiciados por la acción institucional. Miden el grado con el que una acción alcanza los resultados esperados. Es posible distinguir cuatro tipos de Indicadores de logro acordes, cada uno de ellos, con el nivel de planificación y los objetivos establecidos para cada nivel, así: Indicadores de Impacto: Relacionados con los logros a largo plazo y las contribuciones de los proyectos y programas al cumplimiento de la misión u objetivo superior de la institución o el grupo. Indicadores de Efecto: Relacionados con los logros a mediano plazo y las contribuciones de los proyectos sociales al cumplimiento de los objetivos en una región especial. Indicadores de Resultado: Relacionados con los logros a corto plazo y las contribuciones del proyecto social a resolver directamente problemas y necesidades del grupo. Indicadores de Producto: Relacionados con el plazo inmediato y las contribuciones de los componentes y actividades al cumplimiento de los propósitos establecidos en cada objetivo. 10 A continuación se presenta en forma de diagrama, la relación entre tipos de indicadores.

Diagrama de relaciones entre tipos de indicadores 10

COLOMBIA. DEPARTAMENTO ADMINISTRATIVO DE PLANEACIÓN - DNP. Guía para la formulación de planes de desarrollo. Fondo Financiero de Proyectos de desarrollo – FONADE. p. 72-73. 15

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

Actividades Recursos

Productos

Efectos

Asignación Distribución

Uso

Indicadores de Monitoreo

De proceso

Impacto

Cambios

Indicadores de Evaluación

De producto

Ejemplo: # de talleres de Agricultura orgánica # de hombres y mujeres capacitados

Toneladas de abono orgánico producido

% de variación de la productividad

% de variación en los ingresos

¿Hay indicadores para hacer seguimiento y evaluación a las organizaciones? Si, se denominan de desempeño, igual que los demás indicadores son una medida cuantitativa o cualitativa asociada a la efectividad o eficiencia en este caso de una organización. La información utilizada para el desarrollo de indicadores para medir la gestión organizacional, incluye tanto elementos del plan estratégico de la organización como aspectos operacionales de la organización, que incluyen insumos, procesos y productos asociados a bienes o servicios. La documentación consultada sobre el tema provee criterios que se pueden clasificar en dos categorías principales: los generales, o aquellos que pueden ser aplicados a cualquier tipo de indicador, y los específicos, o aquellos que se aplican por tipo de indicador. A continuación se presenta una lista de criterios de indicadores generales divididos en las siguientes categorías: usuario, propiedad, integración, comparabilidad, independencia, incorporación de situaciones extremas, costo razonable, puntualidad, consistencia y confiabilidad. •

Usuario. Que facilite su análisis e interpretación (simplicidad). Que su cálculo no sea muy complicado. Que sea comprensible 16

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

•

Propiedad. Que se pueda asociar a los procesos que se llevan a cabo en una unidad organizacional, la cual es responsable de su implantación (A su vez, se debe evitar que esta responsabilidad fomente un ambiente de competencia donde unas divisiones de la organización puedan perjudicarse a cuesta de otras). Que no lleve a los dueños del proceso a conducta indeseable, como sacrificar calidad de un servicio por mayor rapidez.

•

Integración. Que se pueda integrar a sistemas financieros y operacionales ya existentes.

•

Comparabilidad. Que se pueda comparar con otros datos ya recopilados de la organización. Que refleje los cambios en efectividad o eficiencia a través del tiempo. Que se pueda comparar en términos de usuarios y calidad.

•

Independencia. Que respondan a operaciones internas, no a factores externos.

•

Incorporación de Situaciones Extremas. Que reflejen los resultados extremos, informados independientemente de los promedios.

•

Costo Razonable. Que el costo de medición y recolección sea razonable.

• •

Puntualidad. Que la información se provea puntualmente. Consistencia. Que la información se provea consistentemente de periodo a periodo.

•

Confiabilidad. Que sea verificable. 11

¿Cómo se clasifican los indicadores de desempeño? Los indicadores de desempeño son los patrones de valoración del comportamiento de la gestión organizacional, dentro del sistema de seguimiento y evaluación, la literatura sobre el tema identifica y describe las diferentes clases de indicadores que lo componen. Se identifican así cuatro tipos o clases de indicadores de desempeño: De insumo. Estos proveen una medida de los recursos que se utilizan para proveer servicios; se pueden expresar en términos monetarios y no monetarios. Los indicadores de 11

ESCUELA DE GRADUADOS DE PLANIFICACIÓN, UNIVERSIDAD DE PUERTO RICO. Metodología para el Desarrollo de Indicadores de Desempeño en el Sector Público, http://egp.rrp.upr.edu/Investigacion/DESINDSP.htm. p. 5-6 17

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

insumo contienen elementos tales como el proceso de operación de un programa, incluyendo información como la inversión en recursos humanos y servicios. De producto. Estos indicadores miden la cantidad de servicios provistos, examinando las tareas realizadas. De eficiencia. Estos indicadores establecen una relación entre insumos y productos mediante la provisión de una medida sobre la cantidad de insumo que ha sido necesaria para lograr el producto obtenido. En algunas organizaciones, el indicador de eficiencia se puede describir en términos de la medición del costo por unidad de producción o servicio, o la provisión de información sobre el rendimiento de una inversión realizada. De efectividad. Estos indicadores expresan hasta que punto se cumplieron los objetivos al llevar a cabo un programa o actividad. Indicadores de efectividad apuntan hacia el logro de objetivos de calidad, prontitud, exactitud y satisfacción propuestos en algún tipo de plan. 12

¿Qué criterios se utilizan para la selección de indicadores de desempeño? Que la información de insumo esté disponible, Que los datos de insumo sean confiables. Que los resultados de medición estén disponibles con la frecuencia necesaria. Que midan el progreso alcanzado en cuanto al cumplimiento de los objetivos del Plan (pertinencia), Que respondan a los procesos de la organización, Que represente lo que se está midiendo (representatividad), Que refleje el punto de vista de los clientes o constituyentes, y que su costo no exceda los beneficios que resultan de su utilización. 13

¿Cómo se identifican y desarrollan los indicadores de desempeño? Con base en los criterios para la clasificación y el desarrollo de indicadores de desempeño, el estudio de procesos, y la revisión del Plan Estratégico. Estos instrumentos se deberán utilizar en conjunto para desarrollar los indicadores.

12

Ibíd., p. 6-7

13

ESCUELA DE GRADUADOS DE PLANIFICACIÓN, UNIVERSIDAD DE PUERTO RICO. Metodología para el Desarrollo de Indicadores de Desempeño en el Sector Público, http://egp.rrp.upr.edu/Investigacion/DESINDSP.htm. p. 7. 18

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

Al redactar indicadores de desempeño, es importante contestar las preguntas siguientes: ¿ El contenido a observar o medir ¿ La unidad o grupo de interés a la cual se aplica ¿ La magnitud del resultado ¿ El tiempo cuando se aplicará el indicador ¿ El lugar donde se aplicará. Para iniciar se debe llevar a cabo un análisis de documentos relacionados con el funcionamiento de la organización objeto de estudio. Estos incluyen reglamentos, leyes, descripciones de procesos, etc. El próximo paso consiste de la revisión de la primera fuente de indicadores, los diagramas de flujos y procesos. A partir de estos diagramas, se podrá desarrollar una lista extensa de indicadores de insumo, producto, eficiencia y efectividad. El próximo paso consiste en identificar a qué objetivo (o actividad de este objetivo), corresponde cada indicador. Los indicadores de insumo, producto y eficiencia no tienen que corresponder a un objetivo particular, pero los objetivos de efectividad tienen que asociarse a un objetivo por definición. La segunda fuente principal de indicadores es el Plan Estratégico. Es posible que se encuentren objetivos o actividades para las cuales no corresponda ningún proceso. En este caso se deberán desarrollar indicadores para estos objetivos El próximo paso consiste en priorizar los indicadores, con el procedimiento propuesto se puede generar un número de indicadores adecuado para supervisores inmediatos, pero probablemente muy elevado para ciertos niveles administrativos. Para que los administradores puedan identificar aquellos indicadores de mayor importancia, se sugiere que ellos establezcan una jerarquía entre los indicadores según sus experiencias personales de trabajo, y las prioridades establecidas en el Plan Estratégico. Un administrador puede estar interesado principalmente en los indicadores de efectividad, y no prestarle atención a los indicadores de insumo, producto y eficiencia. Otra forma de establecer prioridades entre indicadores es asignar un peso o valor a cada criterio que cumple un indicador. De esta forma, se puede determinar una puntuación para cada indicador. En este caso, los indicadores de mayor prioridad serían aquellos cuya puntuación sea mayor según los pesos asignados a los criterios que éstos cumplen. Una vez desarrollados los indicadores, el paso siguiente consiste en la selección de técnicas, instrumentos y estrategias de recopilación de datos. Estos instrumentos podrán llevar a la práctica estos indicadores, obteniendo la información necesaria que permita emitir un juicio acerca del programa, agencia o proyecto a evaluar. 19

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

Tanto los indicadores como las estrategias e instrumentos a utilizarse deberán estar enmarcados en un plan de evaluación que sirva de guía al proceso de recopilación y análisis de datos. Este plan de evaluación debe estar alineado a los objetivos y plan estratégico de la agencia u organización. El último paso consiste en la implantación de estos indicadores en la organización objeto de estudio. Esta última sección describe ciertas dificultades que se experimentan comúnmente en organizaciones al implantar indicadores de desempeño. 14

¿Qué medir? La visión de la organización como totalidad permite que sea posible medir todos los procesos de organización, tanto internos como aquellos relacionados con el entorno, el mercado y el cliente. Cada organización, de acuerdo con sus características, debe definir las perspectivas o dimensiones de su modelo de medición de gestión. Por tanto, no existe un modelo con perspectivas predefinidas. Cada organización debe definir las perspectivas o dimensiones que deben integrar su propio modelo. Aquí está el factor clave de éxito. 15

¿Cómo implantar los indicadores de desempeño? La implantación de un sistema de medición que utilice indicadores de desempeño representa un instrumento de control para la organización. El control en el sector público implica un nivel de complejidad mayor que el necesario para la empresa privada. Estos requisitos de mayor complejidad en el desarrollo de controles para el sector público pueden resultar, en algunas ocasiones, en la utilización de indicadores inadecuados. Por ejemplo, es posible que se desarrollen indicadores que sólo midan el uso de contribuciones y otros insumos. Es necesario, por lo tanto, que al desarrollar e implantar medidas de desempeño en el sector público, se le preste la atención adecuada al impacto que estas medidas puedan tener en el comportamiento. Se debe considerar, además, el contexto organizacional en el que se 14

ESCUELA DE GRADUADOS DE PLANIFICACIÓN, UNIVERSIDAD DE PUERTO RICO. Metodología para el Desarrollo de Indicadores de Desempeño en el Sector Público, http://egp.rrp.upr.edu/Investigacion/DESINDSP.htm. p. 10-12.

15

SERNA G. H. Casals & Asociados. Habilidades Gerenciales. [CD]. p. 134-135. 20

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

implantarían las medidas. Como menciona Hofstede (1981), mientras más se formalice un sistema de control, se corre un riesgo mayor de lograr seudo-control. Para minimizar esta probabilidad, se deben tomar en cuenta aspectos del comportamiento humano asociados a estas medidas. La implantación efectiva de indicadores de desempeño dependerá de varios factores, que incluyen el estilo y actitud de los administradores y los incentivos que se ofrezcan. En cuanto a pasos específicos a seguir para lograr una implantación exitosa, CMA Magazine ha identificado los siguientes: • • • • • • • • • • • • • • • • • • •

Incorporar en los indicadores cambios relevantes en al ambiente externo. Asegurar el apoyo y compromiso de la gerencia enfatizando la necesidad de cambio. Obtener los recursos necesarios para el diseño y desarrollo del sistema de indicadores de desempeño. Crear un equipo a cargo de la implantación que tenga una idea clara de las metas, estrategias y objetivos de la empresa. Determinar qué indicadores deben ser eliminados. Desarrollar guías de diseño para los indicadores de desempeño (esbozado anteriormente). Determinar la tecnología necesaria para implantar el nuevo sistema de indicadores. Reevaluar la evaluación del desempeño y los mecanismos de recompensa de la organización según los nuevos indicadores. Actualizar periódicamente el sistema de indicadores de desempeño, tomando en cuenta que el ambiente externo cambia constantemente. Crear conciencia sobre la necesidad de modificar la medición de desempeño actual. Asegurar insumos adecuados, útiles y oportunos. Por último, se proveen las siguientes recomendaciones para dar mayor valor a la utilidad de indicadores de desempeño (Hatry 1994): Prestar atención tanto a la calidad como el resultado de servicio. Solicitar a los dueños del proceso que fijen un nivel de desempeño. Proveer indicadores de desempeño con la periodicidad requerida. Asegurar que los datos que sirven de insumo para los indicadores de desempeño se hayan colectado a un nivel de agregación adecuado. Cada informe de desempeño de los dueños del proceso debe estar acompañado por información narrativa cualitativa. De esta forma, se pueden explicar altas o bajas inesperadas, los problemas encontrados y las medidas tomadas para solucionarlos. Incorporar la nueva metodología de indicadores de desempeño durante programas de adiestramiento de la agencia. Incorporar indicadores de desempeño en aquellos contratos relevantes.

21

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

•

Incluir información sobre desempeño y calidad de servicio en el proceso de evaluación de los empleados; ésto puede lograrse sólo después de contar con un sistema de medición de desempeño que se considere justo tanto por los evaluadores como por los evaluados. 16

¿Cómo implantar los indicadores de desempeño? El modelo de medición de gestión debe ser en cascada y por tanto, involucrar todos los niveles de la organización. En este sentido, la medición de gestión es responsabilidad de toda la organización. Sin embargo, debe existir en la organización una unidad que sea la responsable de recolectar y procesar la información que sirva para el soporte del análisis de evaluación de los resultados de la organización. Esta unidad, generalmente, es la oficina de planeación o su equivalente dentro de cada organización. Es indispensable, entonces, que exista una unidad que cumpla la función de recolección y procesamiento de la información. El análisis de los resultados, las conclusiones y el diseño de recomendaciones de estrategias de mejoramiento, deben ser responsabilidad de cada unidad. Es a la unidad a la que compete evaluar su propio desempeño. Ésta no puede ser tarea de la oficina de planeación. El modelo no requiere jueces externos. Cada unidad debe ser su propio juez. Así, entramos en la filosofía del mejoramiento continuo y no en la del castigo. Por ello, es muy importante la realización en cada nivel de una sesión estratégica de análisis de desempeño y una definición de estrategia y acciones de mejoramiento. Esta disciplina de análisis es la que crea una cultura cuantitativa de medición de desempeño. Hay que recordar que cuando una organización define cómo debe ser medida así se comporta. Es esta la nueva y muy antigua habilidad gerencial. Seguimiento. Seguimiento. Seguimiento... Esta es la nueva cultura que se requiere para asegurar competitividad.

ESCUELA DE GRADUADOS DE PLANIFICACIÓN, UNIVERSIDAD DE PUERTO RICO. Metodología para el Desarrollo de Indicadores de Desempeño en el Sector Público, http://egp.rrp.upr.edu/Investigacion/DESINDSP.htm. p. 14-15 16

22

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

A modo de conclusión, el procedimiento presentado describe los pasos a seguir para desarrollar indicadores de desempeño del sector público. Sin embargo cave anotar que hay ciertos esfuerzos complementarios que se pueden llevar a cabo para implantar indicadores y mejorar la efectividad y eficiencia de la organización. Estos incluyen: • • • •

La reingeniería de procesos de la organización y benchmarking La provisión de sistemas de información de apoyo al desarrollo de indicadores La implantación de un proceso de planificación estratégica. La implantación de un proceso de planificación estratégica le brinda a una agencia una mayor objetividad en el establecimiento de prioridades y la concentración de recursos hacia esas prioridades. La reingeniería de procesos facilitará la orientación de procesos a los objetivos de la organización según definidos en el Plan Estratégico. Finalmente, los sistemas de información de apoyo facilitarán la implantación adecuada de indicadores de desempeño en el sector gubernamental. 17

Los criterios que se utilicen para planificar deben ser los mismos que se empleen para evaluar, si es que se pretende que la evaluación realimente la planificación y ésta sea también objeto de evaluación en sí misma.

17

SERNA G. H. Casals & Asociados. Habilidades Gerenciales. [CD]. p. 135-136. 23

DOCUMENTO TÉCNICO PARA “LA INICIATIVA DE FORMACIÓN EN GERENCIA SOCIAL PARA LA PROTECCIÓN SOCIAL” ZONA SUR-OCCIDENTE FONADE- UNIVERSIDAD ICESI MONITOREO Y EVALUACIÓN – DESARROLLO DE INDICADORES

BIBLIOGRAFIA •

COLOMBIA. DEPARTAMENTO ADMINISTRATIVO DE PLANEACIÓN DNP. Guía para la formulación de planes de desarrollo. Fondo Financiero de Proyectos de desarrollo – FONADE. 288 p.

•

DESARROLLO DE Indicadores de Desempeño en http://egp.rrp.upr.edu/Investigacion/DESINDSP.htm. 25 p.

•

HINTZER J. Instrumentos de Evaluación de la Gestión del Valor Público. En: ponencia presentada para el VIII Congreso Internacional del CLAD sobre la Reforma del Estado y la Administración Pública. Panamá, 28 - 31 de octubre de 2003, 43 p.

•

JUNTERMANNS G. y CAJAS E. Gestión dinámica de proyectos. Sexta edición agosto de 2000, Chaclayo Perú , Modulo 4 Monitoreo y evaluación. 26p.

•

MOKATE, K. M. Convirtiendo el ‘monstruo’ en aliado: la evaluación como herramienta de la gerencia social. En series de documentos de trabajo I-23, versión modificada en noviembre 2003. 44 p.

•

--------. El Monitoreo y la Evaluación. Herramienta indispensable de la Gerencia Social. BID, Indes, ‘Diseño y Gerencia de Políticas y Programas Sociales’ agosto 2000. Indes 2002. 35 p.

•

QUINTERO, V. M, Evaluación de proyectos sociales, Construcción de indicadores, Fundación FES, noviembre 1995, ISBN 958 9562-18-4, 279 p.

•

SERNA G. H. Casals & Asociados. Habilidades Gerenciales. [CD]. 163 p.

24

el

Sector

Público