INFORME PROYECTO: MEJORA DE LA CALIDAD DE INDICADORES DE PROYECTOS PRIORITARIOS DEL ESTADO DE GUANAJUATO

MEJORAR LA CALIDAD DE INDICADORES DE PROYECTOS PRIORITARIOS DEL ESTADO DE GUANAJUATO 1. Situación inicial que dio origen a la práctica El enfoque de Gestión por Resultados (GpR) en el Estado de Guanajuato está en proceso de consolidación.

Existen

avances

en

los

procesos

de

planeación,

programación,

presupuestación, armonización contable, información para el desarrollo, y rendición de cuentas. Sin embargo, es de conocimiento que la gestión basada en resultados requiere un adecuado sistema de monitoreo y evaluación. Este sistema necesita tener la capacidad de monitorear un conjunto de indicadores que satisfagan las necesidades de información del sector público en el Estado para que las políticas y programas puedan formularse, implementarse, seguirse y evaluarse de manera efectiva, haciendo exitoso el proceso de cambio. Uno de los aspectos menos abordados en la implementación del enfoque de la Gestión basada en Resultados ha sido el de contar con indicadores oportunos y confiables de los programas, siendo éstos una pieza fundamental, ya que se constituyen en el elemento clave para integrar los procesos de planeación, programación, presupuestación, monitoreo y evaluación. Es así como a finales del año 2014 dio inicio un proceso de mejora continua en el marco del Acuerdo de Cooperación Técnica (Reimbursable Advisory Services Agreement) entre el Instituto Nacional de Estadística y Geografía, el Instituto de Planeación, Estadística y Geografía del Estado de Guanajuato y el Banco Internacional de Reconstrucción y Fomento, con el objetivo de: i.

Evaluar la calidad de los indicadores existentes para programas estatales prioritarios en sectores clave identificados y seleccionados;

ii.

Administrar la herramienta de auto-evaluación (HECRA) para analizar la calidad de registros administrativos relacionados con los indicadores de los programas estatales prioritarios en sectores seleccionados, así como el desarrollo de un plan

Dirección General del Sistema Estatal de Información Estadística y Geográfica

1

INFORME PROYECTO: MEJORA DE LA CALIDAD DE INDICADORES DE PROYECTOS PRIORITARIOS DEL ESTADO DE GUANAJUATO

de acción para mejorar la calidad de datos en los programas estatales prioritarios en los sectores seleccionados; y iii.

Capacitación en Estándares de documentación de Datos (DDI) para la preservación de los microdatos, su documentación y diseminación.

2. Descripción de la práctica. Bajo la Cooperación Técnica entre el Instituto de Planeación, Estadística y Geografía del Estado de Guanajuato (IPLANEG), el Instituto Nacional de Estadística y Geografía (INEGI) y el Banco Mundial (BM) evaluaron la calidad de más de 60 indicadores en MIRs seleccionadas de 26 proyectos específicos que integran el Sistema de Evaluación del Desempeño de la Secretaría de Finanzas, Inversión y Administración de Guanajuato. La práctica ha consistido en aplicar a cada indicador contemplado en las Matrices de Indicadores para Resultados la Herramienta para Evaluar la Calidad de los Indicadores (HECI) desarrollada por el Banco Mundial, el Inegi y el Estado de Yucatán. Esta herramienta tiene como objetivo analizar la formulación de indicadores y metas a través de la utilización de criterios como CREMA (Claro, relevante, económico, monitoreable, adecuado) y SMART (Específico, cuantificable, alcanzable, relevante y susceptible de monitorear). Asimismo, la herramienta hace una valoración rápida de las fuentes de información utilizadas para tal fin. Hasta el momento contamos con dos etapas de trabajo, la primera fue en noviembre del año pasado en la que se seleccionaron 26 programas presupuestarios prioritarios para el estado y a partir de ahí, mediante talleres donde participaban las dependencias y entidades responsables del proyecto, el Banco Mundial, INEGI e IPLANEG, se evaluaron 61 indicadores: 10 de nivel de fin, 19 de propósito y 32 de componente. Durante 2015 en el contexto de la actualización del Programa de Gobierno se decidió evaluar la totalidad de los indicadores de nivel propósito de los programas presupuestarios, para ello se implementó para todos los actores responsables de las MIRs una estrategia de autoevaluación en línea.

Dirección General del Sistema Estatal de Información Estadística y Geográfica

2

INFORME PROYECTO: MEJORA DE LA CALIDAD DE INDICADORES DE PROYECTOS PRIORITARIOS DEL ESTADO DE GUANAJUATO

Una vez analizados los resultados se capacitó a personal de la Secretaría de Finanzas, Inversión y Adrministración sobre las características del instrumento y a partir de los resultados observados se decidió retroalimentar a las dependencias por parte de las dos instituciones a fin de que mejoraran los indicadores. Actualmente, la HECI forma parte del registro de MIR´s en el Sistema de Evaluación al Desempeño de la Secretaría de Finanzas, Inversión y Administración del Estado de Guanajuato. Esto se estableció como una práctica obligatoria de evaluación de los indicadores de todos los niveles de las MIR´s para la elaboración del presupuesto 2016. La Secretaría la adopto dentro de su modelo llamado: MAC (modelo de aseguramiento de la Calidad). En relación a la evaluación de los registros administrativos, se seleccionaron y evaluaron 17 registros con la Herramienta para la Evaluación de la Calidad de los Registros Administrativos (HECRA), a partir de su vínculo con los indicadores de las MIRs evaluados previamente a través de la HECI. Como primer paso se realizó una caracterización de los registros administrativos con el objeto de contar con información del mismo previo a la capacitación y acompañamiento de la auto-evaluación. A continuación se acudió a las distintas dependencias para realizar la evaluación considerando los distintos actores que intervienen en los registros administrativos. Finalmente, a partir de los resultados obtenidos se elaboraron una serie de planes de mejora por registro para cada dependencia participante. La implementación de la HECRA permitió evaluar cuatro dimensiones de los registros administrativos, a saber: a) fuente de datos administrativos: análisis de tributos de la calidad asociada al entorno institucional, marco legal, seguridad de la información, procedimientos y entrega y tratamiento de los datos; b) metadatos: los atributos de la calidad vinculados a la documentación de los datos del registro administrativo;

Dirección General del Sistema Estatal de Información Estadística y Geográfica

3

INFORME PROYECTO: MEJORA DE LA CALIDAD DE INDICADORES DE PROYECTOS PRIORITARIOS DEL ESTADO DE GUANAJUATO

c) datos: la cobertura, métodos de unión, omisiones, medición, claves de identificación, procesamiento y precisión de datos, uso de códigos y clasificadores internacionales, actualidad de los datos, registros múltiples, entre otros; y, d) producto estadístico final: cifras, cuadros estadísticos y/o microdatos elaborados a partir registros administrativos, ya como marco de encuestas por muestreo, o generando cifras estadísticas directamente del procesamiento de datos del RRAA. Los resultados de la evaluación revelaron que en promedio los registros se encuentran en un estatus de “aceptables”, no obstante, presentan un amplio margen de mejora. Las principales áreas de oportunidad encontradas están vinculadas a la seguridad, gestión y análisis de la información, al desarrollo de marcos de gestión de calidad y de elaboración de metadatos, así como de evaluación de la satisfacción de usuarios y uso de clasificadores. Actualmente los planes de mejora propuestos, están en revisión por parte de las dependencias y se les solicito a las mismas, manifestar a través de una carta de intención, el compromiso de implementar (bajo acompañamiento del CEIEG) las mejoras propuestas en dichos planes para el aseguramiento de la calidad de los registros administrativos. Además, de adoptarlo como un proceso continuo de calidad de la información al interior de su dependencia.

3. Implementación y operación de la práctica. El siguiente flujograma da cuenta del proceso de implementación de la herramienta para la evaluación de la calidad de los indicadores de las matrices de indicadores de los programas presupuestarios.

Dirección General del Sistema Estatal de Información Estadística y Geográfica

4

INFORME PROYECTO: MEJORA DE LA CALIDAD DE INDICADORES DE PROYECTOS PRIORITARIOS DEL ESTADO DE GUANAJUATO

4. Resultados o logros obtenidos de la práctica en la mejora de la política de desarrollo social. Derivado del proyecto desarrollado con la asesoría del Banco Mundial y el Inegi, se implementó la herramienta para la evaluación de indicadores como parte del proceso de elaboración y registro de las MIR´s en el Sistema de Evaluación al Desempeño (SED) coordinado por la Secretaría de Finanzas. Además, se adopto como parte de su Modelo de Aseguramiento de la Calidad de los indicadores al interior del SED. A partir de este

Dirección General del Sistema Estatal de Información Estadística y Geográfica

5

INFORME PROYECTO: MEJORA DE LA CALIDAD DE INDICADORES DE PROYECTOS PRIORITARIOS DEL ESTADO DE GUANAJUATO

momento se inició un proceso de auto reflexión y replanteamiento de las MIRs por parte de las dependencias estatales, dando como resultado, la actualización del Programa de Gobierno vigente, así como una evaluación de todos los indicadores del SED en todos los niveles: fin, propósito y componentes. Asimismo, esta iniciativa impulsó la reorientación del trabajo del Comité Estatal de Estadística y Geografía, haciendo énfasis en el fortalecimiento de la calidad de la Información relacionada con el SED en general, con el objetivo de fortalecer la estrategia estatal del GpR, y por tanto, mejorar en el diseño, seguimiento y evaluación de las políticas públicas del estado. 5. ¿Por qué se puede considerar una “buena práctica”? El enfoque de Gestión por Resultados (GpR) implementado en el Estado de Guanajuato, requiere de un adecuado Sistema de Monitoreo y Evaluación donde una de las piezas fundamentales es contar con la información estadística oportuna y de calidad que permita la mejora de la calidad de los indicadores. Por este motivo, el proyecto es considerado como una “buena práctica” al asegurar la calidad de los indicadores de los programas presupuestarios, permitiendo monitorear y evaluar de manera más objetiva los programas, así como tomar decisiones de política pública basadas en información confiable. Cabe mencionar que este proyecto incluyó varias innovaciones importantes. La innovación primordial es la conexión explícita entre el sistema estadístico y el sistema estatal de planeación, monitoreo y evaluación. No es novedoso que se derive una serie de beneficios de dicha conexión explícita, sin embargo, son pocos los países, y aún menos las unidades sub-nacionales que han dirigido sus esfuerzos para fortalecer sus sistemas de información explícitamente para responder a las necesidades del sistema de monitoreo y evaluación. La otra innovación del proyecto fue su enfoque en los sistemas de datos o registros administrativos. Este tipo de información (se produce una gran cantidad de datos a nivel muy desagregado y en una forma continua) se ha utilizado poco, en parte por interrogantes en cuanto a su calidad y su carácter de dato administrativo sin condiciones en muchas ocasiones para ser aprovechado estadísticamente. herramienta

Para ello se implementó la HECRA,

para la evaluación de calidad de los registros administrativos y

Dirección General del Sistema Estatal de Información Estadística y Geográfica

para el

6

INFORME PROYECTO: MEJORA DE LA CALIDAD DE INDICADORES DE PROYECTOS PRIORITARIOS DEL ESTADO DE GUANAJUATO

desarrollo de estrategias para mejorarlos.

6. Lecciones

aprendidas,

alcances

y

retos

que

se

han

presentado

en

su

implementación. Mencionar cuáles son las fortalezas y las áreas de oportunidad de la práctica. Las

Herramientas

utilizadas

para

la

evaluación

están

soportadas

y

validadas

internacionalmente, son de fácil aplicación y promueven la reflexión y aprendizaje entre los actores involucrados. Así mismo permiten iniciar procesos claros de mejora y aseguramiento de la calidad de la información. Sin embargo, cabe destacar que es necesario generar procesos más explícitos a través de lineamientos, reglamentos y normativas para que éstos se implementen con mayor rigurosidad y compromiso por parte de todas las dependencias involucradas. Actualmente, se está haciendo a través de acuerdos de colaboración entre las dependencias rectoras en materia de planeación y presupuestación a fin de no duplicar trabajos y trabajar en un mismo frente, con un solo objetivo, que es la construcción de un Sistema de Monitoreo y Evaluación con enfoque al GpR. De esta manera, se visualiza la la oportunidad de trabajar de manera conjunta en elaborar un nuevo lineamiento (documento técnico) que permita la elaboración de las matrices de resultados en el cual se consideren orientaciones técnicas en la construcción de indicadores, metas y validación de fuentes de información, así como, permita definir criterios de aceptación y sanción en caso de no cumplir con lo requerido. Además, de los procesos y actuaciones de cada dependencia en todo el ciclo de la planeaciónpresupuestación-evaluación. También, para subsanar ciertas debilidades del proceso se está buscando formalizar la revisión de las MIR´s, a través de 3 instancias y etapas. A) revisión metodológica de la verificación de la congruencia en la construcción de la MIR, B) revisión por pares sobre su contenido técnico y C) validación de las autoridades del programa o entidad. Asimismo, se pretende consolidar y formalizar el proceso y establecerlo como una normativa

Dirección General del Sistema Estatal de Información Estadística y Geográfica

7

INFORME PROYECTO: MEJORA DE LA CALIDAD DE INDICADORES DE PROYECTOS PRIORITARIOS DEL ESTADO DE GUANAJUATO

en la formulación y presupuestación de programas. Finalmente, cabe destacar que tomamos conciencia de que el ejercicio de mejoramiento de la calidad de la información en general, y en especial de la utilizada en el monitoreo y evaluación de programas, es un proceso que requiere de tiempo y esfuerzo, pues no solo consisten en la implementación herramientas, sino que requiere de procesos de capacitación y formación de capital humano, incorporación y mejora continua en la captación y explotación de los registros administrativos, así como definición de estructuras y roles dentro de la misma estructura de gobierno estatal.

7. Conclusiones Guanajuato está trabajando en la consolidación de un sistema en materia de monitoreo y evaluación y en general de la GpR. Por ello, se ha iniciado la incorporación a los procesos de planeación y presupuestación uno de los elementos clave: El aseguramiento de la calidad de los indicadores y de la información. El proceso muestra ya los primeros resultados y actualmente el presupuesto 2016 cuenta con una validación generalizada de indicadores de todos los niveles de la MIR, lo cual a su vez derivó en una actualización del Programa de Gobierno al 2018. El Comité de Estadística y Geografía del Estado de Guanajuato (CEIEG) y la coordinación de distintos órganos rectores del GpR, estamos trabajando para lograr que los funcionarios se empoderen de la utilidad de los indicadores y la información estadística y geográfica para su efectiva gestión: Información para la preparación y seguimiento del presupuesto, para reportes de monitoreo y evaluación, para la negociación presupuestal y rendición de cuentas, toma de decisiones de política pública, etc. El trabajo con las MIR´s y las herramientas de evaluación, están generando un plan de trabajo y un cambio cultural del uso de la información en la Administración Pública Estatal, que ayudará a la consolidación de la GpR en la entidad.

Dirección General del Sistema Estatal de Información Estadística y Geográfica

8