Evaluación de Consistencia y Resultados 2011-2012

Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

Resumen Ejecutivo El Programa de Agua Potable y Alcantarillado en Zona Urbanas (APAZU) surgió en 1990 como parte del Programa Nacional de Agua Potable y Alcantarillado 1990-1994 y, quizá por esa razón, nunca ha documentado sus resultados de manera separada de otros programas de la Comisión Nacional del Agua, como el Programa Valle de México (Fideicomiso 1928), Programa de Devolución de Derechos (PRODDER), Programa Agua Limpia (PAL), Programa para la Construcción y Rehabilitación de Sistemas de Agua Potable y Saneamiento en Zonas Rurales (PROSSAPYS), Programa para la Modernización de Organismos Operadores de Agua (PROMAGUA) y el Programa de Tratamiento de Aguas Residuales (PROTAR). Aún más, el documento anual de la Comisión Nacional del Agua, intitulado Situación del Subsector Agua Potable, Alcantarillado y Saneamiento, informa no sólo el avance de las coberturas debidas a las inversiones de toda la CONAGUA de manera agregada, sino también las de otros programas federalizados, estatales y municipales, las que se derivan de la acción de organismos binacionales e internacionales, así como la contribución de instituciones filantrópicas, privadas y mixtas. El resultado es que no se puede saber con exactitud mediante documentos de acceso público que contengan información expedita, sin la necesidad de consultar el Sistema de Información de Servicios Básicos del Agua (SISBA) en las oficinas de la CONAGUA o los de la Cuenta de la Hacienda Pública Federal y hacer cálculos cuál es la contribución del programa APAZU en la disipación de los rezagos de las coberturas de agua potable, alcantarillado y tratamiento de aguas residuales, ni de la efectividad de sus costos. En consecuencia, se recomienda publicar información exclusiva del programa APAZU y hacer de acceso público al SISBA en internet. No obstante, como parte de los trámites para acceder a los subsidios del programa APAZU comprenden varios meses, es posible hacer una orientación de su gasto con pleno respeto al federalismo, ya que, al ser un programa de adhesión voluntaria, son los propios organismos operadores de agua potable y alcantarillado la población objetivo quienes deciden para qué obras solicitan los apoyos. El diseño del programa es razonablemente lógico; sin embargo, en el resumen narrativo del Fin se alude a la cobertura y calidad de los servicios de agua potable, sin incluir el alcantarillado sanitario ni el tratamiento de aguas residuales, además de que el incremento en la calidad de estos servicios no se refleja en ningún indicador. Por tanto, se recomienda modificar la redacción del Fin para que incluya al alcantarillado sanitario y el tratamiento de aguas residuales e introducir un cuarto Componente que mida el incremento en la calidad de los servicios de agua potable, alcantarillado sanitario y tratamiento de aguas residuales. El hecho de que el programa APAZU se haya establecido a partir de un diagnóstico que no le era exclusivo, sino agregado, se ha arrastrado durante los últimos 21 años. La carencia de un diagnóstico propio que se mantenga actualizado de manera periódica conduce a la ausencia de una planeación, a la indefinición de la población universo y potencial, así como a confusiones entre los habitantes que resultan beneficiados por las acciones que apoya APAZU y la población atendida por el programa, que no son habitantes, sino organismos operadores de agua potable y alcantarillado. Esta confusión no es exclusiva del ciudadano lego, la propia Matriz de Indicadores para Resultados registra en la fórmula para calcular el indicador del Fin al número de habitantes beneficiados no por el programa APAZU de manera exclusiva, sino por la población atendida más un sinnúmero adicional de actores federales, estatales, municipales, binacionales, internacionales, filantrópicos, privados y mixtos. En las evaluaciones de resultados de 2006 y 2008 se aplicaron encuestas a los habitantes con resultados desconcertantes: en la primera, la percepción del beneficio de agua potable fue 98.5% y la de alcantarillado 94.2%, y dos años después la percepción descendió a 79.2 y 72.8%, respectivamente. Los propios diseñadores de la encuesta ponen en perspectiva su trabajo: “Entre los entrevistados existe un gran desconocimiento de las autoridades que llevan a cabo las obras de servicios de agua potable, drenaje y alcantarillado”. Entonces, parte del desconcierto se origina, por ejemplo, al preguntarle a un

S74

2

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas ciudadano su opinión con respecto a la potabilidad del agua, ya que éste, por lo general, desconoce la existencia de la NOM-127-SSA1-1994 y sus actualizaciones y carece de acceso a los resultados de un laboratorio acreditado para pronunciarse de manera informada sobre la potabilidad del agua, más allá de consideraciones organolépticas. Aunque en esas evaluaciones también se hicieron encuestas a funcionarios de la propia CONAGUA y de los organismos operadores, no se reportó ninguna calificación cuantitativa. Por tanto, se recomienda que el programa diseñe un esquema para evaluar la percepción de la población atendida organismos operadores, los cuales tienen un conocimiento sólido del subsector de manera sistemática y no esporádica. No obstante, el programa APAZU está vinculado al Plan Nacional de Desarrollo 2007-2012 y al Programa Nacional Hídrico 2007-2012 y, en efecto, contribuye a incrementar el acceso y la calidad aunque ningún indicador la mide de los servicios de agua potable, alcantarillado sanitario y pluvial, así como al tratamiento de aguas residuales.

S74

3

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

Introducción La prestación de los servicios públicos de agua potable y saneamiento es responsabilidad de un Estado garante y, por ello, puede proveerlos de manera directa, ser un prestador más o sólo regular en el ámbito económico el servicio provisto al público por particulares. En la historia de México, la satisfacción de estas necesidades ha sido un asunto personal, una actividad de las comunidades locales, un servicio administrado por el gobierno federal, un servicio descentralizado a las entidades federativas, un servicio atribuido en la constitución a los municipios y, finalmente, un servicio que puede ser prestado por particulares, regulados por ese Estado garante, para lo cual se requieren condiciones claras en la esfera económica, sanitaria, jurídica y administrativa que equilibren el interés colectivo y las inversiones privadas (Collado, 2008). El Fondo de Inversiones Financieras para Agua Potable y Alcantarillado (FIFAPA) fue un fideicomiso creado por BANOBRAS en 1975 con fondos provenientes del Banco Interamericano de Desarrollo, cuyo propósito fue trasladar mayores responsabilidades a los gobiernos locales. Un acuerdo presidencial de 1980 ordenó a la Secretaría de Asentamientos Humanos y Obras Públicas la devolución de los sistemas de agua potable y alcantarillado a los gobiernos estatales y derogó el reglamento de las Juntas de Agua Potable de 1949. En 1982 otro acuerdo presidencial transfiere la responsabilidad de la intervención federal en materia de agua urbana e industrial de la Secretaría de Agricultura y Recursos Hidráulicos a la Secretaría de Desarrollo Urbano y Ecología. Ahí se crea una instancia federal de regulación del desarrollo urbano y de la ecología, y en ella se ubica la gestión del agua para uso urbano-industrial. Finalmente, en 1983 la reforma al artículo 115 constitucional asignó a los municipios, entre otras responsabilidades, la de proveer los servicios públicos de agua potable y alcantarillado, y también el servicio de limpia. En 1999 el artículo 115 constitucional sufrió otra reforma para que los ayuntamientos asumieran la responsabilidad de proveer los servicios públicos de agua potable, drenaje, alcantarillado, tratamiento y disposición de sus aguas residuales; asimismo, se les asignó la función del servicio de limpia, recolección, traslado, tratamiento y disposición final de sus residuos sólidos. Por otra parte, se les otorgó la facultad de aprobar, entre otras cosas, disposiciones administrativas para regular los servicios públicos, asegurando la participación ciudadana. En particular, una de las finalidades de esas atribuciones era “celebrar actos o convenios que comprometan al Municipio por un plazo mayor al periodo del Ayuntamiento”, precisamente, el caso típico de la concesión de los servicios de agua potable y saneamiento a empresas privadas. La reforma precisaba que “sin perjuicio de su competencia constitucional, en el desempeño de las funciones o la prestación de los servicios a su cargo, los municipios observarán lo dispuesto por las leyes federales y estatales”. Una vez más, la constitución se puso a prueba en su tradicional calidad de cuerpo normativo “expectante” (Tena, 2000). Sin embargo, la mayor parte de los organismos operadores de agua potable y saneamiento del país carecen de la capacidad técnica, económica y administrativa suficientes para abatir el rezago en sus coberturas y para prestar los servicios con eficiencia (CONAGUA, 1989). Por tanto, el programa APAZU se estableció en 1990 con el fin de consolidar a los organismos operadores, crear instancias estatales responsables del subsector e implantar y supervisar la política federal en la materia.

S74

4

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.1 DISEÑO IV.1.1 CARACTERÍSTICAS DEL PROGRAMA Con base en información solicitada a los responsables del programa, se debe adjuntar en el Anexo 1 "Descripción General del Programa", una breve descripción de la información reportada en un máximo de dos cuartillas. Dicha descripción debe considerar los siguientes aspectos: 1. Identificación del programa (nombre, siglas, dependencia y/o entidad coordinadora, año de inicio de operación); 2. Problema o necesidad que pretende ; 3. Objetivos nacionales y sectoriales a los que se vincula; 4. Descripción de los objetivos del programa, así como de los bienes y/o servicios que ofrece; 5. 6. 7. 8. 9.

Identificación y cuantificación de la población potencial, objetivo y atendida; Cobertura y mecanismos de focalización; Presupuesto aprobado en el ejercicio fiscal sujeto a evaluación; Principales metas de Fin, Propósito y Componentes, y Valoración del diseño del programa respecto a la atención del problema o necesidad.

S74

5

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.1.2 ANÁLISIS DE LA JUSTIFICACIÓN DE LA CREACIÓN Y DEL DISEÑO DEL PROGRAMA 1

El problema o necesidad prioritaria que busca resolver el programa está identificado en un documento que cuenta con la siguiente información: a) El problema o necesidad se formula como un hecho negativo o como una situación que puede ser revertida. b) Se define la población que tiene el problema o necesidad. c) Se define el plazo para su revisión y su actualización.

Respuesta Si Nivel 4

• El programa tiene identificado el problema o necesidad que busca resolver, y • El problema cuenta con todas las características establecidas en la pregunta.

Justificación: El documento intitulado CNA Lineamientos para el Programa Nacional de Agua Potable y Alcantarillado 1990-1994 (CONAGUA, 1989) caracteriza a la mayor parte de los organismos operadores de agua potable y alcantarillado sanitario en aquel entonces, casi la mitad municipalizados y un poco más de la mitad aún en el ámbito de las entidades federativas como i), disfuncionales orgánicamente, ii) carentes de capacidad técnica, administrativa y contable, iii) con insuficiencia financiera, y v) sin participación ciudadana. Los lineamientos concebidos para todo el subsector propusieron como solución a esos inconvenientes lo que el futuro programa de Agua Potable y Alcantarillado en Zonas Urbanas (APAZU) habría de impulsar i) la autonomía y capacidad de gestión, ii) participación ciudadana en los consejos de administración, iii) no desviar los recursos recaudados por los servicios para otros propósitos, iv) aprobación de tarifas en los consejos de administración de las empresas operadoras impulsando la participación de la iniciativa privada en la prestación de los servicios públicos domiciliarios de agua potable y alcantarillado sanitario, así como de los servicios públicos municipales de alcantarillado pluvial y tratamiento de aguas residuales, en consonancia con el Consenso de Washington (Williamson, 1990), y v) autosuficiencia financiera. La Comisión Nacional del Agua propuso, además, un sistema financiero, la creación de un organismo estatal conocido hoy en día como Comisión Estatal de Agua y Saneamiento, y la adecuación de los marcos jurídicos. Para ello, contrató empréstitos con el Banco Mundial y, posteriormente, con el Banco Interamericano de Desarrollo. En la actualidad, además de los recursos federales, estatales y municipales, concurren en el programa APAZU créditos, aportaciones de la Environmental Protection Agency y de la iniciativa privada (CONAGUA, 2011 a). Los Lineamientos trazaron el objetivo de beneficiar a 13.9 de los 26.1 millones de habitantes sin agua potable y a 15.6 de los 44.6 millones de habitantes sin alcantarillado en el periodo 1990-1994.

S74

6

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

2

Existe un diagnóstico del problema que atiende el programa que describa de manera específica: a) Causas, efectos y características del problema. b) Cuantificación, características y ubicación territorial de la población que presenta el problema. c) El plazo para su revisión y su actualización.

Respuesta No Justificación: El programa APAZU no cuenta con un diagnóstico exclusivo que defina el problema o situación que aborda; que defina la población universo, potencial, objetivo ni atendida; que explicite los criterios de focalización u orientación del gasto, ni que defina un plazo para la autoevaluación, revisión o actualización del programa. Por tanto, se recomienda que elabore un diagnóstico y lo mantenga actualizado de manera periódica. No obstante, los Lineamientos para el Programa Nacional de Agua Potable y Alcantarillado 1990-1994 (CONAGUA, 1989) presentan un diagnóstico del subsector. Asimismo, el árbol del problema elaborado en 2009 identifica que las instituciones municipales y estatales con limitada capacidad económica, técnica o administrativa conducen a la insuficiencia de obras de agua potable, alcantarillado sanitario y de tratamiento de aguas residuales referidas como “volumen de agua residual sin ser tratada”, por lo que el problema esencial del programa radica en que “Es baja la cobertura y calidad de los servicios de agua potable en zonas urbanas del país”. De hecho, en el resumen narrativo del Fin se alude a la cobertura y calidad de los servicios de agua potable, sin incluir el alcantarillado sanitario ni el tratamiento de aguas residuales; además, el incremento en la calidad de los servicios de agua potable, alcantarillado sanitario y tratamiento de aguas residuales no se refleja en ningún indicador de la Matriz de Indicadores para Resultados. En consecuencia, se recomienda modificar la redacción del Fin para que incluya al alcantarillado sanitario y el tratamiento de las aguas residuales municipales e introducir un cuarto Componente que mida el incremento en la calidad de los servicios de agua potable, alcantarillado sanitario y tratamiento de aguas residuales. El artículo 7.1 de las Reglas de Operación del programa (SEMARNAT, 2011) indica que su objetivo específico es “Fomentar y apoyar a las entidades federativas y municipios en el desarrollo de los sistemas de agua potable, alcantarillado y saneamiento en centros de población mayores a 2,500 habitantes”. El artículo 7.2 identifica a la población objetivo como a los “organismos operadores encargados de la prestación de los servicios en comunidades urbanas del país con población mayor a 2,500 habitantes”. La respuesta a esta pregunta no puede ser congruente con la respuesta a la pregunta 1 porque las interrogantes aluden a documentos de carácter distinto.

S74

7

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

3

¿Existe justificación teórica o empírica documentada que sustente el tipo de intervención que el programa lleva a cabo?

Respuesta No Justificación: El programa APAZU no ha elaborado ningún documento en el que se justifique teórica o empíricamente la transferencia de recursos hacia las entidades federativas, municipios, organismos operadores de agua potable y alcantarillado ni comisiones estatales de agua potable y saneamiento y, en consecuencia, tampoco ha presentado una evidencia nacional o internacional que muestre los efectos positivos que podrían ser atribuibles a los beneficios o apoyos otorgados a la población objetivo organismos operadores de agua potable y alcantarillado en localidades con más de 2,500 habitantes ni pruebas de que el tipo de intervención es el más eficaz, comparado con otras alternativas, para atender el problema planteado. La respuesta a esta pregunta no puede ser congruente con la respuesta a la pregunta 1 porque las interrogantes aluden a documentos de carácter distinto.

S74

8

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.1.3 ANÁLISIS DE LA CONTRIBUCIÓN DEL PROGRAMA A LOS OBJETIVOS NACIONALES Y El Propósito del programa está vinculado con los objetivos del programa sectorial, especial o institucional considerando que: a) Existen conceptos comunes entre el Propósito y los objetivos del programa sectorial, especial o institucional, por ejemplo: población objetivo. b) El logro del Propósito aporta al cumplimiento de alguna(s) de la(s) meta(s) de alguno(s) de los objetivos del programa sectorial, especial o institucional. Respuesta Si 4

Nivel 3

• El programa cuenta con un documento en el que se establece la relación del Propósito con los objetivo(s) del programa sectorial, especial o institucional, y • Es posible determinar vinculación con todos los aspectos establecidos en la pregunta.

Justificación: El Propósito del programa APAZU es “Población en zonas urbanas dotada con mejores servicios de agua potable y alcantarillado” y está vinculado al i) Eje 4: Sustentabilidad Ambiental del Plan Nacional de Desarrollo, particularmente al Objetivo 1: Incrementar la Cobertura del Servicio de Agua Potable y Saneamiento en el País, ii) al Eje 2: Economía Competitiva y Generadora de Empleos del Programa Sectorial de Medio Ambiente y Recursos Naturales, particularmente al Objetivo 16: Incrementar la Cobertura de Agua Potable y Alcantarillado para Todos los Hogares Mexicanos, así como Lograr un Manejo Integrado y Sustentable del Agua en Cuencas y Acuíferos, y iii) al Objetivo 2: Incrementar el Acceso y Calidad de los Servicios de Agua Potable, Alcantarillado y Saneamiento del Programa Nacional Hídrico, en especial a la Estrategia 5: Incrementar la Cobertura de los Servicios de Agua Potable y Alcantarillado en las Comunidades Urbanas, Induciendo la Sostenibilidad de los Servicios. En consecuencia, sí hay conceptos comunes entre el Propósito y el Plan Nacional de Desarrollo, el Programa Sectorial de Medio Ambiente y Recursos Naturales y el Programa Nacional Hídrico, por lo que el logro del Propósito del programa APAZU en efecto aporta al cumplimento de estos planes y programas. En el Manual de Operación y Procedimientos del Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas (CONAGUA 2011 b) se relaciona el Propósito con los objetivos del Plan Nacional de Desarrollo y con los del Programa Nacional Hídrico. No obstante, se recomienda que el diagnóstico que elabore el programa incluya además de la vinculación con el Plan Nacional de Desarrollo, el Programa Sectorial de Medio Ambiente y Recursos Naturales, el Programa Nacional Hídrico y los Objetivos de Desarrollo del Milenio de la Organización de las Naciones Unidas el vínculo con el párrafo sexto del artículo 4º constitucional, que alude al derecho de acceso, disposición y saneamiento de agua para consumo personal y doméstico en forma suficiente, salubre, aceptable y asequible (SEGOB, 2012).

S74

9

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

5

¿Con cuáles objetivos, ejes y temas del Plan Nacional de Desarrollo vigente está vinculado el objetivo sectorial relacionado con el programa?

Justificación: El programa APAZU está vinculado al Plan Nacional de Desarrollo (México, 2007) en el Objetivo 1: Incrementar la Cobertura del Servicio de Agua Potable y Saneamiento en el País, del Eje 4: Sustentabilidad Ambiental.

S74

10

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

6

¿Cómo está vinculado el Propósito del programa con las Metas del Milenio?

b) Indirecta: El logro del Propósito aporta al cumplimiento de alguna(s) de la(s) Meta(s) del Milenio. Justificación: El Propósito del programa APAZU es “Población en zonas urbanas dotada con mejores servicios de agua potable y alcantarillado”. En consecuencia, el programa APAZU contribuye para que México cumpla con la Meta 3: Reducir a la Mitad, antes del Año 2015, el Porcentaje de Personas sin Acceso Sostenible al Agua Potable y a los Servicios Básicos de Saneamiento esto es, al alcantarillado sanitario, del Objetivo 7: Garantizar la Sostenibilidad del Medio Ambiente es decir, asegurarse de que el desarrollo no afecte al medio ambiente, lo cual se denomina como desarrollo sostenible, de los Objetivos del Milenio de la Organización de las Naciones Unidas (ONU, 2010) Para la gran mayoría de las metas se trazó su punto de culminación en un periodo de 25 años, esto es, comenzando en el año 1990 y finalizando en el 2015. En materia de agua potable, de 1990 a 2005 en México se logró reducir a la mitad el porcentaje de habitantes que carecían de ese servicio en el país (CONAGUA, 2012), logrando la Meta 3 del Objetivo 7 de los Objetivos de Desarrollo del Milenio. En 2010, según datos del XIII Censo de Población y Vivienda (INEGI, 2010), el Objetivo del Milenio se superó en 3.9 puntos porcentuales. En materia de alcantarillado sanitario, de 1990 a 2005 se logró reducir a la mitad el porcentaje de habitantes que carecían de ese servicio en el país y, en diciembre de 2010, según los datos del XIII Censo de Población y Vivienda (INEGI, 2010), la Meta 3 del Objetivo 7 de los Objetivos de Desarrollo del Milenio se superó en 12.7 puntos porcentuales.

S74

11

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.1.4 ANÁLISIS DE LA POBLACIÓN POTENCIAL Y OBJETIVO 7

Las poblaciones, potencial y objetivo, están definidas en documentos oficiales y/o en el diagnóstico del problema y cuentan con la siguiente información y características: a) Unidad de medida. b) Están cuantificadas. c) Metodología para su cuantificación y fuentes de información. d) Se define un plazo para su revisión y actualización.

Respuesta No Justificación: El programa APAZU define en el artículo 7.2 de sus Reglas de Operación (SEMARNAT, 2011) a su población objetivo como “organismos operadores encargados de la prestación de los servicios [de agua potable y saneamiento] en comunidades urbanas del país con población mayor a 2,500 habitantes”. Sin embargo, no define a su población potencial ni cuenta con un diagnóstico exclusivo o actualizado. Aún más, la población objetivo no está cuantificada ni acotada, y el programa no documenta el método para cuantificarla ni define un plazo para actualizarla. El evaluador considera que la apreciación de los operadores del programa acerca de la población objetivo, en realidad corresponde a la población universo y que, para calificar de población potencial, debería añadirse una medida de la demanda insatisfecha de agua potable y saneamiento en las localidades urbanas con más de 2,500 habitantes. Es decir, se recomienda definir a la población potencial como: “organismos operadores de agua potable y saneamiento en comunidades urbanas del país con población mayor a 2,500 habitantes que requieran rehabilitar, complementar o incrementar la infraestructura de agua potable, alcantarillado sanitario o tratamiento de aguas residuales”, y a la población objetivo como: “organismos operadores de agua potable y saneamiento en comunidades urbanas del país con población mayor a 2,500 habitantes que requieran rehabilitar, complementar o incrementar la infraestructura de agua potable, alcantarillado sanitario o tratamiento de aguas residuales, y que demuestren capacidad para cumplir con las Reglas de Operación del programa APAZU en el ejercicio fiscal corriente”.

S74

12

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

8

Existe información que permita conocer quiénes reciben los apoyos del programa (padrón de beneficiarios) que: a) Incluya las características de los beneficiarios establecidas en su documento normativo. b) Incluya el tipo de apoyo otorgado. c) Esté sistematizada e incluya una clave única de identificación por beneficiario que no cambie en el tiempo. d) Cuente con mecanismos documentados para su depuración y actualización.

Respuesta Si Nivel 3

• La información de los beneficiarios cuentan con tres de las características establecidas.

Justificación: A pesar de que la población objetivo del programa APAZU son los organismos operadores de agua potable y saneamiento en comunidades urbanas del país con población mayor a 2,500 habitantes [que requieran rehabilitar, complementar o incrementar la infraestructura de agua potable, alcantarillado sanitario o tratamiento de aguas residuales, y que demuestren capacidad para cumplir con las Reglas de Operación del programa APAZU en el ejercicio fiscal corriente], la CONAGUA opina en su página de internet www.conagua.gob.mx que “En atención a que los Programas Federales [sic] de Agua Potable y Saneamiento tienen contemplado como objetivo la colaboración, con los Gobiernos [sic] estatales y Municipales [sic] para el incremento de las coberturas de los servicios, mediante la construcción de infraestructura, no es posible la identificación de beneficiarios [directos], por lo que no esta [sic] contemplada la elaboración de padrones.” No obstante, el programa APAZU alude a los beneficiarios [indirectos], es decir a los habitantes, en las fórmulas para calcular los indicadores de su Fin y Propósito, así como en la promoción y operación de la Contraloría Social de sus programas de agua potable, alcantarillado y saneamiento (CONAGUA, 2011 c), a fin de que los habitantes en las localidades beneficiadas verifiquen el cumplimiento de las metas y la correcta aplicación de los recursos públicos que efectúe la población objetivo de sus programas. No obstante, el Sistema de Información de Servicios Básicos del Agua (SISBA) incluye las características de los beneficiarios establecidas en sus Reglas de Operación, el tipo de apoyo otorgado y se actualiza de manera constante. Aunque el SISBA registra la clave del municipio de acuerdo con la clasificación de INEGI, en algunos municipios existen varios organismos operadores y en varios municipios los servicios son prestados por organismos operadores intermunicipales, razón por la cual la clave de INEGI resulta en muchas ocasiones ambigua. De hecho, el SISBA registra a más de 40 mil prestadores de servicios formales, por lo que se recomienda que el programa APAZU elabore un padrón de organismos operadores, con una clave única de identificación y que documente los mecanismos para su depuración y actualización anual.

S74

13

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

9

Si el programa recolecta información socioeconómica de sus beneficiarios, explique el procedimiento para llevarlo a cabo, las variables que mide y la temporalidad de las mediciones.

Justificación: El programa APAZU no recolecta ningún tipo de información socioeconómica de los organismos operadores de agua potable y saneamiento en comunidades urbanas del país con población mayor a 2,500 habitantes [que tengan áreas sin cobertura de agua potable, alcantarillado sanitario o tratamiento de aguas residuales, y que demuestren capacidad para cumplir con las Reglas de Operación del programa APAZU en el ejercicio fiscal corriente], los cuales son sus beneficiarios directos, esto es, quienes reciben los apoyos que provienen de los recursos federales cuyo origen es la recaudación fiscal de todos los contribuyentes del país. El programa APAZU bien podría caracterizar a su población potencial y establecer criterios de elegibilidad para evitar que los organismos operadores de agua potable y saneamiento discriminen a ciertas áreas bajo su jurisdicción por motivos de sexo, inclinación sexual, edad, etnia, color, raza, credo, estatus migratorio o turístico, situación financiera o de salud, lengua, escolaridad, orientación política o de incapacidad física o mental. En la actualidad, la orientación del gasto del programa APAZU es conducida por las solicitudes de apoyo de las entidades federativas, y el criterio de preselección es que los ejecutores cuenten con proyectos ejecutivos, más que por una necesidad identificada un ejercicio de planeación del propio programa APAZU. No obstante, el expediente técnico que se forma con cada solicitud de apoyo incluye información sobre coberturas de agua potable, alcantarillado sanitario y tratamiento de aguas residuales, así como de las eficiencias física y comercial de los organismos operadores.

S74

14

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.1.5 ANÁLISIS DE LA MATRIZ DE INDICADORES PARA RESULTADOS 10 ¿En el documento normativo del programa es posible identificar el resumen narrativo de la Matriz

de Indicadores para Resultados (Fin, Propósito, Componentes y Actividades)? Respuesta Si Nivel 4

• Algunas de las Actividades, todos los Componentes, el Propósito y el Fin de la MIR se identifican en las ROP o documento normativo del programa.

Justificación: Las Reglas de Operación del programa S074 APAZU (SEMARNAT, 2011) se refieren a todos los Componentes, al Propósito y al Fin de la Matriz de Indicadores para Resultados, pero no a las Actividades que son meramente administrativas. En las Reglas de Operación se indica que las principales acciones que comprende el programa son: i) elaboración de estudios y proyectos, ii) ampliación de la cobertura de los servicios de agua potable, alcantarillado y saneamiento, iii) mejoramiento de la eficiencia física y comercial, y iv) realizar acciones de construcción, rehabilitación y conservación de la infraestructura hidráulica del subsector [agua potable], incluyendo las requeridas para el desalojo de las aguas pluviales de las zonas urbanas. En la Matriz de Indicadores para Resultados el Fin, el Propósito y los Componentes aluden a la construcción de obras de agua potable y alcantarillado y al caudal de aguas residuales tratadas para mejorar la cobertura y la calidad de los servicios a la población en zonas urbanas. No obstante, en el resumen narrativo del Fin se menciona la cobertura y calidad de los servicios de agua potable, sin incluir el alcantarillado ni el tratamiento de aguas residuales, además de que el incremento en la calidad de esos servicios no se refleja en ningún indicador. Por tanto, se recomienda modificar la redacción del Fin para que incluya al alcantarillado y el tratamiento de aguas residuales, e introducir un cuarto Componente que mida el incremento en la calidad de los servicios de agua potable, alcantarillado y tratamiento de aguas residuales. El supuesto relativo al Propósito es que “no se presentan fenómenos meteorológicos extremos y la inflación está controlada”; sin embargo, se recomienda definir un supuesto directamente relevante. Los dos primeros Componentes se refieren a la construcción de obras y el tercero al caudal tratado, el cual es atribución municipal; por tanto, se recomienda modificar el tercer Componente para que refleje, similarmente, las obras de saneamiento construidas.

S74

15

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

11 Las Fichas Técnicas de los indicadores del programa cuentan con la siguiente información:

a) b) c) d) e) f) g) h)

Nombre. Definición. Método de cálculo. Unidad de Medida. Frecuencia de Medición. Línea base. Metas. Comportamiento del indicador (ascendente, descendente, regular ó nominal).

Respuesta Si Nivel 4

• Del 85% al 100% de las Fichas Técnicas de los indicadores del programa tienen las características establecidas.

Justificación: La Ficha Técnica de cada indicador tiene su nombre, definición, método de cálculo, unidad de medida, frecuencia de medición, línea base, meta y comportamiento.

S74

16

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

12 Las metas de los indicadores de la MIR del programa tienen las siguientes características:

a) Cuentan con unidad de medida. b) Están orientadas a impulsar el desempeño, es decir, no son laxas. c) Son factibles de alcanzar considerando los plazos y los recursos humanos y financieros con los que cuenta el programa. Respuesta Si Nivel 4

• Del 85% al 100% de las metas de los indicadores del programa tienen las características establecidas.

Justificación: Todas las metas de los indicadores de la Matriz de Indicadores para Resultados cuentan con unidad de medida y, en opinión del evaluador, están orientadas a impulsar el desempeño y se pueden lograr en función de los plazos y los recursos humanos y financieros de que dispone el programa. No obstante, como el programa APAZU carece de un documento de planeación propio no es posible indicar la manera en que se establecen las metas ni la información que se utiliza para la construcción de las mismas. En consecuencia, se recomienda que el programa documente sus procedimientos de planeación.

S74

17

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.1.6 ANÁLISIS DE POSIBLES COMPLEMENTARIEDADES Y COINCIDENCIAS CON OTROS 13 ¿Con cuáles programas federales y en qué aspectos el programa evaluado podría tener

complementariedad y/o coincidencias? Justificación: La CONAGUA tiene, además del programa APAZU, el Programa de Sostenibilidad de los Servicios de Agua Potable y Saneamiento en Zonas Rurales (PROSSAPYS), para localidades menores de 2,500 habitantes; el Programa Agua Limpia (PAL), que apoya la desinfección de agua en general; el Programa de Mejoramiento de Eficiencias de Organismos Operadores (PROME); el Programa de Tratamiento de Aguas Residuales (PROTAR), concebido para contribuir al diseño, construcción, rehabilitación y ampliación de plantas de tratamiento de aguas residuales en localidades preferentemente menores de 500 mil habitantes y en las que, con independencia de su población, se ubican en algún estado de muy alta o alta marginación, y el Programa de Devolución de Derechos (PRODDER) y el Programa Federal de Saneamiento de Aguas Residuales (PROSANEAR) que devuelven, respectivamente, los derechos de aprovechamiento y de descarga de agua para fortalecer el tratamiento de aguas residuales. la Secretaría de Desarrollo Social tiene el Programa de Infraestructura Básica para la Atención de los Pueblos Indígenas (PIBAI), dirigido a la población indígena en localidades de entre 15 y 50 mil habitantes; el Programa para el Desarrollo de Zonas Prioritarias (PDZP), concentrado en los 125 municipios con mayor marginación y pobreza del país; el Programa HÁBITAT, diseñado para los Polígonos Hábitat, y el Programa Específico de Desarrollo Habitacional Sustentable ante el Cambio Climático (PEDHSCC), que también atienden el agua potable, alcantarillado y tratamiento de aguas residuales. La Secretaría de Turismo tiene el Programa México Norte (PMN), Programa Pueblos Mágicos (PPM) y el Programa Centros de Playa (PCP) que apoyan el desarrollo de infraestructura. El Banco Nacional de Obras, a través del Fondo Nacional de Infraestructura, tiene el Programa de Modernización de Organismos Operadores de Agua (PROMAGUA) para localidades mayores de 50 mil habitantes.

S74

18

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.2 PLANEACIÓN Y ORIENTACIÓN A RESULTADOS IV.2.1 INSTRUMENTOS DE PLANEACIÓN 14 La Unidad Responsable del programa cuenta con un plan estratégico con las siguientes

características: a) Es resultado de ejercicios de planeación institucionalizados, es decir, sigue un procedimiento establecido en un documento. b) Contempla el mediano y/o largo plazo. c) Establece los resultados que quieren alcanzar, es decir, el Fin y el Propósito del programa. d) Cuenta con indicadores para medir los avances en el logro de sus resultados. Respuesta Si Nivel

• El plan estratégico tiene tres de las características establecidas.

3 Justificación: El programa APAZU no tiene un plan estratégico propio. Sin embargo, la Comisión Nacional del Agua elabora cada sexenio un Programa Nacional Hídrico (CONAGUA, 2008 c) en el que aborda de manera integrada todos su programas relativos al agua potable y saneamiento así como los relacionados con muchos otros temas, en el que plantea objetivos nacionales a mediano plazo; establece el Fin y el Propósito del conjunto de programas de agua potable, alcantarillado y tratamiento de aguas residuales, entre los cuales se halla el programa APAZU así como el Fin y el Propósito de múltiples programas asociados con temas diversos; define indicadores para medir los avances en el logro de los resultados de cada estrategia relacionada con un objetivo; indica cuál es la línea base para cada uno de los indicadores, y fija las metas acumuladas de esos indicadores para el periodo sexenal. No obstante, el Programa Nacional Hídrico 2007-2012 no es el resultado de un ejercicio de planeación institucionalizada en el sentido de que siga un procedimiento establecido en un documento aunque en su formulación se tomaron en cuenta los elementos siguientes: Plan Nacional de Desarrollo 2007-2012, Programa Nacional de Infraestructura 2007-2012, Programa Sectorial de Medio Ambiente y Recursos Naturales 2007-2012, Programas Nacionales Hidráulicos realizados en administraciones anteriores, Programas hídricos por región hidrológico-administrativa, talleres sobre temas de relevancia especial, y una consulta pública realizada a través de la página de internet de la CONAGUA, ya que no es un programa de la Comisión Nacional del Agua y menos del programa APAZU, sino de toda la nación; la CONAGUA lo elabora pero la responsabilidad de su ejecución recae en múltiples órganos del Estado e instancias privadas.

S74

19

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

15 El programa cuenta con planes de trabajo anuales para alcanzar sus objetivos que:

a) Son resultado de ejercicios de planeación institucionalizados, es decir, siguen un procedimiento establecido en un documento. b) Son conocidos por los responsables de los principales procesos del programa. c) Tienen establecidas sus metas. d) Se revisan y actualizan. Respuesta Si Nivel

• Los planes de trabajo anuales tienen tres de las características establecidas.

3 Justificación: El programa APAZU no tiene un plan de trabajo anual que siga un procedimiento documentado de manera dedicada. No obstante, el Programa Nacional Hídrico 2007-2012 contiene objetivos, estrategias y metas acumulados para el conjunto de programas relacionados con el agua potable y saneamiento en periodos sexenales, que son conocidos por todos los responsables de los principales procesos del programa. Los avances específicos del programa APAZU se revisan y se actualizan cada año en su propia Matriz de Indicadores para Resultados. El Objetivo 2 del Programa Nacional Hídrico 2007-2012 es Incrementar el acceso y calidad de los servicios de agua potable, alcantarillado y saneamiento. Las estrategias relacionadas con el programa APAZU de ese objetivo son la Estrategia 5 Incrementar la cobertura de los servicios de agua potable y alcantarillado en las comunidades urbanas, induciendo la sostenibilidad de los servicios, Estrategia 2 Tratar las aguas residuales generadas y fomentar su reúso e intercambio, y la Estrategia 1 Fortalecer el desarrollo técnico y la autosuficiencia financiera de los organismos operadores del país, a través de la aplicación de programas y acciones que impulsen el incremento en su eficiencia global y la prestación de mejores servicios. La meta acumulada de la Estrategia 5 es incrementar la cobertura de agua potable en el medio urbano de 95 a 99.5%, y la cobertura de alcantarillado en el medio urbano de 94.4 a 95.6%. La meta acumulada de la Estrategia 2 es incrementar el tratamiento de aguas residuales colectadas de 36.1 a 60%. La meta acumulada de la Estrategia 1 es incrementar el nivel de eficiencia global promedio de 80 organismos operadores en localidades de más de 20 mil habitantes de 36.2 a 44.2 por ciento.

S74

20

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.2.2 DE LA ORIENTACIÓN HACIA RESULTADOS Y ESQUEMAS O PROCESOS DE 16 El programa utiliza informes de evaluaciones externas

a) De manera regular, es decir, uno de los elementos para la toma de decisiones sobre cambios al programa son los resultados de evaluaciones externas. b) De manera institucionalizada, es decir, sigue un procedimiento establecido en un documento. c) Para definir acciones y actividades que contribuyan a mejorar su gestión y/o sus resultados. d) De manera consensada, participan operadores, gerentes y personal de la unidad de planeación y/o evaluación. Respuesta Si Nivel 3

• El programa utiliza informes de evaluación externa y tiene tres de las características establecidas.

Justificación: El programa APAZU tiene dos Evaluaciones de Resultados (II-UNAM, 2006, 2008 a), una Evaluación de Consistencia y Resultados (II-UNAM, 2008 b) y tres Evaluaciones Específicas de Desempeño (Colmex, 2008, 2010, 2011), que utiliza de manera regular y participativa para analizar las acciones que podrían contribuir a mejorar su operación y resultados. No obstante, el procedimiento no está documentado. Las Evaluaciones de Resultados que manejan como población objetivo a los habitantes y no a los organismos operadores, y que no distinguen entre las coberturas nacionales de agua potable y las acciones de APAZU concluyen en lo esencial que es necesario i) incrementar el presupuesto anual asignado al programa APAZU, ii) incrementar gradualmente las obligaciones de los organismos operadores para robustecer su autofinanciamiento, iii) radicar los recursos a más tardar durante el primer semestre del año, y iv) que se modifiquen las Reglas de Operación porque es difícil cumplir con las metas a corto y mediano plazo asociadas a un programa de acciones, sobre todo ante la incertidumbre de poder aplicar posteriormente los recursos federales. La Evaluación de Consistencia y Resultados considera sin documentarlo que el programa APAZU, con un apoyo federal del orden del 40% de la inversión para el subsector, contribuye cada año con aproximadamente el 60% de la incorporación de habitantes en zonas urbanas a los servicios de agua potable. Las Evaluaciones Específicas de Desempeño que perciben a la población objetivo como localidades y entidades federativas indican que no se dispone de información que permita valorar de manera plena el desempeño del programa [porque éste no diferencia entre sus contribuciones y el avance de las coberturas nacionales, se colige].

S74

21

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

17 Del total de los Aspectos Susceptibles de Mejora (ASM) clasificados como específicos y/o

institucionales de los últimos tres años, ¿qué porcentaje han sido solventados acorde con lo establecido en los documentos de trabajo y/o institucionales? Respuesta Si Nivel 4

• Del 85 al 100% del total de los ASM se han solventado y/o las acciones de mejora están siendo implementadas de acuerdo con lo establecido en los documentos de trabajo e institucionales.

Justificación: La Evaluación Específica de Desempeño de 2008 generó tres aspectos susceptibles de mejora: i) se requiere una clara definición del problema que se quiere resolver, ii) se requiere mejorar la lógica horizontal de la MIR y su correlación con la lógica vertical y iii) se requiere clarificar la diferencia entre los indicadores estratégicos y de gestión: los que se proponen como estratégicos son en realidad indicadores de gestión, debido a que muestran aspectos de la operación del programa. La postura institucional elaborada por los operadores del programa APAZU con la cual coincide la presente evaluación consideró inadecuadas a las tres observaciones. En la Evaluación Específica de Desempeño de 2009 se vertieron tres recomendaciones: i) definir con claridad la población potencial para cada componente: agua potable, alcantarillado y saneamiento, considerando las tendencias del crecimiento demográfico y de la urbanización en ciudades mayores a 2,500 habitantes, ii) definir con mayor claridad la población potencial, de preferencia para cada componente: agua potable, alcantarillado y saneamiento, considerando la población que cada año se beneficia con el programa para que no se ignoren sus avances y iii) realizar un diagnóstico de la cobertura y una Evaluación de Impacto. La postura institucional de los operadores del programa APAZU consideró inadecuadas a las dos primeras observaciones. La presente evaluación disiente parcialmente de esa postura porque muchas instancias evaluadoras se han confundido con la población potencial y objetivo debido a que éstas han cambiado con el tiempo y a que el programa APAZU no diferencia el incremento de las coberturas o habitantes beneficiados producto de sus acciones con el incremento de las coberturas nacionales debidas a otras acciones; por tanto, la recomendación vertida en la respuesta a la pregunta 7 relativa a especificar más a la población potencial y objetivo es pertinente. El programa APAZU consideró parcialmente adecuada a la tercera recomendación y sólo aceptó la Evaluación de Impacto, pero no el diagnóstico de las coberturas porque considera que ese dato se obtiene de los Censos y Conteos de Población que realiza el Instituto Nacional de Estadística, Geografía e Informática. No obstante, la presente evaluación recomienda que APAZU separe sus contribuciones a las coberturas y a los habitantes incorporados a los servicios de agua potable, alcantarillado y tratamiento de aguas residuales, de las correspondientes a otros programas federalizados, estatales, municipales, binacionales, internacionales, filantrópicos, privados y mixtos.

S74

22

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

18 ¿Con las acciones definidas en los documentos de trabajo e institucionales, que a la fecha se han

implementado, provenientes de los Mecanismos para el seguimiento a los aspectos susceptibles de mejora derivados de informes y evaluaciones a los programas presupuestarios de la Administración Pública Federal de los últimos tres años, se han logrado los resultados establecidos? Justificación: De los aspectos susceptibles de mejora derivados de las Evaluaciones de Específicas de Desempeño de 2008 y 2009, cinco resultaron improcedentes y sólo uno fue aceptado por el programa APAZU, mismo que está planeado para lograrse en octubre de 2013. No obstante, el resultado esperado de ese aspecto de mejora se refiere a la elaboración de una Evaluación de Impacto, misma que pudiera o no cambiar la operación y los resultados de la ejecución del programa APAZU. En consecuencia, constituye un discernimiento futuro saber si los resultados esperados por la Evaluación de Impacto se vayan a lograr.

S74

23

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

19 ¿Qué recomendaciones de la(s) evaluación(es) externa(s) de los últimos tres años no han sido

atendidas y por qué? Justificación: La Evaluación Específica de Desempeño de 2008 generó tres aspectos susceptibles de mejora: i) se requiere una clara definición del problema que se quiere resolver, ii) se requiere mejorar la lógica horizontal de la MIR y su correlación con la lógica vertical y iii) se requiere clarificar la diferencia entre los indicadores estratégicos y de gestión: los que se proponen como estratégicos son en realidad indicadores de gestión, debido a que muestran aspectos de la operación del programa. Los dos primeros fueron desechados por el programa APAZU argumentando que “El problema está plenamente identificado y se precisó con la participación de consultores y personal de la SHCP y SEMARNAT en diversos eventos para revisar y ajustar la Matriz de Indicadores para Resultados durante 2009. Esto se concretó con la carga al Portal Aplicativo de la SHCP realizada en la primera semana de abril de 2010”. El tercer aspecto susceptible de mejora se desestimó porque “Se llevó a cabo la revisión y adecuación de la MIR, con la participación de consultores y personal de la SHCP y SEMARNAT”. En la Evaluación Específica de Desempeño de 2009 se vertieron tres recomendaciones: i) definir con claridad la población potencial para cada componente: agua potable, alcantarillado y saneamiento, considerando las tendencias del crecimiento demográfico y de la urbanización en ciudades mayores a 2,500 habitantes, ii) definir con mayor claridad la población potencial, de preferencia para cada componente: agua potable, alcantarillado y saneamiento, considerando la población que cada año se beneficia con el programa para que no se ignoren sus avances y iii) realizar un diagnóstico de la cobertura y una Evaluación de Impacto. La primera fue desatendida porque “No se aplica: La población está definida en las Reglas de Operación 2011. El impacto del programa se determina considerando el total de habitantes con servicio en el año base 2006”. La segunda no se tomó en cuenta debido a que “No se aplica: La población está definida en las Reglas de Operación 2011. El avance del programa se verifica en el acumulado de los incrementos anuales, mismo que se registra en la cuenta pública”. De la tercera se adujo que “Se aplica parcialmente: El estatus de la cobertura lo refleja el Censo de Población y Vivienda 2010, efectuado por el INEGI. Para la Evaluación de Impacto se estará en función de la obtención de las autorizaciones necesarias y la programación de recursos financieros”. Ninguna recomendación afecta directamente al Propósito del programa.

S74

24

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

20 A partir del análisis de las evaluaciones externas realizadas al programa y de su experiencia en la

temática ¿qué temas del programa considera importante evaluar mediante instancias externas?

Justificación: La respuesta a la pregunta 16 presenta una síntesis de los resultados de las principales evaluaciones externas realizadas al programa APAZU. Las evaluaciones abordan todo tipo de temas, desde el diseño, la población objetivo y la focalización, la definición y evolución de los indicadores, el grado de cumplimiento de los objetivos y de satisfacción de la “población objetivo” que, en realidad, corresponde a la aplicación de una encuesta a los habitantes beneficiados por la población objetivo del programa: los organismos operadores, las coberturas nacionales de agua potable, alcantarillado y tratamiento de aguas residuales municipales en zonas urbanas sin distinguir qué incremento se debe a las acciones de APAZU, el cumplimiento de las Reglas de Operación, la validación de información para la cual sí se aplica una encuesta a los funcionarios de CONAGUA y a los ejecutores: Comisión Estatal de Agua y Saneamiento, Municipio u Organismos Operadores de Agua Potable y Alcantarillado, el impacto de los beneficios económicos y sociales, la relación beneficio/costo de los recursos asignados al programa, la verificación en campo del cumplimiento de las metas físicas y financieras, hasta un escenario prospectivo. La presente evaluación considera importante que se evalúen mediante instancias externas al programa los temas de diseño, grado de satisfacción de la población objetivo, impacto de los beneficios económicos y sociales, relación beneficio/costo de los recursos asignados al programa, verificación en campo del cumplimiento de las metas físicas y financieras, y los escenarios prospectivos.

S74

25

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.2.3 DE LA GENERACIÓN DE INFORMACIÓN 21 El Programa recolecta información acerca de:

a) La contribución del programa a los objetivos del programa sectorial, especial o institucional. b) Los tipos y montos de apoyo otorgados a los beneficiarios en el tiempo. c) Las características socioeconómicas de sus beneficiarios. d) Las características socioeconómicas de las personas que no son beneficiarias, con fines de comparación con la población beneficiaria. Respuesta Si Nivel

• El programa recolecta información acerca de dos de los aspectos establecidos

2 Justificación: El programa APAZU no recolecta información de su contribución a los objetivos del Programa Nacional Hídrico 2007-2012 de manera exclusiva: la Comisión Nacional del Agua edita un documento anual intitulado Situación del Subsector Agua Potable, Alcantarillado y Saneamiento en el que se publica su estimación de las coberturas de agua potable y alcantarillado sanitario, tanto a escala nacional, como separado en zonas urbanas y zonas rurales. En los quinquenios que coinciden con la liberación de la información de los Conteos y Censos de Población realizados por INEGI, la CONAGUA omite sus estimaciones y registra el resultado de las encuestas. APAZU tampoco recolecta de manera exclusiva los montos de apoyo otorgados a los beneficiarios directos los organismos operadores de agua potable y alcantarillado y las comisiones estatales de agua y saneamiento, pero la Comisión Nacional del Agua administra un programa de cómputo denominado Sistema de Información de Servicios Básicos del Agua (SISBA), alimentado con la información que proporcionan los beneficiarios directos de todos los programas del sector agua potable a cargo de la CONAGUA. Aunque el SISBA http://172.29.150.212/SISBA/root/index.php es de consulta pública en las oficinas de la CONAGUA, no se puede acceder a él mediante internet e incluso los ejecutores del programa APAZU tienen que remitir a las Direcciones Locales de la CONAGUA los archivos que contienen la información de los cierres de ejercicio, en los cuales se incluyen las metas alcanzadas y las inversiones ejercidas, de manera que éstas los transfieran de sus computadoras personales al servidor de intranet de la Comisión Nacional del Agua que hospeda al Sistema de Información de Servicios Básicos del Agua (CONAGUA, 2011 b). Ni el programa APAZU ni la CONAGUA recolectan las características socioeconómicas de sus beneficiarios ni de las personas jurídicas que no lo son para fines comparativos.

S74

26

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

22 El programa recolecta información para monitorear su desempeño con las siguientes

características: a) Es oportuna. b) Es confiable, es decir, está validada por quienes las integran. c) Está sistematizada. d) Es pertinente respecto de su gestión, es decir, permite medir los indicadores de Actividades y Componentes. e) Está actualizada y disponible para dar seguimiento de manera permanente. Respuesta Si Nivel 4

• La información que recolecta el programa cuenta con todas las características establecidas.

Justificación: Los avances oficiales del programa son los que se registran en el SISBA (CONAGUA, 2011 b). Para ello, las Direcciones Locales apoyados en la información proporcionada por los ejecutores reportan a las oficinas centrales de la CONAGUA a través del Sistema de Información de Servicios Básicos del Agua (SISBA), mensualmente o con la periodicidad que se requiera, conforme a los avances de los recursos radicados y ejercidos en cada uno de los Componentes del programa APAZU y para el resto de los programas del sector agua potable a cargo de la CONAGUA también y el avance físico-financiero sobre el ejercicio presupuestal de las obras, acciones y metas, es decir, de los Componentes, Actividades y Propósito, respectivamente. En consecuencia, la información para vigilar el desempeño del programa APAZU a través del SISBA es oportuna, confiable, sistematizada aunque no sea de acceso público, permite medir los indicadores de Actividades y Componentes, y está actualizada y disponible para el personal de la Comisión Nacional del Agua a fin de dar seguimiento al programa APAZU así como al resto de los programas del sector agua potable a cargo de la CONAGUA de manera permanente. No obstante, el evaluador recomienda que, con el propósito de hacer efectivo el principio de máxima publicidad estipulado en el inciso i) del segundo párrafo del artículo 6º de la Constitución Política de los Estados Unidos Mexicanos, el Sistema de Información de Servicios Básicos del Agua sea de consulta pública de manera remota, a través de internet, sin la necesidad de acudir a alguna oficina, porque toda la información en posesión de la Comisión Nacional del Agua es pública y sólo puede ser reservada temporalmente por razones de interés público en los términos que fijen las leyes.

S74

27

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.3 COBERTURA Y FOCALIZACIÓN IV.3.1 ANÁLISIS DE COBERTURA 23 El programa cuenta con una estrategia de cobertura documentada para atender a su población

objetivo con las siguientes características: a) Incluye la definición de la población objetivo. b) Especifica metas de cobertura anual. c) Abarca un horizonte de mediano y largo plazo. d) Es congruente con el diseño del programa. Respuesta Si Nivel

• La estrategia de cobertura cuenta con todas las características establecidas.

4 Justificación: El programa APAZU cuenta con una estrategia de cobertura pero no es exclusiva para ese programa, sino para todos los programas del sector agua potable a cargo de la Comisión Nacional del Agua, más los programas federales, estatales y municipales, las acciones de organismos binacionales e internacionales, y las actividades de instituciones filantrópicas, privadas y mixtas. El Plan Nacional Hídrico 2007-2012 (CONAGUA, 2008 c) contiene esa estrategia global de mediano plazo. La definición de la población objetivo que en opinión del evaluador corresponde más bien a la población universo está definida en las Reglas de Operación (SEMARNAT, 2011), que se actualizan cada año. Las metas de cobertura anual del programa APAZU se especifica en la Matriz de Indicadores para Resultados y en sus Fichas Técnicas, que también se actualizan año con año. La estrategia global de mediano plazo contenida en el Plan Nacional Hídrico 2007-2012 no es congruente con el diseño del programa APAZU, sino al revés: el diseño actual del programa APAZU es congruente con la estrategia global de mediano plazo contenida en el Plan Nacional Hídrico 2007-2012.

S74

28

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

24 ¿El programa cuenta con mecanismos para identificar su población objetivo? En caso de contar

con estos, especifique cuáles y qué información utiliza para hacerlo. Justificación: Sí, con base en las peticiones formuladas en el año precedente por parte de los organismos operadores de agua potable y alcantarillado, así como de las comisiones estatales de agua y saneamiento, la Comisión Nacional del Agua utiliza su experiencia de 21 años en operar el programa APAZU y propone un Programa Operativo Anual (POA) en el que se hace la distribución preliminar de apoyos para cada entidad federativa en los rubros de i) elaboración de estudios y proyectos, ii) ampliación de la cobertura de los servicios de agua potable, alcantarillado y saneamiento, iii) mejoramiento de la eficiencia física y comercial, y iv) construcción, rehabilitación y conservación de la infraestructura hidráulica del subsector agua potable, incluyendo las requeridas para el desalojo de las aguas pluviales de las zonas urbanas. Ese Programa Operativo Anual, que busca lograr las metas del Plan Nacional Hídrico 2007-2012 (CONAGUA, 2008 c), se somete a la consideración de la Cámara de Diputados, la cual lo aprueba en los términos en que se envía o con modificaciones, y lo plasma en el Presupuesto de Egresos de la Federación. Una vez aprobado el Presupuesto de Egresos de la Federación, la Comisión Estatal de Agua y Saneamiento de cada entidad federativa informa a los Organismos Operadores de Agua Potable y Alcantarillado que coordina, los techos presupuestales autorizados para que sometan sus solicitudes de adhesión voluntaria al programa APAZU. Con base en la disponibilidad presupuestaria, en las Reglas de Operación (SEMARNAT, 2011) se especifican los criterios de selección, los cuales jerarquizan los tipos de acción y los organismos operadores conforme a un criterio de puntaje. Los apoyos federales que se otorgan no se pueden utilizar en la operación y mantenimiento de la infraestructura. Por conservación se entiende a las acciones para preservar el funcionamiento de la obra civil en la infraestructura hidráulica activa, y se considera como gasto de inversión. Por mantenimiento se alude a las acciones para preservar el funcionamiento de la obra electromecánica inherente a la infraestructura hidráulica activa, y se clasifica como gasto corriente.

S74

29

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

25 A partir de las definiciones de la población potencial, la población objetivo y la población atendida,

¿cuál ha sido la cobertura del programa? Justificación: El programa APAZU sólo tiene definida su población objetivo en las Reglas de Operación (SEMARNAT, 2011), que son organismos operadores, no los habitantes beneficiados por el incremento de la cobertura de agua potable y alcantarillado. La evolución de las coberturas de agua potable y alcantarillado debidas al programa APAZU, más las de todos los programas del sector agua potable a cargo de la Comisión Nacional del Agua, de los programas federales, estatales y municipales, de las acciones de organismos binacionales e internacionales, y de las actividades de instituciones filantrópicas, privadas y mixtas se muestra en el Anexo XI y en la figura siguiente. No es posible discernir cuál es la contribución del programa APAZU al incremento de las coberturas.

S74

30

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.4 OPERACIÓN IV.4.1 ANÁLISIS DE LOS PROCESOS ESTABLECIDOS EN LAS ROP O NORMATIVIDAD 26 Describa mediante Diagramas de Flujo el proceso general del programa para cumplir con los

bienes y los servicios (Componentes), así como los procesos clave en la operación del programa.

Justificación: Tanto las Reglas de Operación del programa APAZU (SEMARNAT, 2011), como el Manual de Operación y Procedimientos del Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas (CONAGUA, 2011 b) contienen los procedimientos para recibir, registrar y dar trámite a los apoyos; seleccionar las obras y los ejecutores; registrar y controlar los criterios de elegibilidad de quienes desean adherirse al programa, y el registro de los apoyos entregados y la ejecución de obras. En el Anexo XIII se presenta el diagrama de flujo de las principales Actividades y Componentes del programa APAZU. Las solicitudes de las acciones que integrarán el Programa Operativo Anual deben ser calificadas en el órgano de planeación estatal, en los cuales participan las Direcciones Locales de la CONAGUA. Esas acciones se priorizan conforme a un criterio establecido en las Reglas de Operación y en el Manual de Operación y Procedimientos. Una vez determinado el programa de acciones por el órgano de planeación estatal, la entidad federativa o área responsable presenta a las Direcciones Locales de la CONAGUA el formato “Desglose de Acciones”, el cual formará parte integral del Anexo Técnico del Anexo de Ejecución, en donde se establecen los indicadores de impacto con los que se evalúa el programa APAZU. Los ejecutores, bajo su responsabilidad, pueden contratar adquisiciones, obras públicas y servicios mediante licitación pública o adjudicación directa e invitación a cuando menos tres personas, pero con este programa no se pueden ejecutar las obras por administración directa. Los recursos federales autorizados a través del Presupuesto de Egresos de la Federación tienen el carácter de federalizados, los cuales se transfieren a las entidades federativas o, alternativamente, a los ejecutores. Concluida la obra el gobierno del estado o el ejecutor la recibe del contratista e informa a la Dirección Local de la CONAGUA. El gobierno del estado remite a las Direcciones Locales de la CONAGUA, para su captura en el SISBA y envío a las oficinas centrales, la información del cierre de ejercicio para efectos de la Cuenta Pública, a más tardar el último día hábil del mes de enero del siguiente año.

S74

31

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

27 Solicitud de Apoyos

¿El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos y las características de los solicitantes? (socioeconómicas en el caso de personas físicas y específicas en el caso de personas morales) Respuesta Si Nivel 4

• El programa cuenta con información sistematizada que permite conocer la demanda total de apoyos y las características de los solicitantes. • Existe evidencia de que la información sistematizada es valida, es decir, se utiliza como fuente de información única de la demanda total de apoyos.

Justificación: La operación del programa APAZU comienza al verificar la existencia de un Plan Maestro Municipal o Estatal, que contenga un listado de las obras necesarias en un horizonte de planeación, así como su orden de prelación. De estos planes, los ejecutores seleccionan las obras que necesitan realizar y las integran en un Anexo Técnico que se registra en un sistema computacional, según se ilustra en el diagrama de flujo del Anexo XIII, como una solicitud de apoyo. De esta manera, el programa APAZU lleva un registro de todas las solicitudes, tanto las aprobadas para las cuales se genera un número de folio como las declinadas. Adicionalmente al expediente técnico, los solicitantes de apoyo al programa APAZU deben i) presentar la planeación integral de infraestructura del organismo operador, considerando como base un formato de Diagnóstico Técnico de los Organismos Operadores que se presenta en el Anexo III de las Reglas de Operación (SEMARNAT, 2011), ii) los municipios y organismos operadores que hayan participado durante los tres ejercicios fiscales anteriores deben comprobar documentalmente ante la CONAGUA que la obras realizadas representan un avance en su eficiencia física o comercial, iii) los ejecutores que presten servicio en localidades mayores a 20,000 habitantes, deben presentar a la CONAGUA los índices de eficiencia soportados documentalmente, y iv) registrar en el sistema electrónico establecido para tal efecto por la CONAGUA la información de desempeño señalada en las normas mexicanas NMX que correspondan al momento de solicitar el apoyo y, posteriormente, antes del 30 de noviembre de cada año. Con esta información, el programa APAZU recaba información específica de su población potencial y la mantiene en sistemas computacionales que no son de acceso público.

S74

32

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

28 Los procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo cuentan con las

siguientes características: a) Corresponden a las características de la población objetivo. b) Existen formatos definidos. c) Están disponibles para la población objetivo. d) Están apegados al documento normativo del programa. Respuesta Si Nivel 4

• El programa cuenta con procedimientos para recibir, registrar y dar trámite a las solicitudes de apoyo, y • Los procedimientos cuentan con todas las características descritas.

Justificación: El procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo se esquematiza en el diagrama de flujo del Anexo XIII, en el cual se puede observar que, en efecto, las solicitudes de apoyo corresponden a la población objetivo definida en las Reglas de Operación (SEMARNAT, 2011): organismos operadores en zonas urbanas de más de 2,500 habitantes. El Anexo Técnico que debe presentar un posible beneficiario para comenzar el procedimiento de selección se especifica en el Anexo III de las Reglas de Operación (SEMARNAT, 2011), y el Manual de Operación y Procedimiento de APAZU (CONAGUA, 2011 b) presenta otros formatos útiles para la operación del programa, como el Reporte de Avance, Solicitud de Traspaso en caso de aumento o cambio de obras que no requieren incrementar el presupuesto del Programa Operativo Anual y Cierre del Ejercicio. Asimismo, la información de desempeño requerida debe hacerse en los formatos que especifican las normas mexicanas NMX correspondientes a las obras para las cuales se solicita el apoyo. Tanto las características de la población objetivo, como los formatos para solicitar apoyos, están disponibles para cualquier organismo operador a través del documento normativo de APAZU: sus Reglas de Operación (SEMARNAT, 2011), mismo que puede consultarse en la página de internet de la Comisión Nacional del Agua. El Manual de Operación y Procedimiento de APAZU (CONAGUA, 2011 b), que explica con mayor detalle el procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo, también está disponible en la página de internet de la CONAGUA. Las normas mexicanas requeridas también son del dominio público a través de internet. El procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo está apegado a los documentos normativos del programa: sus Reglas de Operación y el Manual de Operación y Procedimiento.

S74

33

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

29 El programa cuenta con mecanismos documentados para verificar el procedimiento para recibir,

registrar y dar trámite a las solicitudes de apoyo con las siguientes características: a) Son consistentes con las características de la población objetivo. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras c) Están sistematizados. d) Están difundidos públicamente. Respuesta Si Nivel 3

• Los mecanismos para verificar el procedimiento para recibir, registrar y dar trámite a las solicitudes de apoyo tienen tres de las características establecidas.

Justificación: Según se observa en el diagrama de flujo del Anexo XIII, las Direcciones Locales y los Organismos de Cuenca de la Comisión Nacional del Agua son las encargadas de operar y supervisar el programa APAZU en la entidad federativa donde residen. Por tanto, la recepción, registro y trámite de las solicitudes de apoyo en las Direcciones Locales y en los Organismos de Cuenca es objeto de supervisión por ellos mismo. Este mecanismo de verificación está estandarizado y sistematizado en todo el país, ya que todas las solicitudes se registran en un sistema informático denominado Sistema de Información de Servicios Básicos del Agua (SISBA). El mecanismo de verificación de la recepción, registro y trámite de las solicitudes de apoyo está difundido para todos los operadores directos y supervisores del programa APAZU, así como para toda la población potencial organismos operadores de agua potable y alcantarillado, pero no es público en el sentido de que cualquier ciudadano sin interés jurídico en el proceso tenga acceso al sistema computacional (SISBA) que registra todos los movimientos.

S74

34

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

30 Selección de beneficiarios y/o proyectos

Los procedimientos del programa para la selección de beneficiarios y/o proyectos tienen las siguientes características: a) Incluyen criterios de elegibilidad claramente especificados, es decir, no existe ambigüedad en su redacción. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Están difundidos públicamente. Respuesta Si Nivel 4

• Los procedimientos para la selección de beneficiarios y/o proyectos tienen todas las características establecidas.

Justificación: Tanto las Reglas de Operación (SEMARNAT, 2011) como el Manual de Operación del programa APAZU (CONAGUA, 2011 b), que son del dominio público, incluyen los criterios de elegibilidad de manera clara. Estos criterios y no otros se utilizan por todas las Direcciones de Agua Potable y Alcantarillado de las Direcciones Locales de la Comisión Nacional del Agua en cada entidad federativa las cuales son las operadoras del programa para seleccionar a los beneficiarios y, asimismo, todos los solicitantes de apoyos los posibles ejecutores del programa los conocen por ser públicos y de su interés. El programa APAZU procesa todas las solicitudes de apoyo en un sistema computacional. El criterio de selección se basa en acumulación de puntos según i) las obras iniciadas en ejercicios anteriores que requieran continuidad, ii) los organismos operadores que incluyen acciones para incrementar y mantener en operación los sistemas de macro y micromedición de volúmenes, iii) los organismos operadores que incluyen acciones de padrón de usuarios, facturación y cobranza, iv) las obras nuevas de ampliación de cobertura de agua potable, alcantarillado y saneamiento, v) los organismos operadores que incluyen acciones de sectorización en la distribución de agua potable y de detección y eliminación de fugas de agua, y vi) los organismos operadores que incluyen otras acciones consideradas en el programa APAZU. Cuando dos solicitantes tienen el mismo número de puntos, el criterio de desempate es el organismo operador que tenga el mayor número de habitantes que resultarán beneficiados.

S74

35

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

31 El programa cuenta con mecanismos documentados para verificar el procedimiento de selección

de beneficiarios y/o proyectos y tienen las siguientes características: a) Permiten identificar si la selección se realiza con base en los criterios de elegibilidad y requisitos establecidos en los documentos normativos. b) Están estandarizados, es decir son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Son conocidos por operadores del programa responsables del proceso de selección de beneficiarios y/o proyectos. Respuesta Si Nivel 4

• Los mecanismos para verificar la selección de beneficiarios y/o proyectos tienen todas las características establecidas.

Justificación: En el diagrama de flujo del Anexo XIII se observa que los Organismos de Cuenca de la Comisión Nacional del Agua son las instancias que supervisan el cumplimiento del procedimiento de selección de beneficiarios que realizan las Direcciones de Agua Potable y Alcantarillado de las Direcciones Locales de la Comisión Nacional del Agua en cada entidad federativa. Por otra parte, el Manual de Operación y Procedimientos del programa APAZU (CONAGUA, 2011 b) indica la manera en que se toma en cuenta la rentabilidad socioeconómica de los proyectos para los cuales se solicita apoyo y, cuando los proyectos de nueva infraestructura tienen un monto superior a los 100 millones de pesos, se les requiere a los solicitantes un estudio costo-beneficio o una evaluación socioeconómica. Todos los Organismos de Cuenca tienen acceso al sistema computacional en donde se registran las solicitudes de apoyo y, por tanto, pueden revisar si la selección de beneficiarios se realiza de conformidad con las Reglas de Operación (SEMARNAT, 2011), es decir, el procedimiento está estandarizado y lo emplean todos los operadores y ejecutores del programa. Al registrarse en un sistema computacional todas las solicitudes de apoyo con un Anexo Técnico de las obras por realizarse, un Diagnóstico Técnico de los Organismos Operadores y la información acerca del desempeño y eficiencias física y comercial requeridas por las normas mexicanas NMX correspondientes con lo cual se forma un expediente técnico, los supervisores del programa pueden verificar que los operadores del mismo seleccionen a los beneficiarios y a los proyectos conforme a las Reglas de Operación.

S74

36

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

32 Tipos de apoyos

Los procedimientos para otorgar los apoyos a los beneficiarios tienen las siguientes características: a) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. b) Están sistematizados. c) Están difundidos públicamente. d) Están apegados al documento normativo del programa. Respuesta Si Nivel 4

• Los procedimientos para otorgar los apoyos a los beneficiarios tienen todas las características establecidas.

Justificación: El procedimiento para otorgar los apoyos a los beneficiarios del programa APAZU están estandarizados en sus Reglas de Operación (SEMARNAT, 2011) y explicados con mayor detalle en el Manual de Operación y Procedimientos (CONAGUA, 2001 b). De acuerdo con el diagrama de flujo de las principales Actividades del programa APAZU Anexo XIII, una vez realizada la evaluación técnica y solventadas las observaciones, las obras que desea realizar un beneficiario seleccionado se registran en el Programa Operativo Anual y se procede a radicar los recursos. La aprobación a la solicitud de cualquier beneficiario potencial sigue estando en el sistema computacional en el cual se registra desde la solicitud hasta el cierre del ejercicio. Tanto las Reglas de Operación como el Manual de Operación y Procedimientos están públicamente diseminados. El procedimiento para otorgar los apoyos a los beneficiarios sigue la normativa especificada en las Regalas de Operación.

S74

37

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

33 El programa cuenta con mecanismos documentados para verificar el procedimiento de entrega

de apoyos a beneficiarios y tienen las siguientes características: a) Permiten identificar si los apoyos a entregar son acordes a lo establecido en los documentos normativos del programa. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Son conocidos por operadores del programa. Respuesta Si Nivel 4

• Los mecanismos para verificar el procedimiento de entrega de apoyos a beneficiarios tienen todas las características establecidas.

Justificación: En el diagrama de flujo del Anexo XIII se observa que, una vez formalizado el Anexo Técnico y el Anexo de Ejecución, el Organismo de Cuenca correspondiente autoriza la ministración de los recursos y los registra en el Sistema Financiero (SIF) de la Comisión Nacional del Agua, de tal manera que el operador del programa APAZU Dirección de Agua Potable y Alcantarillado de la Dirección Local de la Comisión Nacional del Agua correspondiente los pueda radicar al ejecutor de las obras comisión estatal de agua y saneamiento o directamente a un organismo operador de agua y alcantarillado a fin de que se pueda realizar la contratación de la obra. Este procedimiento es idéntico en todo el país, se registra en un sistema computacional y es conocido por todos los operadores y ejecutores del programa APAZU.

S74

38

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

34 Ejecución

Los procedimientos de ejecución de obras y/o acciones tienen las siguientes características: a) b) c) d)

Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. Están sistematizados. Están difundidos públicamente. Están apegados al documento normativo del programa.

Respuesta Si Nivel 3

• Los procedimientos de ejecución de obras y/o acciones tienen tres de las características establecidas.

Justificación: El Manual de Operación y Procedimientos del programa APAZU (CONAGUA 2011, b) indica que, una vez radicados los recursos a un solicitante aprobado, éste procederá a contratar las adquisiciones, obras públicas y servicios, observando para ello las disposiciones federales establecidas en la Ley de Adquisiciones, Arrendamientos y Servicios del Sector Público y la Ley de Obras Públicas y Servicios Relacionados con las Mismas, y sus correspondientes reglamentos vigentes, mediante los procedimientos de i) licitación pública o ii) adjudicación directa e invitación a cuando menos tres personas. Con este programa no se pueden ejecutar obras por administración directa. En consecuencia, el procedimiento de ejecución de las obras y acciones es estándar, está difundido públicamente y se apegan a las Reglas de Operación del programa APAZU (SEMARNAT, 2011). Sin embargo, el sistema computacional del programa APAZU no registra la modalidad de adjudicación de las obras, la cual es responsabilidad de los beneficiarios del programa APAZU.

S74

39

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

35 El programa cuenta con mecanismos documentados para dar seguimiento a la ejecución de obras

y acciones y tienen las siguientes características: a) Permiten identificar si las obras y/o acciones se realizan acorde a lo establecido en los documentos normativos del programa. b) Están estandarizados, es decir, son utilizados por todas las instancias ejecutoras. c) Están sistematizados. d) Son conocidos por operadores del programa. Respuesta Si Nivel 4

• Los mecanismos para dar seguimiento a la ejecución de obras y/o acciones tienen todas las características establecidas.

Justificación: La responsabilidad de realizar la supervisión de las acciones en proceso, con el fin de que en ningún caso se efectúen pagos o se cubran estimaciones que amparen trabajos no ejecutados o de aquellos que no se ajusten a las normas y especificaciones técnicas establecidas, es de los ejecutores o beneficiarios del programa APAZU. No obstante, conforme al Manual de Operación y Procedimientos del programa APAZU (CONAGUA, 2011 b), las Direcciones de Agua Potable y Alcantarillado de la CONAGUA, en función de los recursos humanos y financieros de que dispongan, pueden llevar a cabo visitas de supervisión normativa, por sí o a través de terceros. En cualquier caso, las Direcciones de Agua Potable y Alcantarillado de la CONAGUA, apoyadas en la información proporcionada por el ejecutor, reportan a las oficinas centrales, a través del Sistema de Información de Servicios Básicos del Agua (SISBA), mensualmente o con la periodicidad que se requiera, los avances sobre los recursos radicados y ejercidos en cada uno de los componentes de los programas y el avance físico y financiero sobre el ejercicio presupuestal de las obras, acciones y metas. Esto debe hacerse cinco días antes del término del periodo establecido, ya que los avances oficiales del programa APAZU son los registrados en el SISBA. El avance físico se refiere al costo de las acciones ejecutadas y el avance financiero al monto pagado. Por tanto, la supervisión normativa, el avance en los recursos radicados y ejercidos, y la información del avance físico y financiero del ejercicio presupuestal, son procedimientos estandarizados, sistematizados y conocidos por los operadores del programa APAZU que permiten identificar si las obras y acciones se realizan conforme a lo establecido en las Reglas de Operación y el Manual de Operación y Procedimientos del programa. Los programas del subsector agua potable promueven la Contraloría Social (CONAGUA, 2011 c) para que los habitantes de las localidades beneficiadas verifiquen que se cumplan las metas y la correcta aplicación de los recursos públicos efectuadas por los ejecutores.

S74

40

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.4.2 MEJORA Y SIMPLIFICACIÓN REGULATORIA 36 ¿Cuáles cambios sustantivos en el documento normativo se han hecho en los últimos tres años

que han permitido agilizar el proceso de apoyo a los solicitantes? Justificación: En los dos Manuales de Operación y Procedimientos anteriores (CONAGUA, 2009 b y 2010 c) aparecía una serie de plazos: ActividadPlazo Inicio de recepción de solicitudesPrimer día hábil de febrero del año inmediato anterior Cierre de recepción de solicitudesÚltimo día hábil de agosto del año inmediato anterior Notificación en caso de observaciones o documentos faltantes10 días hábiles a partir de la recepción de la solicitud Respuesta a las observaciones o complemento de documentos faltantes10 días hábiles posteriores a la notificación Dictamen de las solicitudes presentadas45 días naturales Formalización de Anexos de Ejecución y TécnicoÚltimo día hábil de marzo del año correspondiente al apoyo Licitación de las acciones convenidas en los Anexos de Ejecución y TécnicosDe abril a julio del año correspondiente al apoyo Radicación de fondos comprometidos a las entidades federativas50%, 10 días hábiles después de la recepción de los anexos formalizados Radicación de diferencia de los fondos comprometidos a las entidades federativasPorcentaje correspondiente, 10 días hábiles después de la recepción de avances presentados, para completar el 50 % a más tardar al 30 de noviembre del año correspondiente Presentación del Cierre de Ejercicio para efectos de la Cuenta PúblicaÚltimo día hábil del mes de enero del siguiente ejercicio fiscal Publicación del programa concertado en los Anexos TécnicosUltimo día hábil de junio En la versión actual del Manual (CONAGUA 2011 b) ya no se registran los plazos, excepto el del Cierre del Ejercicio, pero no existe evidencia de que esa flexibilización en los plazos haya contribuido para agilizar o demorar el proceso de apoyo a los solicitantes.

S74

41

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.4.3 ORGANIZACIÓN Y GESTIÓN 37 ¿Cuáles son los problemas que enfrenta la unidad administrativa que opera el programa para la

transferencia de recursos a las instancias ejecutoras y/o a los beneficiarios y, en su caso, qué estrategias ha implementado? Justificación: Una vez formalizados los Anexos Técnicos y los Anexos de Ejecución, el Organismo de Cuenca emplea una interfaz del Sistema Financiero (SIF) de la Comisión Nacional del Agua para transferir los recursos ministrados a una cuenta bancaria estatal o de un proyecto con contrato que se apertura con ese propósito específico, y la Dirección de Agua Potable y Alcantarillado de la Dirección Local de la CONAGUA registra en el sistema computacional la recepción de los recursos federalizados, conforme se ilustra en el diagrama de flujo del Anexo XIII.

S74

42

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.4.4 EFICIENCIA Y ECONOMÍA OPERATIVA DEL PROGRAMA 38 Eficiencia y eficacia

El programa identifica y cuantifica los gastos en los que incurre para generar los bienes y los servicios (Componentes) que ofrece y los desglosa en los siguientes conceptos: a) Gastos en operación: Directos e Indirectos. b) Gastos en mantenimiento: Requeridos para mantener el estándar de calidad de los activos necesarios para entregar los bienes o servicios a la población objetivo (unidades móviles, edificios, etc.). Considere recursos de los capítulos 2000 y/o 3000. c) Gastos en capital: Son los que se deben afrontar para adquirir bienes cuya duración en el programa es superior a un año. Considere recursos de los capítulos 5000 y/o 6000 (Ej: terrenos, construcción, equipamiento, inversiones complementarias). d) Gasto unitario: Gastos Totales/población atendida (Gastos totales=Gastos en operación + gastos en mantenimiento). Para programas en sus primeros dos años de operación se deben de considerar adicionalmente en el numerador los Gastos en capital. Respuesta No Justificación: El programa APAZU hace uso del 2% de su presupuesto federal asignado para gastos directos de operación no tiene gastos de capital ni mantenimiento y la transferencia de sus subsidios son gasto corriente aunque en las entidades federativas y en los municipios se puedan convertir en gastos de capital. El gasto del personal para la realización del programa es adicional a los subsidios transferidos y proviene del gasto por servicios profesionales de la CONAGUA; los operadores de APAZU desconocen el monto de los servicios personales debidos exclusivamente a ese programa. El programa APAZU no entrega bienes ni servicios directamente a los habitantes beneficiados, y su población potencial son organismos operadores. En consecuencia, el gasto unitario del programa APAZU es sólo: gasto en personal para la realización del programa / población atendida. Sin embargo, ambas cifras son desconocidas. El único costo unitario que registra el Manual de Operación y Procedimientos (CONAGUA, 2011 b) es que los costos para beneficiar con infraestructura de agua potable o alcantarillado tienen un límite superior de $3,500/habitante; costos mayores deben justificarse. La respuesta a esta pregunta no puede ser congruente con la respuesta a la pregunta 10 porque abordan temas diversos.

S74

43

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

39 Economía

¿Cuáles son las fuentes de financiamiento para la operación del programa y qué proporción del presupuesto total del programa representa cada una de las fuentes? Justificación: La fuente del financiamiento federal del programa APAZU proviene en un 100% del Presupuesto de Egresos de la Federación, y el financiamiento estatal y municipal se deriva de sus participaciones federales e ingresos propios. En las Reglas de Operación del programa APAZU (SEMARNAT, 2011) se especifican los porcentajes de participación de los apoyos federales en función de las obras y el tamaño de la localidad. ObraDe 2,501 a 10,000 habitantesDe 10,001 a 500,000 habitantesDe 500,501 a 1’000,000 habitantes Más de 1’000,000 de habitantes Agua potable70%50%45%40% Plantas potabilizadoras70%60%55%50% Saneamiento70%60%55%50% Mejoramiento de la eficiencia comercial70%60%60%60% Mejoramiento de la eficiencia física70%50%45%40% Rehabilitaciones40%40%40%40% Estudios y proyectos80%80%80%75% Drenaje pluvial urbano70%50%50%50% En 2010, el programa APAZU realizó un gasto federal de 6,057.80 millones de pesos, (CONAGUA 2011 a), de los cuales los ejecutores dedicaron 1,711.89 mdp para agua potable, 1,566.99 mdp para alcantarillado, 445.40 mdp para saneamiento, 1,285.28 mdp en el mejoramiento de la eficiencia de los organismos operadores, y 1,048.23 mdp en estudios, proyectos y supervisión de obra, Anexo XI. Además de los 6,057.80 mdp federales, las entidades federativas aportaron 3,522.6 mdp, los municipios 1,074.8 mdp y 369.5 mdp provinieron de créditos, iniciativa privada y otras fuentes, lo que totaliza una inversión de 11,024.7 mdp. En 2011, el gasto federal fue de 5,767.23 millones de pesos (CONAGUA, Cierre Preliminar del Ejercicio 2011, 2012), sin diferencia del asignado

S74

44

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.4.5 SISTEMATIZACIÓN DE LA INFORMACIÓN 40 Las aplicaciones informáticas o sistemas institucionales con que cuenta el programa tienen las

siguientes características: a) Cuentan con fuentes de información confiables y permiten verificar o validar la información capturada. b) Tienen establecida la periodicidad y las fechas límites para la actualización de los valores de las variables. c) Proporcionan información al personal involucrado en el proceso correspondiente. d) Están integradas, es decir, no existe discrepancia entre la información de las aplicaciones o sistemas. Respuesta Si Nivel 4

• Los sistemas o aplicaciones informáticas del programa tienen todas las características establecidas.

Justificación: El sistema computacional descrito en el diagrama de flujo del Anexo XIII se alimenta con la información que proporcionan los solicitantes de apoyos y, en consecuencia, se considera confiable. Los Organismos de Cuenca verifican que se cumplan las Reglas de Operación del programa, por lo cual, la información que capturan las Direcciones de Agua Potable y Alcantarillado de las Direcciones Locales de la CONAGUA en cada entidad federativa está validada. Al flexibilizarse los plazos del programa APAZU en el Manual de Operación y Procedimientos (CONAGUA, 2011 b), la única periodicidad para la actualización de la presentación del Cierre de Ejercicio para efectos de la Cuenta Pública es el último día hábil del mes de enero del siguiente ejercicio fiscal. Todo el personal relacionado con la operación del programa APAZU conoce y maneja el sistema computacional. La aplicación informática es única en todo el país, razón por la cual no puede haber discrepancia entre diversos sistemas de cómputo.

S74

45

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.4.6 CUMPLIMIENTO Y AVANCE EN LOS INDICADORES DE GESTIÓN Y PRODUCTOS 41 ¿Cuál es el avance de los indicadores de servicios y de gestión (Actividades y Componentes) y de

resultados (Fin y Propósito) de la MIR del programa respecto de sus metas?

Justificación: La meta anual del Fin porcentaje de cobertura de agua potable en zonas urbanas del programa APAZU en 2011 más el de innumerables instancias federales, estatales, municipales, binacionales, internacionales, filantrópicas, privadas y mixtas fue de 94.28%. No obstante, en la Cuenta de la Hacienda Pública Federal no se consigna ningún valor alcanzado. Las metas del Propósito fueron de 0.53% para agua potable y 0.21% para alcantarillado sanitario y la Cuenta de la Hacienda Pública Federal registra avances de 0.55 y 0.42%, respectivamente.

S74

46

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.4.7 RENDICIÓN DE CUENTAS Y TRANSPARENCIA 42 El programa cuenta con mecanismos de transparencia y rendición de cuentas con las siguientes

características: a) Las ROP o documento normativo están disponibles en la página electrónica de manera accesible, a menos de tres clics. b) Los resultados principales del programa son difundidos en la página electrónica de manera accesible, a menos de tres clics.ión presentados ante el Instituto Federal de Acceso a la Información Pública (IFAI). c) Cuenta con un teléfono o correo electrónico para informar y orientar tanto al beneficiario como al ciudadano en general, disponible en la página electrónica, accesible a menos de tres clics. d) La dependencia o entidad que opera el Programa no cuenta con modificación de respuesta a partir de recursos de revisión presentados ante el Instituto Federal de Acceso a la Información Pública (IFAI). Respuesta Si Nivel 2

• Los mecanismos de transparencia y rendición de cuentas tienen dos de las características establecidas.

Justificación: Las Reglas de Operación, así como el Manual de Operación y Procedimientos del programa APAZU se encuentran a menos de tres clics en la página de internet de la Comisión Nacional del Agua, www.conagua.gob.mx. EL programa APAZU no difunde sus principales resultados en la página de internet de la Comisión Nacional del Agua, ni se encuentra ahí un teléfono ni correo electrónico para orientar al posible beneficiario o al ciudadano en general. No obstante, debe hacerse notar que, como la población potencial son organismos operadores de agua potable y alcantarillado o comisiones estatales de agua y saneamiento, ellos saben exactamente a quién dirigirse para solicitar un apoyo. Podría decirse que el teléfono y correo electrónico de los operadores del programa APAZU son “domicilio conocido”. La Comisión Nacional del Agua, unidad administrativa que opera el programa APAZU sí cuenta con modificación de respuesta a partir de recursos de revisión presentados ante el Instituto Federal de Acceso a la Información Pública (IFAI).

S74

47

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.5 PERCEPCIÓN DE LA POBLACIÓN ATENDIDA IV.5 PERCEPCIÓN DE LA POBLACIÓN ATENDIDA 43 El programa cuenta con instrumentos para medir el grado de satisfacción de su población

atendida con las siguientes características: a) Su aplicación se realiza de manera que no se induzcan las respuestas. b) Corresponden a las características de sus beneficiarios. c) Los resultados que arrojan son representativos. Respuesta No Justificación: El programa APAZU no cuenta con instrumentos sistemáticos para medir el grado de satisfacción de la población que atiende: los organismos operadores de agua potable y saneamiento y las comisiones estatales de agua y saneamiento a los que canaliza subsidios para elaborar estudios y proyectos, construir y supervisar obras, y para mejorar su eficiencia física y comercial. Sin embargo, en la Evaluación de Resultados del ejercicio 2005 (II-UNAM, 2006) se realizaron 1,585 encuestas con el fin de indagar la percepción de los ciudadanos la población atendida por órganos municipales o estatales, no por la CONAGUA, unidad administrativa que opera el programa APAZU en relación con el impacto que tiene el programa APAZU para mejorar los servicios prestados por los organismos operadores y las comisiones estatales en las localidades beneficiadas. En la Evaluación de Resultados de 2007 (II-UNAM, 2008 a) se encuestaron a 800 ciudadanos más un número indeterminado de funcionarios de la CONAGUA y organismos operadores. Ante la pregunta ¿qué tanto mejoró su calidad de vida con la introducción del agua potable?, la respuesta promedio de los habitantes en 2006 fue de 9.85 y de 9.42 para el alcantarillado sanitario, y de 7.92 y 7.28, respectivamente, en 2008; los propios diseñadores de la encuesta ponen en perspectiva su trabajo: “Entre los entrevistados existe un gran desconocimiento de las autoridades que llevan a cabo las obras de servicios de agua potable, drenaje y alcantarillado”. En cambio, los organismos operadores destacaron en la segunda encuesta como principal problema que los recursos no les llegan antes de que concluya el primer semestre del año. Resulta claro que la segunda encuesta mide, por una parte, el mejoramiento de la calidad de vida de los habitantes debido a la introducción de los servicios de agua potable y alcantarillado, pero con independencia del programa APAZU, y por otra parte, el grado de satisfacción de los organismos operadores la población objetivo del programa APAZU con sus procedimientos administrativos, pero sin tomar en cuenta los servicios de agua potable ni alcantarillado. Se recomienda que se realice de manera periódica una evaluación y no sólo una medición del grado de satisfacción de la población atendida por el programa APAZU.

S74

48

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

IV.6 MEDICIÓN DE RESULTADOS IV.6 MEDICIÓN DE RESULTADOS 44 ¿Cómo documenta el programa sus resultados a nivel de Fin y de Propósito?

a)

Con indicadores de la MIR.

Justificación: El programa APAZU recaba la información relativa al cumplimiento de su Fin porcentaje de cobertura de agua potable en zonas urbanas [que, en opinión de la presente evaluación, debería contener también el alcantarillado y el saneamiento] con los Censos y Conteos de Población que realiza el Instituto Nacional de Estadística, Geografía e Informática. Como esa información es quinquenal, en los años intermedios la Comisión Nacional del Agua hace estimaciones basadas en la información que recaba para documentar el cumplimiento de su Propósito tasa de variación de la población en zonas urbanas que cuenta por primera vez con el servicio formal de agua potable y de alcantarillado [que, en opinión del evaluador, debería contener también el saneamiento] mediante los Cierres de Ejercicio que la población atendida debe proporcionar es decir, los organismos operadores y que queda registrado en el Sistema de Información de Servicios Básicos del Agua (SISBA), conforme a lo estipulado en el Manual de Operación y Procedimientos (CONAGUA, 2011 b). No obstante, el indicador del Fin documentado en la Situación del Subsector Agua Potable, Alcantarillado y Saneamiento, que año con año publica la Comisión Nacional del Agua y que constituye la información oficial en el tema acumula todas las acciones que se realizan en el país y de él no es posible diferenciar qué proporción se debe a las acciones del programa APAZU. Por tanto, se recomienda que el programa APAZU documente de manera diferenciada el avance nacional en las coberturas de agua potable, alcantarillado y saneamiento y la proporción de las mismas coberturas debida exclusivamente a sus propias acciones. Los dos indicadores del Propósito se reportan cada año en la Cuenta de la Hacienda Pública Federal; en el Programa Nacional de Rendición de Cuentas, Transparencia y Combate a la Corrupción 20082012; en el Cierre de Ejercicio del programa APAZU, y en su MIR. Sin embargo, esa información no es expedita, su agregación cambia de un año a otro, no es de fácil acceso público ni está concentrada en una sola página de internet.

S74

49

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

45 En caso de que el programa cuente con indicadores para medir su Fin y Propósito, inciso a) de la

pregunta anterior, ¿cuáles han sido sus resultados? Respuesta Si Nivel

• Hay resultados positivos del programa a nivel de Fin y de Propósito.

3 Justificación: El programa APAZU registra el avance de su indicador del Fin anualmente en la publicación Situación del Subsector Agua Potable, Alcantarillado y Saneamiento, que se encuentra disponible en la página de internet de la Comisión Nacional del Agua, así como en el Programa Nacional de Rendición de Cuentas, Transparencia y Combate a la Corrupción 2008-2012, de la Secretaría de la Función Pública. En este último medio, el indicador del Fin del programa APAZU para el año 2010 registra una meta al igual que en el Portal Aplicativo de la Secretaría de Hacienda y Crédito Público (PASH) de 94.3% y un avance de 94.3%. Los dos indicadores del Propósito registraron en su MIR metas de 160,050 y 174,925 personas, con un avance documentado en la Cuenta de la Hacienda Pública Federal; en el Programa Nacional de Rendición de Cuentas, Transparencia y Combate a la Corrupción 2008-2012, y en el Cierre de Ejercicio del programa APAZU de 258,694 y 301,663 personas, respectivamente. Esto implica un cumplimiento de 100% para el Fin y de 156.74 y 172.45% para los dos indicadores del Propósito, el primero de ellos para agua potable y el segundo para alcantarillado. Sin embargo, como el indicador del Fin refleja todas las acciones realizadas en el país y no sólo las debidas al programa APAZU y, aunque sí contribuye al Fin, se desconoce en qué medida.

S74

50

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

46 En caso de que el programa cuente con evaluación(es) externa(s) que no sea(n) de impacto y que

permite(n) identificar hallazgo(s) relacionado(s) con el Fin y el Propósito del programa, inciso b) de la pregunta 44, dichas evaluaciones cuentan con las siguientes características: I. Se compara la situación de los beneficiarios en al menos dos puntos en el tiempo, antes y después de otorgado el apoyo. II. La metodología utilizada permite identificar algún tipo de relación entre la situación actual de los beneficiarios y la intervención del Programa. III. Dados los objetivos del Programa, la elección de los indicadores utilizados para medir los resultados se refieren al Fin y Propósito y/o características directamente relacionadas con ellos. IV. La selección de la muestra utilizada garantiza la representatividad de los resultados entre los beneficiarios del Programa. Respuesta Si Nivel 3

• El programa cuenta con evaluación(es) externa(s), que no son de impacto, que permite(n) identificar uno o varios hallazgos relacionados con el Fin y/o el Propósito del programa, y tiene(n) tres de las características establecidas.

Justificación: Al programa APAZU se le han hecho tres Evaluaciones Específicas de Desempeño, en 2008, 2009 y 2010 que, entre otros temas, pretenden analizar la evolución de los indicadores, particularmente del Fin y del Propósito. Sin embargo, el diseño de estas evaluaciones, en opinión de los operadores del programa APAZU (CONAGUA, 2009 c), “no facilita integrar un mejor ejercicio de análisis y reflexión sobre los resultados del programa” y que, en todo caso, el resultado de las evaluaciones no permite responder a las características de las preguntas de la presente pregunta. También se han realizado dos Evaluaciones de Resultados al programa APAZU, en 2006 y 2008, y una de Consistencia y Resultados en 2008, en las que sí se compara la situación no de la población objetivo del programa pero sí de los habitantes servidos por la población atendida antes y después del otorgamiento de los apoyos, aplicando una encuesta a los habitantes de las localidades beneficiadas y sólo en el caso de la segunda Evaluación de Resultados también a los funcionarios de la CONAGUA y de los organismos operadores la población objetivo del programa APAZU para estimar con un error de 3.5 puntos porcentuales al 95% de confianza el grado de satisfacción con el programa APAZU. No obstante, las encuestas, al igual que el programa APAZU y las evaluaciones de resultados y de consistencia y resultados, no diferencian entre los resultados nacionales y los resultados estrictamente debidos al programa bajo evaluación.

S74

51

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

47 En caso de que el programa cuente con evaluación(es) externa(s), diferente(s) a evaluaciones de

impacto, que permite(n) identificar uno o varios hallazgos relacionados con el Fin y/o el Propósito del programa, ¿cuáles son los resultados reportados en esas evaluaciones?

Justificación: La Evaluación Específica de Desempeño de 2008 concluye, en esencia, que “la mayor parte de las deficiencias que presenta el programa parten [sic] de una inadecuada definición del problema que se pretende resolver” apreciación con la cual no coincide la presente evaluación; la de 2009 expresa que “no se conoce cómo el Programa [sic] contribuye a abatir las necesidades de agua, alcantarillado y saneamiento que tiene la población en localidades de más de 2500 habs [sic]” idea con la cual coincide en parte la actual evaluación, en el sentido de que no se sabe exactamente en qué proporción contribuye el programa APAZU, y la de 2010 indica que “no se dispone de información que permita valorar de manera plena el desempeño del Programa [sic], tanto en términos de resultados como en lo que concierne a su gestión” percepción compartida por el evaluador sólo en el aspecto de resultados. En la Evaluación de Resultados de 2006 se resalta que “en el ejercicio 2005 se encontraron muchos casos de obras formadas por acciones complementarias, en cada una de las cuales se repetía el número total de habitantes beneficiados. Para evitar esta repetición que puede llevar a errores se recomienda analizar la posibilidad de un cambio en el formato de los anexos técnicos” situación que el evaluador considera que debe esclarecerse para todos y cada uno de los años en que ha operado el programa APAZU, y en la de 2008 se enfatiza que “en los Anexos Técnicos del ejercicio 2006 es menos frecuente que en los ejercicios anteriores la omisión de los habitante beneficiados. A este respecto ha habido una mejora respecto de los ejercicios anteriores, particularmente 2005, aunque todavía se encontraron obras cuyos beneficios se expresan en términos de ‘obra’, kilómetros o metros” aspecto en el que no coincide la presente evaluación, puesto que el objetivo del programa APAZU es, primordialmente, apoyar la construcción de infraestructura hidráulica. En la Evaluación de Consistencia y Resultados de 2008 se expresa que “se cuentan [sic] con mediciones que reflejan el avance en las metas para lograr el Propósito y Fin” y para ello muestra el número de habitantes incorporados, de manera similar a como lo hace el Anexo XI, pero sin diferenciar las acciones nacionales de las del programa evaluado.

S74

52

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

48 En caso de que el programa cuente con información de estudios o evaluaciones nacionales e

internacionales que muestran impacto de programas similares, inciso c) de la pregunta 44, dichas evaluaciones cuentan con las siguientes características: I. Se compara un grupo de beneficiarios con uno de no beneficiarios de características similares. II. La(s) metodología(s) aplicadas son acordes a las características del programa y la información disponible, es decir, permite generar una estimación lo más libre posible de sesgos en la comparación del grupo de beneficiarios y no beneficiarios. III. Se utiliza información de al menos dos momentos en el tiempo. IV. La selección de la muestra utilizada garantiza la representatividad de los resultados. Respuesta No Justificación: Ni los operadores del programa APAZU ni el evaluador conocen estudios o evaluaciones nacionales e internacionales que muestren un impacto en programas similares al evaluado.

S74

53

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

49 En caso de que el programa cuente con información de estudios o evaluaciones nacionales e

internacionales que muestran impacto de programas similares ¿qué resultados se han demostrado? Justificación: Los operadores del programa APAZU no conocen estudios o evaluaciones nacionales e internacionales que muestren un impacto en programas similares al evaluado, y el evaluador tampoco.

S74

54

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

50 En caso de que el programa cuente con evaluaciones de impacto, inciso d) de la pregunta 44, con

qué características de las siguientes cuentan dichas evaluaciones: I. Se compara un grupo de beneficiarios con uno de no beneficiarios de características similares. II. La(s) metodología(s) aplicadas son acordes a las características del programa y la información disponible, es decir, permite generar una estimación lo más libre posible de sesgos en la comparación del grupo de beneficiarios y no beneficiarios. III. Se utiliza información de al menos dos momentos en el tiempo. IV. La selección de la muestra utilizada garantiza la representatividad de los resultados. Respuesta No Justificación: Al programa APAZU nunca se le ha hecho una evaluación de impacto. No obstante, está programada tal evaluación para el año de 2013.

S74

55

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

51 En caso de que se hayan realizado evaluaciones de impacto que cumplan con al menos las

características señaladas en los incisos a) y b) de la pregunta anterior, ¿cuáles son los resultados reportados en esas evaluaciones? Respuesta No Justificación: Al programa APAZU no se le ha hecho ninguna evaluación de impacto. Se tiene programada una evaluación de ese tipo para el año 2013.

S74

56

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

Conclusiones El programa APAZU en efecto contribuye a disminuir el rezago en las coberturas nacionales de agua potable, alcantarillado y tratamiento de aguas residuales municipales. Sin embargo, i) a pesar de que el diagnóstico fundacional del Programa Nacional de Agua Potable y Alcantarillado 1990-1994 (CONAGUA, 1989) resultó particularmente claridoso a grado tal de que, a excepción del número de habitantes sin cobertura, sigue siendo muy actual carece de un diagnóstico que se actualice de manera periódica, por lo que se recomienda elaborarlo y mantenerlo actualizado periódicamente, ii) es necesario modificar la redacción del Fin para que incluya al alcantarillado sanitario y el tratamiento de las aguas residuales municipales e introducir un cuarto Componente que mida el incremento en la calidad de los servicios de agua potable, alcantarillado sanitario y tratamiento de aguas residuales, iii) se recomienda definir a la población potencial como: “organismos operadores de agua potable y saneamiento en comunidades urbanas del país con población mayor a 2,500 habitantes que requieran rehabilitar, complementar o incrementar la infraestructura de agua potable, alcantarillado sanitario o tratamiento de aguas residuales”, y a la población objetivo como: “organismos operadores de agua potable y saneamiento en comunidades urbanas del país con población mayor a 2,500 habitantes que requieran rehabilitar, complementar o incrementar la infraestructura de agua potable, alcantarillado sanitario o tratamiento de aguas residuales, y que demuestren capacidad para cumplir con las Reglas de Operación del programa APAZU en el ejercicio fiscal corriente”, iv) se recomienda elaborar un padrón de organismos operadores, con una clave única de identificación y con mecanismos documentados para su depuración y actualización, y v) como el indicador del Fin acumula todas las acciones que se realizan en el país y de él no es posible diferenciar qué proporción se debe a las acciones del programa APAZU, se recomienda documentar de manera diferenciada el avance nacional en las coberturas de agua potable, alcantarillado y saneamiento y la proporción de las mismas coberturas debida exclusivamente a las acciones propias del programa APAZU. Los avances oficiales del programa se registran en el Sistema de Información de Servicios Básicos del Agua (SISBA) y, aunque es de consulta pública en las oficinas de la CONAGUA, en acatamiento al principio constitucional de máxima publicidad, se recomienda hacerlo de acceso público a través de internet. Al ser APAZU un programa de adhesión voluntaria, cada localidad y entidad federativa expresa sus necesidades de cobertura y especifica las obras que requiere; no obstante, el programa no diferencia el incremento de las coberturas o habitantes beneficiados producto de sus acciones con el incremento de las coberturas nacionales debidas a otras acciones, por lo que se recomienda separar las contribuciones del programa a las coberturas y de los habitantes incorporados a los servicios de agua potable, alcantarillado y tratamiento de aguas residuales, de las correspondientes a otros programas federalizados, estatales y municipales, de las actuaciones de organismos binacionales e internacionales, y de las actividades de instituciones filantrópicas, privadas y mixtas. El programa está descentralizado, ya que las Direcciones de Agua Potable y Alcantarillado de cada Dirección Local de la Comisión Nacional del Agua son las encargadas de operar el programa APAZU en cada entidad federativa, y el correspondiente Organismo de Cuenca de la Comisión Nacional del Agua funge como supervisor de la operación del programa; sin embargo, la Evaluación de Resultados de 2006 (II-UNAM, 2006) resalta que en el ejercicio 2005 se encontraron muchos casos de obras formadas por acciones complementarias, en cada una de las cuales se repetía el número total de habitantes beneficiados, por lo que se recomienda esclarecer la posible repetición de beneficiarios indirectos en todos y cada uno de los años en que ha operado el programa APAZU. El programa APAZU no mide de manera sistemática el grado de satisfacción de su población atendida, por lo que se recomienda que realice de manera periódica una evaluación y no sólo una medición del grado de satisfacción de la población atendida por el programa APAZU: los organismos operadores y no los habitantes beneficiados.

S74

57

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

Bibliografía P.

FUENTE

TITULO

AUTOR

AÑO

FECHA

S74

DATOS.PUB.

58

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

Formato del Anexo 17 “Principales Fortalezas, Oportunidades, Debilidades, Amenazas y Recomendaciones"

IV.1 DISEÑO Preg. FORTALEZAS Y/U OPORTUNIDADES 1.El programa contribuye a disminuir el rezago en las 6 coberturas nacionales de agua potable, alcantarillado y tratamiento de aguas residuales municipales

DEBILIDADES Y/O AMENAZAS 4.Carencia de un padrón de beneficiarios

Preg.

1

5.El indicador del Fin acumula todas las acciones que se realizan en el país y de él no es posible diferenciar qué proporción se debe a las acciones del programa APAZU 1.El programa carece de un diagnóstico que se actualice de manera periódica 2.El resumen narrativo del Fin está redactado de manera imprecisa

1

3.Imprecisión en la definición de población potencial y objetivo

7

2 2

Recomendación

Recomendación 4.Elaborar un padrón de organismos operadores, con una clave única de identificación y con mecanismos documentados para su depuración y actualización 5.Documentar de manera diferenciada el avance nacional en las coberturas de agua potable, alcantarillado y saneamiento y la proporción de las mismas coberturas debida exclusivamente a las acciones propias del programa APAZU 1.Elaborar un diagnóstico y actualizarlo periódicamente 2.Modificar la redacción del Fin para que incluya al alcantarillado sanitario y el tratamiento de las aguas residuales municipales e introducir un cuarto Componente que mida el incremento en la calidad de los servicios de agua potable, alcantarillado sanitario y tratamiento de aguas residuales 3.Definir a la población potencial como: “organismos operadores de agua potable y saneamiento en comunidades urbanas del país con población mayor a 2,500 habitantes que requieran rehabilitar, complementar o incrementar la infraestructura de agua potable, alcantarillado sanitario o tratamiento de aguas residuales”, y a la población objetivo como: “organismos operadores de agua potable y saneamiento en comunidades urbanas del país con población mayor a 2,500 habitantes que requieran rehabilitar,

IV.2 PLANEACIÓN Y ORIENTACIÓN A RESULTADOS Preg. FORTALEZAS Y/U OPORTUNIDADES 1.El diagnóstico fundacional del Programa Nacional 14 de Agua Potable y Alcantarillado 1990-1994 resultó particularmente claridoso, a grado tal de que, a excepción del número de habitantes sin cobertura, sigue siendo muy actual

Recomendación

Preg. DEBILIDADES Y/O AMENAZAS Recomendación 1.Los avances oficiales del programa se registran en 22 1.Hacer el SISBA de acceso público a través de internet el Sistema de Información de Servicios Básicos del Agua (SISBA), el cual es de consulta pública en alguna oficina de la CONAGUA pero no de acceso público a través de internet

IV.3 COBERTURA Y FOCALIZACIÓN Preg. FORTALEZAS Y/U OPORTUNIDADES 1.Al ser un programa de adhesión voluntaria, APAZU 24 permite que cada localidad exprese sus necesidades de cobertura y especifique las obras que requiere

Recomendación

S74

59

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

Preg. DEBILIDADES Y/O AMENAZAS Recomendación 1.El programa no diferencia el incremento de las 23 1.Separar las contribuciones del programa a las coberturas y de coberturas o habitantes beneficiados producto de los habitantes incorporados a los servicios de agua potable, sus acciones con el incremento de las coberturas alcantarillado y tratamiento de aguas residuales, de las nacionales debidas a otras acciones correspondientes a otros programas federalizados, estatales, municipales, binacionales, internacionales, filantrópicos, privados y mixtos

IV.4 OPERACIÓN Preg. FORTALEZAS Y/U OPORTUNIDADES 1.El programa está descentralizado, ya que las 29 Direcciones Locales y los Organismos de Cuenca de la Comisión Nacional del Agua son los encargados de operar y supervisar el programa APAZU en la entidad federativa donde residen

Recomendación

Preg. DEBILIDADES Y/O AMENAZAS Recomendación 1.La Evaluación de Resultados de 2006 resalta que 26 1.Esclarecer la posible repetición de beneficiarios indirectos en en el ejercicio 2005 se encontraron muchos casos de todos y cada uno de los años en que ha operado el programa obras formadas por acciones complementarias, en APAZU cada una de las cuales se repetía el número total de habitantes beneficiados

IV.5 PERCEPCIÓN DE LA POBLACIÓN ATENDIDA Preg. FORTALEZAS Y/U OPORTUNIDADES 1. El programa APAZU ha contratado en dos 43 ocasiones la elaboración de Evaluaciones de Resultados, mismas que incluyeron encuestas a los habitantes beneficiados aunque se les haya hecho preguntas para las cuales carecían de información para contestar y a los funcionarios de la CONAGUA y de los organismos operadores

Recomendación

Preg. DEBILIDADES Y/O AMENAZAS Recomendación 1.Ausencia de medición sistemática del grado de 43 1.Realizar de manera periódica una evaluación y no sólo una satisfacción de la población atendida medición del grado de satisfacción de la población atendida por el programa APAZU

IV.6 MEDICIÓN DE RESULTADOS Preg. FORTALEZAS Y/U OPORTUNIDADES 1.El programa ha contribuido a rehabilitar, ampliar e 44 introducir los servicios de agua potable, alcantarillado sanitario y tratamiento de aguas residuales en múltiples zonas urbanas del país

Recomendación

Preg. DEBILIDADES Y/O AMENAZAS Recomendación 1.El programa ha contribuido a eliminar el rezago en 45 1.Que el programa APAZU elabore un documento anual no tiene las coberturas de agua potable, alcantarillado que ser forzosamente impreso ni voluminoso: un archivo en sanitario y tratamiento de aguas residuales en un formato pdf de 4 páginas colocado en su sitio de internet es porcentaje desconocido y a un número suficiente en el que se consignen sus propias contribuciones y la indeterminado de personas proporción que representan en el cúmulo de acciones nacionales

S74

60

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

Formato del Anexo 19 “Valoración Final del programa" TEMA IV.1 DISEÑO

NIVEL

JUSTIFICACIÓN

2,44 El diseño es lógico, pero es necesario precisar la redacción del Fin y de la población potencial y objetivo, así como añadir un Componente relativo a la calidad de los servicios, y elaborar un padrón de beneficiarios.

IV.2 PLANEACIÓN Y ORIENTACIÓN A RESULTADOS

3,17 Es necesario elaborar un diagnóstico y actualizarlo periódicamente y hacer al

IV.3 COBERTURA Y FOCALIZACIÓN

4,00 Se requiere separar las contribuciones del programa de las correspondientes a

IV.4 OPERACIÓN

3,33 El programa opera de manera descentralizada en las entidades federativas,

Sistema de Información de Servicios Básicos del Agua (SISBA) de acceso público. otros programas y acciones. con supervisión regional y normación federal.

IV.5 PERCEPCIÓN DE LA POBLACIÓN ATENDIDA

0,00 Es necesario realizar de manera periódica una evaluación del grado de

IV.6 MEDICIÓN DE RESULTADOS

1,20 En 21 años de operación el programa ha contribuido a eliminar el rezago de los

TOTAL

2,36 El programa es benéfico pero requiere elaborar y mantener actualizado un

satisfacción de la población atendida por el programa APAZU.

servicios de agua potable y saneamiento a 25 millones de habitantes, de un incremento de la población universo de 25.6 millones. diagnóstico, definir con precisión el Fin y los indicadores del Propósito para separar las contribuciones del programa de las correspondientes a otros programas y acciones, y apegarse al principio de máxima publicidad de la información gubernamental haciendo de acceso público al SISBA.

NOTA: El Nivel se establece en un rango de 0-4 y sólo considera las preguntas binarias con nivel de respuesta definido (no se toman en cuenta para el cálculo las preguntas en las que se respondió No Aplica).

S74

61

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

FORMATO DE ANEXOS ANEXOS Anexo Solicitado Anexo 1 Descripción General del Programa Anexo 2 Metodología para la cuantificación de las poblaciones Potencial y Objetivo Anexo 3 Procedimiento para la actualización de la base de datos de beneficiarios Anexo 4 Resumen Narrativo de la Matriz de Indicadores para Resultados Anexo 5 Indicadores Anexo 6 Metas del programa Anexo 6 Metas del programa Anexo 7 Complementariedad y coincidencias entre programas federales Anexo 8 Avance de las acciones para atender los aspectos susceptibles de mejora Anexo 9 Resultado de las acciones para atender los aspectos susceptibles de mejora Anexo 10 Análisis de recomendaciones no atendidas derivadas de evaluaciones externas Anexo 11 Evolución de la Cobertura Anexo 12 Información de la Población Atendida Anexo 13 Diagramas de flujo de los Componentes y procesos claves Anexo 14 Gastos desglosados del programa

Nombre del Archivo

Formato

Anexo I Descripción general Libre del programa.docx Anexo II Método para Libre cuantificar población potencial y objetivo.docx Anexo III Actualización de Libre base de beneficiarios.docx Anexo IV Resumen narrativo Libre de la MIR.docx Anexo V Indicadores.docx

Definido

ECR S074 anexo VI.pdf

Definido

Anexo VI Metas del programa.docx Anexo VII Complementariedad con otros programas.docx Anexo VIII Atención de aspectos susceptibles de mejora.docx Anexo IX Acciones para atender aspectos susceptibles de mejora.docx Anexo X Recomendaciones no atendidas.docx

Definido

Anexo XI Evolución de la cobertura.docx Anexo XII Información de la población atendida.docx Anexo XIII Diagramas de flujo de los Componentes y procesos clave.xlsx Anexo XIV Gastos desglosados del programa.docx Anexo XV Avance de los Anexo 15 indicadores respecto de sus Avance de los Indicadores respecto de sus metas metas.docx Anexo 16 Anexo XVI Medición del Instrumentos de Medición del Grado de Satisfacción de grado de satisfacción.docx la Población Atendida Anexo 18 Anexo XVIII Comparación Comparación con los resultados de la Evaluación de con ECR anterior.docx Consistencia y Resultados anterior

Definido

Anexo 20

Definido

Definido

Libre

Libre

Definido Libre con instrucciones Libre con instrucciones Definido

Libre

Libre

Anexo XX Ficha técnica del Definido y lo S74

62

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas Ficha Técnica con los datos generales de la instancia evaluadora y el costo de la evaluación

llena CONEVAL

evaluador.docx

S74

63

Evaluación de Consistencia y Resultados 2011-2012 Programa de Agua Potable, Alcantarillado y Saneamiento en Zonas Urbanas

ADJUNTOS Preg.

Nombre del Archivo

0

Índice.docx

1

CONAGUA Evaluación de Consistencia y Resultados del Programa S074 APAZU 2012 Ver. 1.0.pdf

S74

64