Eficiencia y fortalecimiento organizacional: Un análisis de los municipios metropolitanos de Bolivia Dante Ayaviri Ninaa, Gabith Quispe Fernándezb1 a b

Investigador del Centro de Desarrollo Regional y Local, Bolivia. Profesora de la Universidad Técnica de Oruro, Bolivia

RESUMEN En este artículo se estudia la eficiencia en la asignación de los recursos financieros a los proyectos de inversión productiva y social en los municipios en Bolivia. En el trabajo se realiza una clasificación de municipios con el objeto de buscar su homogeneización, y en función a ello, se considera para el análisis los municipios denominados metropolitanos. La eficiencia de los municipios es analizada desde el punto de vista de la Ley de Descentralización Administrativa que fue promulgada en la década de los noventa, se pretende identificar a los municipios que están cumpliendo con los lineamientos de la mencionada Ley, que es la administración y asignación eficiente de los recursos financieros en su Distrito. En función a los principales resultados del análisis, se plantea algunas estrategias de fortalecimiento organizacional para una acción conjunta de los principales actores del desarrollo, las mismas se describen desde el punto de vista de la administración y asignación de los recursos financieros en los programas y proyectos de inversión productiva y social.

Palabras clave: eficiencia asignativa, municipios de Bolivia, Ley de Descentralización Administrativa, fortalecimiento organizacional.

1. Introducción

En la década del noventa, en Bolivia se dieron reformas orientadas a crear nuevas condiciones legales para la modernización del Estado, de sus relaciones con la sociedad, de la distribución de los recursos, de desarrollo local y de articulación de las políticas sociales, una de ellas, fue la Ley Descentralización Administrativa (LDA) en los Departamentos y

1

Los autores agradecen los aportes realizados por el Prof. Javier Alfonso Gil, Profesor Titular de Economía Aplicada del Departamento de Estructura Económica y Economía del Desarrollo de la Universidad Autónoma de Madrid. 1

Municipios del territorio nacional. Con ella se establecieron las bases para una modernización de la administración estatal y a su vez, se despertaron expectativas para complementar y profundizar la democracia participativa en la ampliación administrativa del ámbito del poder municipal.

El proceso de Descentralización iniciado a través de la Ley de Participación Popular (LPP) a mediados de 1994 y su implementación a partir de enero de 1996, ha involucrado el traspaso y delegación de importantes funciones desde el nivel central al nivel municipal. Con la LPP, se da una delimitación jurisdiccional territorial de los Gobiernos Municipales a la sección de Provincia, ampliando sus competencias y transfiriéndoles la infraestructura física de educación, salud, deportes, caminos vecinales y microriego, con la obligación de administrarla (Calderón y Delgadillo, 2003). De esta forma, afirma (De La Fuente, 2004), que la LPP y la LDA producen una municipalización del territorio, antes las áreas rurales carecían del poder local, actualmente tienen la referencia de un municipio, incluidos la población rural lo que les confiere nuevas competencias. Además, los municipios se constituyen en los actores del desarrollo de su territorio. Y, por su parte (Campbell, 1994:33) sostiene que la puesta en marcha de ambas Leyes, especialmente la LDA2 significa el equilibrio entre dos dimensiones de la eficiencia en la producción de servicios e infraestructura, y la mejora en cuanto a la asignación de recursos desde los Gobiernos Municipales, otorgando la relevancia en la capacidad institucional al nivel local.

Así, los municipios se constituyen en agentes y actores locales del desarrollo, con capacidad de gestión y respuesta a las necesidades locales, brindando servicios y soluciones eficientes a los problemas de un determinando territorio. Estas soluciones municipales deben plasmarse mediante políticas locales, que resulten de procesos participativos, contribuyendo de esta manera a la reducción de la pobreza y al desarrollo económico local. Por lo que, es de suma importancia conocer el sistema de gobierno respecto a las diferentes competencias transferidas a su administración en la provisión de

2

Uno de los objetivos de la Descentralización se concibe como el establecimiento de recursos económicos y financieros departamentales, y mejorar la eficiencia y la eficacia de la administración pública en la prestación de servicios en forma directa y cercana a la población. Desde el punto de vista social la descentralización, tanto en su versión municipal como departamental, se propone producir importantes impulsos de desarrollo local y la participación ciudadana. Con ello, se establece una nueva forma de ejercer el Gobierno en relación con las fuerzas sociales, tanto tradicionales como emergentes. Para mayor información consultar Ley 1654 de 28 de julio de 1995. 2

servicios a la comunidad, sobre todo cuando se trata de impulsar el desarrollo local, a partir de la elaboración y ejecución de políticas locales (Quispe, 2009).

La Ley fue elaborada con la finalidad de buscar el desarrollo local de las comunidades y su población. Sin embargo, se ejecutaron proyectos orientados a distintos sectores y no necesariamente alineados a las priorizaciones descritas en la Ley (Galindo y Medina, 2000). Por otro lado, el proceso participativo normado por la LPP permite a la sociedad exigir una rendición de cuentas sobre el manejo eficiente de los recursos económicos, (Finot, 2003). Sin embargo, esto último no se practica en la mayoría de los municipios de Bolivia. Actualmente la población, organizaciones públicas y privadas manifiestan una preocupación creciente respecto al uso de los recursos financieros provenientes del Estado (canalizados por los Municipios), particularmente en la asignación y administración en los programas y proyectos de desarrollo y la necesidad de fortalecer estas organizaciones.

Autores como (Finot, 2002) señala que, producto de la descentralización política que se dieron en países de América Latina, se esperaba que contribuyera en forma importante a suscitar una participación constructiva, a aumentar la eficiencia de la gestión pública y a lograr una mayor equidad territorial y social. Sin embargo, menciona el autor, después de varios años de darse los procesos, los avances en participación son dispares, aún no se observan resultados concluyentes en cuanto a eficiencia en la administración de los recursos. Si bien ha logrado aumentar y mejorar la cobertura de servicios sociales (servicios básicos) pero a su vez, en algunos casos se acentuaron las diferencias interterritoriales, siendo que los sistemas de transferencias adoptados no propiciaron la eficiencia administrativa en los Gobiernos Municipales (De La Fuente, 2004) y en consecuencia, su fortalecimiento estuvo ajeno a los mandatos de la Descentralización Administrativa (Finot, 2002).

Para conocer el desempeño municipal respecto al uso de los recursos

-sobre todo

relacionado con la implantación de acciones que beneficien a la población-, es a través de una evaluación (Calderón y Delgadillo, 2003). Las mediciones pueden tomar diferentes criterios (eficiencia, eficacia, sostenibilidad, financiamiento, etc). En la presente investigación, se considera los criterios de eficiencia, desde una perspectiva de la medición de la eficiencia asignativa en la administración de los recursos financieros en los municipios de Bolivia, ya que dicha perspectiva permite valorar las intervenciones o 3

acciones del municipio en materia de asignación presupuestaría a los programas y proyectos en su distrito; a su vez, plantear algunas alternativas para mejorar la gestión municipal y su articulación con otras organizaciones, que permita su fortalecimiento de estas organizaciones.

En este contexto, el objetivo de la presente investigación se formula en los siguientes términos: Determinar la eficiencia asignativa de los recursos financieros en materia de inversión productiva e inversión social en los municipios de Bolivia. Se analiza los municipios metropolitanos y se formula algunas directrices que permita el fortalecimiento institucional de los municipios y los actores del Desarrollo.

2. Metodología.

Para determinar la eficiencia municipal, se usan datos presupuestarios e indicadores de desempeño de los 327 municipios de Bolivia, y se considera las gestiones 2005-2008. Se emplea para el análisis el programa Frontier. En primera instancia se realiza una clasificación grupal de los municipios, a través del análisis cluster y su verificación con el análisis discriminante, ello con la finalidad de cumplir el requisito de homogeneidad del análisis de eficiencia productiva municipal; como también, la utilización de la regresión lineal múltiple con el objeto de identificar las variables de la función de producción municipal3. Finalmente se realiza el cálculo del índice de eficiencia, a través del método de Análisis Envolvente de Datos (DEA) cuya característica es la discriminación de elementos eficientes e ineficientes; de esta forma, establecer variables comunes en los municipios a través del análisis cluster.

Los indicadores de eficiencia son referentes para el análisis de las políticas locales que intentarán explicar la preocupación la administración de los recursos financieros en los municipios; vale decir, la evaluación a la gestión municipal bajo los criterios de eficiencia, permite un conocimiento más apropiado sobre las acciones locales del municipio en función del manejo óptimo de los recursos. Conviene destacar, que el propósito de la medición de la eficiencia municipal, es observar como se viene administrando los recursos

3

Se entiende por función de producción municipal, como la relación técnica que mide el volumen máximo de producción que puede obtenerse de una cantidad dada de factores productivos, o a la inversa, el volumen mínimo de inputs necesario para obtener una cantidad determinada de producción. 4

financieros en las políticas locales, operacionalizados a través de programas y proyectos de inversión productiva y social.

3. Justificación.

La creciente investigación de la eficiencia en organizaciones públicas tanto en Europa como en América Latina, ha provocando diferentes cambios en la consideración de variables inputs y ouputs de la función de producción. Así por ejemplo en la última década, el sector municipal ha considerado para su medición, indicadores de gestión municipal a fin de evaluar la gestión de los gobiernos municipales y proponer propuestas metodológicas considerando el concepto de benchmarking4 y los índices de desempeño municipal5, con el objetivo de facilitar la toma de decisiones y la rendición de cuentas, tanto ante los órganos superiores o políticos. Investigadores europeos (Lasheras et al., 1991; Jiménez, 1987; Mendoza, 1993; Smith, 1993; Williams, 2003; Prado y García, 2004) utilizan los indicadores de gestión municipal. En cambio, en América Latina el estudio de la eficiencia municipal es reciente, es a partir del año 2005 que se inicia el estudio del desempeño municipal. Entre las investigaciones se pueden identificar a (Herrera y Málaga, 2005) quienes analizan y proponen indicadores de gestión municipal para los municipios del Perú, bajo el supuesto de la inexistencia de indicadores de gestión municipal; también (Williams, 2003) realiza una evaluación del desempeño municipal6 de los municipios chilenos, en un estudio elaborado por el Departamento de Estudios Municipales de la División de Políticas y Estudios de la Subsecretaria de Desarrollo Regional en Chile, como resultado del estudio se viene elaborando e implantando el Sistema Nacional de Indicadores Municipales en la actualidad.

4

A partir del llamado menú de benchmarking, definido como el “proceso continuo, sistemático, para evaluar las prácticas de negocios de las organizaciones que son reconocidas como las mejoras en su clase con el propósito de una comparación organizacional”. Para mayor información ver Mindreau Silva, J.E. (2000). Sistemas de benchmarking de competencias nucleares en universidades”. 5 El Índice de Desempeño Municipal (IDM) surge como una iniciativa del proyecto Desarrollo Democrático Participación Ciudadana (DDPC) de USAID. Desde su formulación, se ha concebido el mismo como un instrumento útil para evaluar los impactos de la asistencia técnica que presta a los gobiernos municipales en diferentes regiones. 6 La Corporación Andina de Fomento (CAF) señala que el desempeño de la gestión municipal se entiende en función de los resultados alcanzados en la producción de bienes y servicios, con el uso de los insumos disponibles y la capacidad administrativa instalada, y en relación con las metas del Plan de Desarrollo y acorde con el marco normativo vigente. El desempeño será mayor si se cumplen las metas en la producción de bienes y servicios, se usan racionalmente los insumos y la organización responde a las exigencias administrativas y legales en los procesos y su gestión. 5

Otro países han planteado la necesidad de abordar sistemas de medición de la eficiencia en el ámbito de los municipios, entre ellos Argentina a través de la Subsecretaria de Asuntos Municipales, en Brasil, en el Estado de Paraná a través del Programa Paraná Urbano viene aplicando siete medidas de desempeño referidos al uso de fondos transferidos, proyectos, inversión por programas; en Colombia a través del Departamento administrativo Nacional de Estadística, ha iniciado la formulación y construcción de un conjunto de indicadores sociales de gestión, de medio ambiente, así como la investigación y desarrollo de estos indicadores; en Uruguay se encuentra en fase experimental la formulación, construcción y desarrollo de indicadores de gestión municipal que se soporta técnicamente en el Plan Estratégico de la Ciudad de Montevideo que ha permitido la selección y sistematización de los indicadores.

Por otro lado, tras una revisión bibliográfica (Athanassopoulos y Triantis, 1998; Afonso y Fernandes, 2005; De Borger y Kerstens, 1996; Herrera y Málaga, 2007) e institucional definida como las reglas del juego formales e informales que otorgan una disciplina institucional (Alfonso Gil, 2001) se constata que existen pocas investigaciones respecto al análisis y medición de la eficiencia de los municipios y desde la visión de la teoría de las Instituciones. La falta de estudios acerca de la eficiencia municipal se debe al grado de dificultad que representa abordar el análisis de eficiencia en el sector público en general, así lo reconocen (Worthington y Dollery, 2000), sobre todo cuando se trata de medir la eficiencia de las políticas locales a nivel municipal y la determinación de la función de producción. Por ello, a partir de los años noventa en el intento de medir la eficiencia, se observa el surgimiento del indicador de gestión, como una medida basada en los principios de economía, eficiencia y eficacia, como lo describen (Prado y García, 2004; Afonso et al., 2003).

En consecuencia, se observa la necesidad de abordar el estudio de la eficiencia en los municipios de Bolivia, empleando una metodología científica, puesto que la mayoría de los indicadores de gestión establecidos por la administración pública y otras, están siendo considerados como poco útiles para el control de los servicios (Prado y García, 2004). Así también, conviene destacar que el estudio es de vital importancia, porque nos ayuda a entender y plantear algunas acciones que puedan surgir del trabajo, de tal forma que se pueda gestionar adecuadamente los recursos existentes en los procesos de implantación de los programas y proyectos de competencia municipal. 6

4. La eficiencia municipal

Según (Pinilla, 2001:331) el análisis de la “eficiencia y la productividad tuvo su origen en los años cincuenta con los trabajos de Koopmas (1951), Debreu (1951), Farrell (1957). Sin embargo, su investigación formal tanto en términos analíticos como empíricos comenzó veinte años después con las contribuciones de Charnes et. al. (1978)”. A fecha de hoy, existen varios métodos y aplicaciones para medir y analizar la eficiencia en distintas áreas, pasando desde el ámbito privado al sector público, entre ellos se encuentran los municipios, ya que, conceptualmente la eficiencia en el ámbito público, es un elemento importante tanto para la expansión de la producción, del progreso técnico o de la productividad en el tiempo y es condición necesaria para la formulación de políticas económicas coherentes con necesidades reales de los municipios. Por ello, el análisis de la eficiencia tiene una creciente importancia no solamente en los sectores productivos sino también en el sector público, como se ha mencionado anteriormente.

Conceptualmente la eficiencia desde la perspectiva microeconómica se encuentra relacionado con la economía de la producción7, considerando para ello, el uso racional de los recursos disponibles, lo que permite calificar de eficiente a un proceso de producción, cuando se emplean los factores de producción de una manera óptima, dada una determinada tecnología. Sin embargo, en la literatura podemos encontrar diferentes definiciones de la eficiencia. Así por ejemplo la Intervención General de la Administración del Estado (IGAE, 1997:125), define la eficiencia “como el grado de optimización del resultado obtenido en relación con los recursos empleados”, La Asociación Española de Contabilidad y Administración de Empresas (AECA, 1996:25) señala que la eficiencia es “la relación existente entre los bienes y servicios consumidos y los bienes y servicios producidos; o, lo que es lo mismo, por los servicios prestados (outpusts) en relación con los recursos empleados a tal efecto (inputs)”.

En el ámbito municipal la eficiencia es analizada en función a la conceptualización sobre eficiencia económica desarrollada por (Farrel, 1957), sin dejar de lado lo que señalan sus antecesores con relación a la cuantificación de la eficiencia, como: (Debreu, 1951:173), “que propone una medida de la eficiencia basada en una ratio de distancias, que consiste en 7

La economía de la producción se encarga del estudio del mercado de los factores de producción y del mercado del producto. La economía de la producción brinda los criterios y herramientas para determinar las cantidades óptimas de producción y de demanda de recursos. 7

la cuantificación de la proporción en que la situación obtenida en una economía se aleja de la óptima, considerando como tal aquella en la que fuera posible aumentar la satisfacción de algún individuo sin, al menos, disminuir la de otro”. Por otro lado, (Koopmans, 1951), define a un punto de eficiencia como aquella combinación del producto neto que, siendo factible, posee la propiedad de que cualquier incremento en una de sus coordenadas puede ser lograda solo a costa de disminuir al menos una de las restantes, similar al modelo de los inputs y outputs, sin identificar como se obtendría los valores de eficiencia. Sin embargo, define la eficiencia técnica como aquella en la que un incremento en cualquiera de los outputs, exige una reducción en al menos alguno de los restantes o el incremento de alguno de los inputs (enfoque outputs), o bien en la que la disminución de un input, cualquiera, exige el aumento de algún otro, o la disminución de algún output (enfoque inputs).

En el planteamiento inicial de la eficiencia, (Farrel, 1957) determina dos conceptos de eficiencia: 1) la eficiencia técnica (ET), que es la capacidad de una unidad económica para producir el máximo posible, dado en un conjunto de inputs y/o la habilidad de una organización de obtener el máximo nivel de producción con unos recursos dados; es decir, la eficiencia técnica es la diferencia entre uno y un coeficiente que representa la mayor reducción proporcional en todos los inputs que aún permite la producción de todos los outputs (enfoque inputs), o como el mayor incremento proporcional permitido en todos los outputs con el mismo consumo de inputs (enfoque outputs), se trata de analizar a los outputs, (obtener el máximo output para un conjunto de inputs dado) y 2) la Eficiencia Asignativa (EA) que se refiere a la capacidad de una unidad económica para escoger un conjunto óptimo de inputs, dado los correspondientes precios y la tecnología, se trata de producir lo máximo a partir de una combinación de inputs, que con el mínimo coste, se alcanzará un output determinado a unos precios establecidos. A partir de ello, se podría determinar la eficiencia global o económica (EE), que consiste en el producto de la eficiencia técnica y la asignativa, como se puede observar en el gráfico 1.

8

Gráfico 1 Eficiencia técnica y asignativa

Fuente: Adaptado de (Albi, 1992)

Por otra parte, (Hernández Laos, 1985; Bosch et al., 1999) señalan que la eficiencia asignativa se refiere a la asignación de recursos, lo cual corresponde al criterio de asignar una cantidad de recursos con el propósito de maximizar la cantidad a producir con costes mínimos. Es importante mencionar que la producción en el ámbito municipal es conocida como la eficiencia productiva municipal. Por lo señalado anteriormente, el presente trabajo toma en cuenta la definición dada por (Farrell, 1957) y los últimos autores descritos.

4.1. Métodos de medición de la eficiencia municipal

Es importante considerar los tipos de análisis de eficiencia existentes en la teoría de la medición de la eficiencia. La teoría presenta dos tipos de análisis de eficiencia: una se refiere al análisis de coste – beneficio y la otra al análisis de la eficiencia en términos de output y la de inputs8, entre otras. La que actualmente se viene utilizando y se encuentra difundida es el análisis de frontera, ésta intenta estudiar la eficiencia de unidad respecto del mejor comportamiento mostrando por algunas de las unidades de la muestra que formarán parte de la frontera, donde las ineficiencias se encuentran por debajo de la frontera de 8

El análisis coste – beneficio es la técnica más completa de valoración de la relación entre los recursos empleados y los objetivos perseguidos. Generalmente es utilizado para evaluar proyectos de inversión, así también a los gastos públicos en educación y sanidad. La eficiencia dado un nivel de ouput, la eficiencia técnica en términos de la minimización del input se mide por el ratio entre el input mínimo y el real, es decir que cuanto más recursos se utilice en la obtención del nivel dado de output menos eficiente será la producción, lográndose un nivel completo de eficiencia cuando el input real coincida con el mínimo. En cambio la eficiencia técnica en términos de la maximización del output, dada la utilización del input, se mide por el ratio entre el output real y el máximo, es decir cuanto menos sea el ouput en comparación con el máximo, más eficiente será la producción, llegando a un 100% de eficiencia cuando la producción sea máxima. Para mayor ampliación ver Albi, 1992: 160 – 170. 9

producción o por encima de la frontera de coste. Este tipo de análisis permite considerar varios inputs y ouputs. El análisis de frontera adopta dos tipos de análisis, una paramétrica y otra no paramétrica:

-

La frontera paramétrica

Según Pinilla, (2001) es un método que requiere la especificación de una forma funcional específica para la función de costo o beneficio de las entidades. Esta característica viene relacionada con la naturaleza de la econometría de la estimación; es decir, sea que la frontera puede ser estimada econométricamente, siempre y cuando se conozca a priori la función que relaciona las variables pertinentes. Los métodos paramétricos9 tienen una ventaja sobre los métodos no paramétricos, están basados en procedimientos estadísticos, que permiten tener en cuenta la existencia de ruido aleatorio, generado por errores de medición. Existen tres métodos paramétricos fundamentales, 1) la Frontera Estocástica (FE) o frontera econométrica, que consiste en la estimación de una frontera del entorno10; 2) la Distribution Free Approach (DFA), este método no requiere suponer una distribución de probabilidad específica para la ineficiencia. Se puede encontrar el promedio del término de error para cada entidad a través del tiempo utilizando datos de panel y 3) el método de la Frontera Gruesa (FG), consiste en asignar los individuos de la muestra en dos grupos, aquellos considerados más eficientes y los más ineficientes, estimándose posteriormente dos fronteras, una para cada grupo, y se comparan las diferencias entre estas.

-

La frontera no paramétrica

La frontera no paramétrica, no requiere asumir una función de costes o beneficios. Se basa en un procedimiento básico, fundamentado en técnicas de optimización lineal, que consiste en el cálculo de una envoltura convexa alrededor de los puntos que representan a cada firma en el espacio de producción, insumos y costos. Donde la envoltura se asimila a la frontera eficiente. Entre los métodos más conocidos son el Data Envelopment Analysis (DEA) y el Free Disposal Hull (FDH), (Pinilla, 2001).

9

El término paramétrico hace referencia al hecho de que son los parámetros de una función los que se estiman econométricamente, y no la forma de la función en sí misma, como presupone en el caso del no paramétrico. 10 El término estocástico obedece a que las diferencias en eficiencia se capturan por medio del término de error, que se descompone entre el ruido estadístico y la ineficiencia; donde para llevar a cabo esta descomposición es necesario suponer que la ineficiencia proviene de una determinada distribución. 10

El análisis de frontera aplicado con frecuencia es el análisis no paramétrico, puesto que no especifica una forma funcional concreta, como presenta el Análisis Envolvente de Datos. “El análisis permite ajustar en una envolvente los datos tomando como referencia las unidades más eficientes. No tiene en cuenta la existencia de unidades marginales, por alguna razón especifica, para las que la comparación con otras no tiene sentido. Al no ser un método estadístico tampoco es sensible a las diferencias debidas a los elementos estocásticos que no están bajo el control de las unidades” (Albi, 1992:171). Es decir, que el DEA permite evaluar el desempeño de las unidades analizadas a partir de una comparación con el mejor productor. Se sustenta en la idea de que si un productor puede lograr un nivel de resultados con un nivel de recursos, -aunque éste no sea el óptimo-, todos los demás productores están en condiciones de hacer lo mismo o tomar medidas que le permitan mejorar sus resultados, la finalidad, ser eficientes, como se puede observar en el siguiente gráfico: Gráfico 2 Frontera de eficiencia

Fuente: Elaboración propia con base en (Pinilla, 2001)

El análisis de eficiencia para los municipios de Bolivia toma como referencia, el análisis de frontera no paramétrica. Las razones son las siguientes: 1) se observa que la herramienta considerado en la medición de la eficiencia del sector público y en especial de los municipios, es el análisis de frontera, porque dependen de la forma en que la frontera esta especificada, ya sea, si la frontera es calculada a partir de una función de producción o una función de costos. Donde la función de producción muestra las cantidades producidas como función de los insumos utilizados; en cambio, una función de costes muestra el coste total de producción como función del nivel de producto y el precio de los insumos; 2) Asimismo, el análisis de frontera adopta dos tipos de análisis, la paramétrica y la no 11

paramétrica, donde la primera “tienen una forma funcional concreta para la frontera, estimando sus parámetros mediante programación matemática o técnicas econométricas” (Pinilla,2001:30) en cambio en el no paramétrico “la frontera no se construye paramétricamente, sino que se realizan unos supuestos sobre las propiedades de la tecnología que permiten definir el conjunto de procesos productivos factibles, cuya frontera envuelve a los datos observados” (Pinilla, 2001:32). Y dentro del no paramétrico la técnica más utiliza para medir la eficiencia, es el Data Envelopment Analysis.

5. El Análisis Envolvente de Datos

El DEA es una metodología que surge “a raíz de la tesis de Rhodes (1978), y puede considerarse como una extensión del trabajo de Farrel (1957). Se trata de una técnica de programación matemática de tipo lineal, que se emplea para medir la eficiencia relativa de unidades organizativas que presentan las mismas metas y objetivos. Es una técnica desarrollada por Charnes, Coopers y Rhodes (1978) quienes se basaron en un trabajo preliminar de Farrell (1957). Esta permite la construcción de una superficie envolvente, frontera eficiente11 o función de producción empírica, a partir de los datos disponibles del conjunto de unidades objeto de estudio de forma que las unidades que determinan la envolvente son denominadas unidades eficientes y aquellas que no permanecen sobre la misma son consideradas unidades ineficientes” en (Coll y Blasco, 2006: 23). Este método se diferencia de la metodología Free Disposal Hull (FDH), ya que el mismo a pesar de ser abordado por Farrel (1957) es utilizado para medir la máxima reducción equiproporcional en la totalidad de inputs relacionados con la producción de outputs observados (Coelli et. al., 2002); donde, una unidad productiva es considerada técnicamente eficiente si es posible producir el mismo nivel de output con el empleo de menos inputs (Herrera y Francke, 2007).

Asimismo, este método permite considerar dos direcciones u orientaciones básicas a la función de producción como mencionan (Coll y Blasco, 2006:21), “a) con dirección input: significa buscar, dado el nivel de outputs, la máxima reducción proporcional en el vector de inputs mientras permanece en la frontera la posibilidad de producción, es decir que una unidad no es eficiente si es posible disminuir input sin alterar sus outputs; b) con dirección output: significa que buscan, dado el nivel de inputs, el máximo incremento proporcional 11

La frontera de eficiencia, es el lugar geométrico que envuelve las unidades de decisión analizadas, según su nivel de producto alcanzado con los insumos utilizados. 12

de los outputs permaneciendo dentro de la frontera de posibilidades de producción, donde una unidad no puede ser caracterizada como eficiente si es posible incrementar cualquier output sin incrementar ningún input y sin disminuir ningún otro output”. Al mismo tiempo, según (Pinilla, 2001) implica determinar la tipología de los rendimientos a escala que debe caracterizar a la tecnología de producción. Es así, que se puede observar tres tipos de rendimiento a escala: a) la de rendimiento constantes a escala, que ocurre cuando el incremento porcentual del output es igual al incremento porcentual de los recursos productivos; 2) la de rendimientos crecientes a escala (o económicas de escala), ocurre cuando el incremento porcentual del output es mayor que el incremento porcentual de los factores y; 3) la de rendimientos decrecientes (o des economías de escala) a escala, que ocurre cuando el incremento porcentual del output es menor que el incremento porcentual de los inputs”.

Por las características mencionadas, el análisis de eficiencia además de optar por el método DEA, se incorpora el enfoque de dirección output, con rendimientos variables y constantes, a fin de realizar comparaciones metodológicas, porque los gobiernos municipales deben ofertar servicios a la comunidad y población. Significa que el municipio debe maximizar la oferta de servicios con los recursos disponibles. Al abordar el DEA conviene destacar los siguientes aspectos:

a) Tipología de métodos de evaluación en el DEA

La literatura respecto a la medición de la eficiencia del DEA, presenta diversas metodologías que incorporan una serie de factores controlables e incontrolables al análisis (externos o exógenos) que permiten observar la función de producción con calidad y recoge la mejor combinación posible. A continuación, en el siguiente cuadro se presentan los modelos de eficiencia no paramétrica: Cuadro 1 Tipología de métodos de evaluación - Análisis Envolvente de Datos Tipos de DEA Modelo de Eficiencia no paramétrica Modelos de separación de frontera. Persiguen la identificación de diferencias entre programas productivos alternativos mediante la realización de varios DEAs consecutivos. Modelos de una etapa: Es un modelo unietapico básico desarrollado por Banker y Morey (1986), es una de las más utilizadas para la inclusión de inputs no controlables

DEA

DEA

Autores Farrel (1957)

1. Banker y Morey, (1986ª) 2. Lozano, Pastor y Pastor, (2002) 13

en el análisis. Donde existen una variable input y una output. Este modelo permite la introducción simultánea en el mismo programa DEA, de todas las variables relevantes, este hecho permite dotar al análisis de mayor sencillez en cuanto al cálculo de las operaciones necesarias, en comparación con las distintas fases de las propuestas multiétapicas. Modelos de dos etapas: Es un modelo multietápico, que consiste en la primera fase la estimación mediante DEA unos índices de eficiencia iniciales obviando el efecto de los inputs no controlables para, posteriormente, corregirlos en función del efecto de tales inputs. La corrección se pueden realizar directamente sobre los índices o modificando valores originales de las variables lo que da lugar a nuevas alternativas. Muestran la eficiencia de gestión.

3. Coelli et.al. (1999).

DEA + Regresión

1. Ray (1991) 2. Bhattacharyya et.al (1997) 3. Mc Carty y Yaisawarng (1993) 4. Worthington y Dollery (2000) 5. Balaguer – Coll et.al (2000) 6. Loikkanen y Susiluoto (2005) 7. Alfonso y Fernández (2005) DEA + DEA Pastor (1994) Método por Charnes, Cooper y Rhodes programas (1981) Método de tres etapas: es un modelo multiétapico, que DEA+Múltiple 1. Fried y Lovell(1996) fue propuesta originalmente por Fried y LLovel (1996), DEA + DEA 2. Muñiz (2001) que consta de tres etapas, a través de los cuales se DEA+ Múltiple Friend, Schmiedt y Yaisawng elimina (o compensa) el efecto de las variables no MLG + DEA (1999) controlables sobre los índices de eficiencia técnica de los DEA+ Multiple Fried et.al (2002) productos evaluados. SFA+DEA DEA+DEA+D Dios Palomares et.al (2004) EA Metodo por programas: El objetivo es la detección de DEA Charnes, Cooper y Rhodes potenciales diferencias en eficiencia entre distintos (1981) programas de producción. Se utiliza en aquellos casos en que una variable no controlable se considere como categoría, pero sin que pueda establecerse ninguna asunción a priori de ordinalidad entre sus distintos valores. Fuente: Elaboración propia con base en (Dios Palomares et. al., 2004:7-11; Pinilla, 2001: 197)

Del conjunto de métodos existentes, el presente trabajo adopta el método unietápico, ya que se intenta conocer el índice de eficiencia a fin de tener una aproximación empírica de la eficiencia de los municipios del departamento de Potosí y relacionarlos entre sí, puesto que a la fecha no existen trabajos empíricos realizados en este ámbito y sobre la temática, menos la utilización de métodos no paramétricos. Así, el presente trabajo de investigación, se constituye en un trabajo pionero y representa un avance importante que contribuye al ámbito académico. No obstante, también existe el método de dos etapas planteado por (Charnes, et al., 1993), que consiste según (Dios Palomares, et. al, 2004), en estimar la eficiencia de cada DMU12, corrigiendo la ineficiencia a posteriori mediante una proyección a la frontera.

12

Las DMU se refiere a las Unidades de Toma de Decisiones, en este caso, serán los municipios del Departamento de Potosí 14

b) Expresión matemática del modelo

El DEA como una técnica de análisis de eficiencia, cuenta con una expresión matemática. Según (Charnes, et al., 1978) el propósito del DEA es hacer que el valor de eficiencia para cada unidad en la muestra, sea el máximo que pueda alcanzar. Para ello, se ajustan los pesos de la combinación de variables de entrada y salida de acuerdo con el resto de las unidades de la muestra. Para medir la eficiencia en los municipios se representa como el cociente entre una combinación lineal de los productos (outputs) de los servicios y una combinación lineal de insumos (inputs). La formulación del modelo en su variante de rendimientos constantes es la siguiente13: n

∑

Max Eficiencia

ur yrjo r =1 m vi xijo i=1

=

∑

Donde: o = Es la unidad evaluada (Municipios) r = Número de Inputs (1..............s) y = Cantidad de outputs r de la unidad j x = Cantidad de input i de la unidad j i = Número de inputs (1 .......s) v = Peso dado al input i u = Peso dado al output r Este cociente se convierte en una función lineal, por lo que se puede aplicar el método de programación lineal. Donde, en el caso de maximización, la función objetivo será:

n

∑

Max (E) =

ur yrjo

r=1 Sujeto a:

∑

vi xijo = 1

i=1 n

∑ r = 1

m ur yrjo

-

∑

vi xijo

< _

0

i= 1

13

El modelo es adoptado del trabajo de investigación de Reyes et al., (1993) “Análisis Envolvente de Datos: la eficiencia en los Servicios de medicina preventiva hospitalarios de Andalucía”. 15

A

ε,

r

V

ur, vi _ >

i

ε = 0,000001 c) Determinación de la función de producción municipal

La eficiencia en el presente trabajo es medida en función a los indicadores de desempeño (Herrera y Francke (2007:8) definen el desempeño municipal “como el resultado del desarrollo de diversas políticas públicas locales y como eficiencia del gasto municipal, al resultado relativo vinculado al análisis del gasto de recursos, por lo que una forma de medir dicha eficiencia del gasto será mediante la comparación entre municipalidades, donde los recursos (inputs) son transformados en servicios locales provistos a la población (outputs)”, donde las variables que componen obedecen a la determinación de las unidades productivas y de las variables de la función de producción.

-

Determinación de las unidades productivas

De acuerdo, a los criterios de la aplicación en el análisis de eficiencia por el método DEA, se presume contar con un mínimo de 5 unidades productivas (UP), con la finalidad de comparar los índices de eficiencia de la unidad principal a ser analizada con sus referentes. Este, criterio permite en primera instancia considerar el total de UP existentes en Bolivia hasta el año 2008, que componen 327 municipios distribuidos en 9 departamentos. Sin embargo, con el propósito de cumplir uno de los requisitos primordiales del DEA, que es la de homogeneidad, se realiza la aglomeración de aquellos municipios con características similares. En este caso, se considera los municipios urbanos caracterizados en el análisis como metropolitanos, formando de esta manera como unidades productivas, los municipios que conforma un cluster.

-

Determinación de las variables de la función de producción

Para el análisis de la eficiencia de los municipios, se considera variables relacionados con los índices de desempeño municipal, plasmados en dos modelos: el primero intenta medir la eficiencia a partir de la inversión productiva y el segundo a partir de la inversión social de los municipios. Estos modelos se especifican en el siguiente cuadro: 16

Cuadro 2 Determinación de las variables inputs y outputs de la función de producción municipal Factor de producción

Modelo

Objetivo del modelo

Explicación de la selección de las variables

Modelo 1

Outputs

Inputs

IPM=Inversión productiva Municipal. Este es un indicador que resulta de la división entre la Inversión Productiva Ejecutiva (IPE) y la Inversión Total Ejecutada (ITE) por cien. - ISM= Inversión social municipal, es un indicador que resultad de la división de la Inversión Social Ejecutada sobre la inversión total ejecutada por cien. - Nº de comunidades existentes en los municipios - PSP = Peso de los servicios personales, indicador que resulta de los Gastos en servicios personales ejecutados (GPE) sobre los gastos totales ejecutado (GTE).

Evaluar la eficiencia de los municipios con relación a la inversión en proyectos productivos, ya que las políticas locales se reflejan por la inversión productiva en la as comunidades locales del municipio

Los inputs y outputs elegidos intentan explicar la eficiencia de los municipios en sobre los políticas productiva, a partir de la inversión productiva. La IPM permite conocer el nivel de apoyo que brinda un municipio a las actividades que generan desarrollo económico y favorecen la actividad productiva en las localidades. La ISM permite observar el grado de prioridad que el municipio le asigna a los servicios de salud, educación y saneamiento básico. El PSP permite ver la carga administrativa de los municipios que provienen por concepto de servicios personales.

Modelo 2

Outputs

Inputs

- ISM= Inversión social municipal, es un indicador que resulta de la división de la Inversión Social Ejecutada sobre la inversión total Ejecutada por 100. - IPM = Inversión Productiva - Gastos administrativos = PSP - Nº de Localidades

Evaluar la eficiencia de los municipios con relación a la inversión social, ya que las políticas locales deben responder a necesidades de salud, educación y saneamiento básico.

Permite conocer la eficiencia de los municipios respecto a la inversión social en salud, educación y servicios básicos de las localidades.

Fuente: Elaboración propia

La elección de las variables descritas en el cuadro anterior, obedece a la aplicación previa de un análisis de correlación y de regresión lineal, ello a fin de explicar la relación y variabilidad entre las variables dependientes e independientes a ser utilizados como base para construir la función de producción de los municipios y aplicar el modelo del Análisis Envolvente de Datos, herramienta utilizada en la determinación de la eficiencia en la asignación de recursos destinados a la inversión productiva y social. La inclusión de estas variables, permiten conocer la eficiencia de la gestión municipal relacionado a la política productiva y social de los municipios. 17

6. Aplicación del DEA en el análisis de la eficiencia del municipio

a) Requisitos necesarios para la aplicación del DEA

Uno de las condiciones básicas para la aplicación del DEA es que las unidades productivas deben ser homogéneas para su comparación (Golany y Rol, 1989). Lo que significa que los municipios: 1) deben realizar las mismas tareas con objetivos similares; 2) actuar bajo las mismas condiciones de mercado; 3) donde los inputs y outputs deben ser iguales o idénticos14.

Con el objetivo de realizar el análisis de conglomerados o cluster, se ha clasificado los municipios y/o unidades productivas en grupos distintos, de manera que exista la mayor homogeneidad posible dentro de los grupos, con respecto a ciertas variables que pueden ser cuantitativas o cualitativas. Lo que significa dividir al conjunto de municipios en grupos, de manera que los perfiles de los municipios en un grupo sean muy similares entre sí; es decir, que los elementos o variables en grupos tengan una mínima varianza interna y una máxima varianza entre grupos. Para ello se ha considerado: • Análisis estadístico de los datos Para el análisis, se utiliza la medida de distancia euclídea y la medida de asociación, ya que el “análisis de grupos, conglomerados o cluster análisis, sirve para determinar grupos homogéneos, pero distintos entre si, bien por agrupación de unidades más pequeñas o por división de segmentos mayores” (Santesmases, 2005:384).

Por ello, en principio el

análisis descriptivo y exploratorio de los datos muestra que no presentan valores negativos ni menores a cero, lo que significa que los datos son aptos para su utilización, como se puede observar en el siguiente cuadro:

14

Los gobiernos municipales responden a objetivos similares, fundamentalmente a la reducción de la pobreza, los inputs y outputs son similares aunque varían en cuanto a la intensidad y volumen utilizado o producido, ya que los municipios siendo entidades que gestionan recursos destinados a la administración local, cada entidad obtiene: 1) ingresos especialmente proveniente del gobierno central por concepto de: coparticipación tributaria (alrededor del 35%) y el Impuesto Directo a los Hidrocarburos (IDH) alrededor del 20%; y 2)los gastos de cada municipio según la última modificación de ley de municipalidades y la Ley de participación Popular deben estar entre el 15% para gastos de administración y 85% para inversión productiva; sin embargo no responden a las mismas condiciones de mercado, sobre todo si se considera el tamaño de la población, las necesidades y el lugar de habitabilidad. 18

Cuadro 3. Estadísticos descriptivos de variables para el análisis de cluster Variables Necesidades Básicas Insatisfechas Logaritmo Natural de Población Total Porcentaje de Población Urbana PoblacionTotal 2001 N válido (según lista) Fuente: Elaboración propia

Obs 327 327 327 327 327

Mínimo Máximo 19,08 5,4 0 221

Media

99,93 83,84 13,94 9,16 99,93 19,36 1135526 25738,48

Desv. Típ.

Varianza

Asimetría

Error típico

17,87 1,23 28,18 90582,84

319,30 1,51 794,37 8205250612,7

-1,437 0,161 1,335 9,13

0,135 0,135 0,135 0,135

Asimismo, el análisis de correlación muestra la existencia o no de correlación entre las variables. Según, los valores de la estadística básica (asimetría), la medida de asociación del test de Pearson15, permite observar la existencia de una correlación significativa entre las variables, aunque la asociación es inversa; vale decir, si existe una reducción de la necesidades básicas insatisfechas se incrementa el porcentaje de la población urbana, lo mismo, ocurre con el Test de Kendall, como se puede observar en cuadro 5.

Cuadro 4 Correlación entre variables Neces idades Básic as Ins atisfech as

P o rcentaje de P o bl ación Urban a

Lo garitm o Natural d e P oblación T otal

Nec es ida des Bás icas ins atis fe cha s Porc enta je de P obla ción u rb ana Loga ritm o natu ra l de poblac ión tota l

1 -,5 45(**) -,2 98(**)

-, 545(** ) 1 ,450(** )

-,298(* *) ,450(* *) 1

Rho de S pearm a n Nec es ida des Bás icas ins atis fe cha s Porc enta je de P obla ción u rb ana Loga ritm o natu ra l de poblac ión tota l

1 -,6 92(**) -,4 25(**)

-, 692(** ) 1 ,594(** )

-,425(* *) ,594(* *) 1

T a u_ b de Kendall

La c orrela ción e s s ig nif ic ativ a a l nive l 0,0 1 (bilatera l). Fuente: Elaboración propia

Así, la existencia de una correspondencia o semejanza entre las variables, permite realizar el análisis de conglomerados. • Criterio de agrupación en el análisis de conglomerados El criterio de agrupación para el análisis de conglomerados por las características particulares de los municipios, fue el algoritmo de agrupamiento de tipo jerárquico aglomerativo porque permite generar sucesiones ordenadas o jerarquías de conglomerados; 15 El coeficiente de Pearson mide el grado de asociación lineal entre dos variables cualesquiera, y puede calcularse dividiendo la covarianza de ambas entre el producto de las desviaciones típicas de las dos variables1. Para un conjunto de datos, el valor r de este coeficiente puede tomar cualquier valor entre –1 y +1. El valor de r será positivo si existe una relación directa entre ambas variables, esto es, si las dos aumentan al mismo tiempo. Será negativo si la relación es inversa, es decir, cuando una variable disminuye a medida que la otra aumenta. Un valor de +1 ó –1 indicará una relación lineal perfecta entre ambas variables, mientras que un valor 0 indicará que no existe relación lineal entre ellas. Hay que tener en consideración que un valor de cero no indica necesariamente que no exista correlación, ya que las variables pueden presentar una relación no lineal.

19

a diferencia del no jerárquico que se necesitan conocer previamente el número de cluster y los algoritmos son muy sensibles a las particiones iniciales, y la técnica es de tipo descendente del algoritmo de Howard – Harris16 “que forma grupos por división de otros de tamaño mayor, de modo también secuencial, utilizando el criterio de la minimización de la varianza intra – grupos en cada nivel de la división” (Santesmases, 2005:385). De esta manera, se clasifica de la siguiente manera:

Cuadro 5 Categorías asignadas a los municipios Categorías

Categoría 1: Ciudades metropolitanas Categoría 6: Rural pobre extremo

Porcentaje de Necesidades Población Básicas urbana Insatisfechas

Nº Observaciones

Población Total 2001

25

185711,92

86,78

45,08

175

9469,90

0,66

95,56

Categoría 2: Urbanos

26

19614,81

57,40

81,49

Categoría 3: Semi urbano

48

17629,77

27,59

83,47

Categoría 4: Urbanos pobres

22

20317,27

51,28

52,41

Categoría 5: Rural pobre

31

10105,10

3,31

73,76

327

25738,48

19,36

83,84

Total

Fuente: Elaboración propia

Se establece 6 grupos caracterizados como categorías. La categoría 1 corresponde a municipios de ciudades metropolitanas, porque se caracterizan por aquellos municipios con mayor población y se encuentran en zonas urbanas, donde las NBI son menores en relación a los otros grupos; la categoría 2 agrupa a municipios o ciudades urbanas; la categoría 3 contempla municipios semi urbanos; la categoría 4 agrupa a municipios urbanos pobres; en tanto que la categoría 5 agrupa a municipios rurales con población pobre; y finalmente la categoría 6 clasificada por municipios cuya población rural se constituye en la pobreza extrema. La información de los municipios que corresponden al grupo 1, se presenta en el siguiente cuadro:

16 El algoritmo de HowardHarris (Santesmases, 2001, pp. 347- 356), divide secuencialmente la totalidad de los individuos de la muestra (la que constituye el grupo inicial) en un número cada vez mayor de grupos (2, 3, 4, 5…), de manera que se minimice la varianza intragrupo y se maximice la varianza intergrupos de las variables consideradas. El proceso de formación de los grupos comienza localizando la variable que tiene mayor varianza (o desviación estándar) y asignando los individuos que están por encima del valor medio de esta variable a un cluster, y los que están por debajo, a otro.

20

Cuadro 6 Componentes del grupo 1 Nº 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

Municipios Puerto Guayaramerín Trinidad Sucre Cochabamba Colcapirhua Quillacollo Sacaba Tiquipaya El Alto de La Paz Nuestra Señora de La Paz Oruro Villa Huanuni Cobija Llallagua Potosí Villazón Ascención de Guarayos Camiri Montero Portachuelo Puerto Quijarro Santa Cruz de la Sierra Bermejo Tarija Yacuiba

Departamentos Bení Bení Chuquisaca Cochabamba Cochabamba Cochabamba Cochabamba Cochabamba La Paz La Paz Oruro Oruro Pando Potosí Potosí Potosí Santa Cruz Santa Cruz Santa Cruz Santa Cruz Santa Cruz Santa Cruz Tarija Tarija Tarija

Provincia Vaca diez Cercado Oropeza Cochabamba Quillacollo Quillacollo Chapare Quillacollo Murillo Murillo Cercado Panmtaleón Dalence Nicolas Suarez Rafael Bustillo Tomas Frias Modesto Omiste Guarayos Cordillera Obispo Santisteban Sara German Busch Andrez Ibañez Arce Cercado Gran Chaco

Población Total 2001 40444 79963 215778 517024 41980 104206 117100 37791 649958 793293 215660 19428 22324 36909 145057 36266 16984 30897 80341 22681 12903 1135526 33310 153457 83518

Población Necesidades Básicas 2001 58,65 58,50 39,95 33,82 23,14 30,78 44,22 41,19 66,90 34,50 50,78 64,96 45,92 54,11 56,35 60,21 42,12 31,20 28,96 44,57 73,86 19,08 43,18 31,33 48,75

Población urbana 2001 81,83 94,47 89,85 99,93 99,18 75,16 79,06 70,74 99,60 99,53 93,31 77,75 93,26 79,46 91,66 77,33 72,33 85,80 97,45 72,17 97,16 98,29 78,23 88,48 77,36

Logaritmo Población urbana 10,61 11,29 12,28 13,16 10,64 11,55 11,67 10,54 13,38 13,58 12,28 9,87 10,01 10,52 11,88 10,50 9,74 10,34 11,29 10,03 9,47 13,94 10,41 11,94 11,33

Fuente: Elaboración propia

En el grupo 1, que corresponde al grupo de ciudades metropolitanas viene compuesta 25 municipios. Se determina de esta forma la muestra empírica para el análisis de eficiencia cuyo requisito fundamental es la homogeneidad de las unidades productivas.

b) Aplicación de una regresión múltiple

Se considera en el análisis, la aplicación de la regresión múltiple a efecto de determinar las variables más significativas que influyen en el modelo. Así, en el Caso 1, se considera como variable dependiente, la Inversión Productiva Municipal (IPM), y como variables independientes: el Nº de Localidades (LOCALID) y el Peso de los Servicios Personales (PSP) y la Inversión Social Municipal (ISM). Siendo la ecuación del modelo ajustado:

IPM = 91,8082 - 0,847004*ISM + 0,0172457*LOCALID - 0,349249*PSP

Los resultados muestran, que siendo el p-valor inferior a 0,01, existe una relación estadísticamente significativa entre las variables para un nivel de confianza del 90%, 21

explicando el modelo un 75,90% de la variabilidad de la inversión productiva municipal. Lo cual es significativo, por lo que el modelo se puede considerar como el adecuado.

En el segundo caso, la variable dependiente es la Inversión Social Municipal (ISM) y como variables independientes se consideran: el Nº de Localidades (LOCALID), el Peso de los Servicios Personales (PSP) y la Inversión Productiva Municipal (IPM) como se describe a continuación la ecuación del modelo ajustado:

ISM = 95,1224 + 0,01215*LOCALID - 0,889644*IPM - 0,232997*PSP

Los valores de p-valor que reportan en el Caso 2 muestran que la relación entre las variables es estadísticamente significativa, porque p-valor es inferior a 0,01 para un nivel de confianza del 90%, explicando el modelo el 75,47% de la variabilidad de la inversión social municipal. Lo cual refleja que el modelo es significativo y se puede considerar para el análisis de la eficiencia. Asimismo, no existen indicios de autocorrelación en los residuos. En base al análisis realizado, se presenta a continuación los resultados de la aplicación del DEA.

7. Resultados

El análisis de la eficiencia tiene una orientación output porque el municipio será eficiente, sino existe otro que pueda producir mayor cantidad de bienes y servicios con la misma cantidad de insumos (DEA orientado a productos), a diferencia de producir la misma cantidad de bienes y servicios, pero utilizando menos cantidad de insumos (DEA orientado a insumos).

Así, los parámetros para el análisis de la medición de eficiencia serán: 1) Municipios con índices menores a 100, se consideran ineficientes; 2) Municipios con índices iguales a 100, se consideran eficientes; 3) Para los municipios ineficientes se realizan algunas recomendaciones. Así, se presentan los resultados de ambos modelos:

a) Modelo 1 (M1)

Los resultados de la aplicación del DEA en la medición de la eficiencia en los municipios de Bolivia (metropolitanos) bajo rendimientos constantes a escala y rendimientos 22

variables, responde a la pregunta: ¿cuán eficiente son los municipios respecto a la inversión en programas y proyectos productivos?. Para ello se contempla las siguientes variables con orientación output (índice de Inversión Productiva Municipal) en función al Índice de Inversión Social Municipal, el Peso de los Servicios Municipales y el Número de localidades en los municipios. Los resultados se presentan en el cuadro 8. Cuadro 7 Índice de eficiencia bajo el Modelo 1 Nº

Municipio

Departamento

crste

vrste

scale

Rendto.

1 Puerto Guayaramerín 2 Trinidad

Bení

68,70

80,40

85,50

drs

Bení

100,00

100,00

100,00

-

3 Sucre

Chuquisaca

64,10

84,40

75,90

drs

4 Cochabamba 5 Colcapirhua

Cochabamba Cochabamba

80,00 100,00

100,00 100,00

80,00 100,00

irs

6 Quillacollo 7 Sacaba

Cochabamba

34,10

54,00

63,20

drs

Cochabamba

59,60

73,60

81,00

drs

8 Tiquipaya

Cochabamba

20,50

32,10

63,90

drs

9 El Alto de La Paz 10 Nuestra Señora de La Paz

La Paz

63,30

67,00

94,50

drs

La Paz

22,90

38,70

59,20

drs

11 Oruro 12 Villa Huanuni

Oruro

27,20

47,20

57,60

drs

Oruro

21,90

32,50

67,50

drs

13 Cobija

Pando

100,00

100,00

100,00

-

14 Llallagua 15 Potosí

Potosí

33,40

46,20

72,20

drs

Potosí

100,00

100,00

100,00

-

16 Villazón 17 Ascención de Guarayos

Potosí

39,60

58,50

67,70

drs

Santa Cruz

71,10

80,50

88,30

drs

18 Camiri 19 Montero

Santa Cruz

10,20

13,30

76,90

drs

Santa Cruz

67,30

78,80

85,40

drs

20 Portachuelo 21 Puerto Quijarro 22 Santa Cruz de la Sierra

Santa Cruz

25,30

38,90

64,90

Santa Cruz

37,20

42,40

87,60

drs irs

Santa Cruz

36,20

52,50

68,90

drs

23 Bermejo 24 Tarija

Tarija

100,00

100,00

100,00

-

Tarija

46,50

53,30

87,20

drs

Tarija

70,90

70,90

100,00

-

25 Yacuiba Fuente: Elaboración propia

-

Note: crste = technical efficiency from CRS DEA – Eficiencia técnica bajo rendimientos constantes vrste = technical efficiency from VRS DEA – Eficiencia técnica bajo rendimientos variables scale = scale efficiency = crste/vrste – Eficiencia de escala

Los resultados muestran que bajo el modelo de rendimientos constantes, cinco municipios son eficientes, es decir: un 20% de los municipios analizados son eficiente; en cambio el 80% son ineficientes. Bajo el modelo de rendimientos variables, los municipios eficientes son seis, que representa el 24%. Los resultados reflejan que los municipios ineficientes no están respondiendo a las necesidades de la población en materia de ejecución de proyectos de inversión productiva, lo quiere decir, que se da mayor prioridad a aspectos sociales, gastos administrativos sobre todo relacionados al servicio de personal.

23

Asimismo los resultados globales presentan un promedio de eficiencia municipal en torno al 56% bajo el modelo de rendimientos constantes y un 65,81% en el modelo de rendimientos variables.

b) Modelo 2 (M2)

Los resultados de la aplicación del DEA en la evaluación de la eficiencia municipal en el modelo 2, bajo supuestos de rendimientos constantes a escala y rendimientos variables responde a la siguiente pregunta: ¿cuán eficiente son los municipios respecto a la inversión en programas y proyectos sociales?. Se considera para ello el siguiente output (índice de Inversión Social Municipal), consiguientemente los inputs para el análisis son: el Índice de Inversión Productiva Municipal, Peso de los Servicios Municipales y el Número de localidades en los Municipios. Los resultados se pueden apreciar en el cuadro 10.

Se observa en el cuadro que el 16% de los municipios del grupo 1 son eficientes, bajo rendimientos constantes, en tanto que el 84% no son eficientes; en cambio bajo el modelo de rendimientos variables, el 24% de los municipios son eficientes y el 76% son considerados como ineficientes. Por lo que los municipios estarían orientando sus recursos en mayor grado a gastos administrativos y otros programas asistenciales, ya que existen pocos municipios que alcanzan la eficiencia en inversión social.

24

Cuadro 8 Índice de eficiencia bajo el Modelo 2 Nº

crste

vrste

scale

Rendto

1

Puerto Guayaramerín

Municipios

Bení

Departamento

44,5

54,3

81,8

drs

2

Trinidad

Bení

41,8

42,3

98,9

drs

3

Sucre

Chuquisaca

20,0

46,7

42,8

drs

4

Cochabamba

Cochabamba

100,0

100,0

100,0

-

5

Colcapirhua

Cochabamba

85,5

85,5

100,0

-

6

Quillacollo

Cochabamba

43,2

71,7

60,2

drs

7

Sacaba

Cochabamba

35,4

56,0

63,2

drs

8

Tiquipaya

Cochabamba

68,2

87,0

78,4

drs

9

El Alto de La Paz

La Paz

78,3

93,0

84,2

irs

10

Nuestra Señora de La Paz

La Paz

50,1

81,0

61,8

drs

11

Oruro

Oruro

35,6

74,5

47,8

drs

12

Villa Huanuni

Oruro

67,9

86,4

78,6

drs

13

Cobija

Pando

63,9

100,0

63,9

irs

14

Llallagua

Potosí

58,7

76,6

76,6

drs

15

Potosí

Potosí

19,4

35,3

55,0

drs

16

Villazón

Potosí

39,8

67,4

59,0

drs

17

Ascención de Guarayos

Santa Cruz

68,2

77,5

88,0

irs

18

Camiri

Santa Cruz

100,0

100,0

100,0

-

19

Montero

Santa Cruz

56,9

57,2

99,4

drs

20

Portachuelo

Santa Cruz

61,1

82,1

74,5

drs

21

Puerto Quijarro

Santa Cruz

100,0

100,0

100,0

-

22

Santa Cruz de la Sierra

Santa Cruz

39,7

65,2

60,9

drs

23

Bermejo

Tarija

100,0

100,0

100,0

-

24

Tarija

Tarija

65,7

76,5

85,9

drs

25

Yacuiba

Tarija

100,0

100,0

100,0

-

Fuente: Elaboración propia Note: crste = technical efficiency from CRS DEA – Eficiencia técnica bajo rendimientos constantes vrste = technical efficiency from VRS DEA – Eficiencia técnica bajo rendimientos variables scale = scale efficiency = crste/vrste – Eficiencia de escala

Asimismo, los resultados globales presentan un promedio de 61% de eficiencia bajo rendimientos constantes y un 76% de eficiencia municipal bajo el modelo de rendimientos variables.

25

En función a los resultados obtenidos, se puede señalar, que la mayoría de los municipios no están atendiendo las necesidades básicas de la población en materia de implantación y ejecución de proyectos de inversión productivos y sociales conforme establece la Ley de Descentralización Administrativa, cuya normativa señala que los municipios tanto rurales y urbanos deben orientar los recursos principalmente en programas y proyectos de desarrollo local, de tal forma, que a partir de las comunidades surja el desarrollo y que los municipios sean verdaderos agentes y actores de cambio, en esa premisa.

La inversión productiva y social en los municipios metropolitanos no es eficiente en gran parte de los municipios analizados, lo cual refleja que el destino o asignación de los recursos financieros estarían orientados a otro tipo de programas.

8. Directrices y Estrategias para el Fortalecimiento Organizacional.

A continuación, se presentan algunas acciones a tomar en cuenta para mejorar la gestión municipal en materia de administración de los recursos financieros, y que puedan además mejorar la eficiencia en cada uno de ellos.

a) Gobierno Municipal. •

Es preciso buscar una complementariedad clara con los actores de forma que su labor tenga el mayor impacto posible. Una función planificadora y bien coordinada, tanto en aspectos territoriales, proyectos productivos y sociales, como económicos, podría ser una excelente contribución al proceso. Para ello, fortalecer las Unidades de coordinación o la apertura de estas Unidades en los Gobiernos Municipales, podría constituir una adecuada herramienta para centralizar esta actividad. De esta forma, el aprovechamiento de las potencialidades conjuntas y la capacidad de generar más recursos económicos por parte de los municipios repercutirá en la eficiencia y en el aprovechamiento de economías de escala.

•

Se debe implantar planes y programas de capacitación para el personal administrativo y técnico en áreas de la administración pública, desarrollo y áreas técnicas; además de fortalecer los conocimientos sobre la Ley de Participación Popular y la Ley de Descentralización Administrativa.

•

Construir y facilitar redes de alianzas. Los municipios deben promover la 26

formación de redes con organizaciones similares y con otros actores, incluyendo los eslabones de la cadena de cooperación. •

Formular planes de coordinación interinstitucional con las organizaciones locales privadas y públicas, además de proyectarse al extranjero a fin de aprovechar de las experiencias en materia de Fortalecimiento Organizacional. Considerar por otra parte el concepto de instituciones definidas como las reglas del juego en que éstas otorgan disciplina organizativa en todos los niveles y compromisos con la sociedad.

b) Organizaciones No Gubernamentales. •

Las relaciones entre ONGs y Gobiernos Municipales han estado, generalmente, caracterizadas por el antagonismo. Aun así, existen importantes razones para que los municipios entablen un mayor diálogo creativo con aquellas instituciones que definen políticas de desarrollo y que brindan servicios básicos, como es el Estado, que mantiene su condición de diseñador y árbitro final de los cambios

que

promueven el desarrollo, controlando los marcos políticos y económicos dentro de los cuales la comunidad y sus organizaciones operan. •

Los municipios en sus intervenciones, deben ser eficientes en el aprovechamiento de los recursos financieros, así como en la ejecución de proyectos de inversión productiva y social. Para ello, las ONGs deben acercarse a estas organizaciones considerando los lineamientos generales del Gobierno Municipal, la puesta en marcha de proyectos favorecerá en el cumplimiento de los objetivos institucionales, la búsqueda de eficiencia y mayores impactos en las comunidades rurales.

c) El compromiso del Estado •

Un compromiso decidido por parte del Estado en el apoyo y el reconocimiento de la labor que desempeñan los municipios será vital para alcanzar la legitimidad y otorgar la confianza a estas organizaciones para un desarrollo efectivo de los programas y proyectos de desarrollo, otorgando así la autonomía plena en el uso de los recursos financieros conforme establece la LDA.

•

Es importante que la opinión pública tenga mayor información y conocimiento de las actividades que realizan tanto el Estado, los municipios, las ONGs y comunidad. Para ello se requiere, por un lado, que éstas den a conocer de manera 27

más abierta (incluyendo los medios de comunicación social), sus actividades, propuestas y preocupaciones al conjunto de la sociedad, resultados; de tal forma, los proyectos productivos y sociales logren un mayor impacto en la sociedad.

c) La comunidad •

Algunas acciones que debería tomar en cuenta la comunidad, tienen que ver con su participación activa en los procesos de planificación de los proyectos dentro los Gobiernos Municipales; en la medida que la población se involucre y tome decisiones, los proyectos serán implantados con criterios de eficiencia y consecuentemente, alcanzarán mejores resultados.

•

Por otro lado, la participación de las familias tiene que ver no solo en constituirse como beneficiarios de los programas, sino en el seguimiento y monitoreo de los programas y proyectos. Ello garantizará una adecuada implementación de los mismos.

e) Planificación y Gestión de proyectos. •

En su planificación, los municipios deben involucrarse en el proceso de consecución de los Objetivos de la Estrategia Boliviana de Reducción de la Pobreza y, de esta forma, buscar el bienestar social de las familias, la cohesión social y el desarrollo de las zonas de intervención.

•

Una vez ejecutados los proyectos las intervenciones deben ser sistematizadas. La sistematización de las experiencias en cada municipio constituiría una necesidad y un valioso instrumento de análisis de sus experiencias, para realizar posteriormente medidas correctoras que contribuyan en la mejora de su calidad y eficiencia.

•

Otro aspecto importante que deben considerar los municipios en los procesos de planificación es considerar la participación activa de las comunidades para una adecuada priorización de los proyectos y que estos satisfagan las necesidades reales de la población. El modelo de planificación de Participación Social, debería ser expresado como una política de planificación institucional en cada uno de los municipios, ello garantizaría las acciones en materia de ejecución de programas y proyectos de inversión productiva y social. 28

f) Estrategias para el logro de objetivos institucionales. •

Los Gobiernos Municipales y las organizaciones gubernamentales y no gubernamentales, deben ser capaces de negociar convenios de cooperación y contratos satisfactorios. Independiente de lo exhaustivo que resulte el marco jurídico y normativo del sector, sólo en la medida en que las organizaciones desarrollen y asuman competencias y responsabilidades que les permitan negociar en condiciones de equidad será posible asegurar convenios equitativos y completos para el financiamiento de los proyectos y asegurar su implementación con criterios de eficiencia y eficacia.

•

Los Gobiernos Municipales deben reconocer el papel de las ONGs y otras organizaciones en el desarrollo. A través de los esfuerzos en esta línea se conseguirá ampliar la visibilidad del sector ante la sociedad, pero también los aportes e intervenciones. Se debe buscar el reconocimiento por parte del Estado de la pertinencia y legitimidad de los actores del desarrollo en los espacios y contextos donde hayan demostrado que sus intervenciones son eficientes y vinculadas a las necesidades y participación comunitaria.

9. Conclusiones y recomendaciones

Las conclusiones y recomendaciones del trabajo se presentan en los siguientes términos: • A la pregunta formulada ¿cuán eficiente son los municipios respecto a la inversión en programas y proyectos productivos?. Existen pocos municipios que alcanzar la eficiencia. En un mayor porcentaje los municipios son ineficientes en la asignación de recursos financieros a programas y proyectos de inversión productivos. De ahí que se concluye, que los municipios ineficientes no están respondiendo adecuadamente a la población en materia de inversión en proyectos productivos. • Respecto a la segunda pregunta ¿cuán eficiente son los municipios respecto a la inversión en programas y proyectos sociales?. El análisis nos permite señalar que en un porcentaje mínimo, son eficientes. En tanto que la mayoría de los municipios se caracterizan como ineficientes, lo que refleja, que los recursos financieros están siendo asignados a otros sectores y partidas. 29

• En los municipios metropolitanos probablemente las prioridades estén centrados en programas

y proyectos

asistenciales,

gastos

administrativos,

mejora

de

infraestructura escolar y otros, porque se establece que no existen muchos municipios eficientes en cuanto a la inversión productiva y social. • En función a los resultados, se puede afirmar que las políticas de inversión de los municipios en el sector productivo y social, no convergen con las políticas establecidas en la Ley de Participación Popular y la Ley de Descentralización Administrativa, que en esencia demandan a que los municipios realicen una gestión eficiente respecto al uso de los recursos financieros y técnicos en el distrito municipal, lo cual refleja la falta de planes estratégicos institucional e interinstitucional que permitan fortalecer a los Gobiernos Municipales. • Los municipios identificados como ineficientes deberán mejorar su gestión y orientar su política de inversión en programas y proyectos productivos y sociales, de tal forma, que puedan alinearse a las políticas que establece el Estado a través de las LPP y LDA. Además, se debe identificar en un estudio posterior, las causas reales de las ineficiencias en cada uno de los municipios, además, formular algunas directrices y estrategias para su fortalecimiento organizacional. • A fin de conocer la eficiencia en los municipios rurales y otros municipios clasificados (grupos) en la presente investigación, se recomienda analizar a fin de establecer las mejoras que deben realizar en materia de inversión y uso de los recursos financieros. • El presente trabajo de investigación, permite establecer lineamientos que prioricen acciones conjuntas entre los municipios y el Estado. En aquellos municipios ineficientes deben colaborar las distintas organizaciones en la mejora de su gestión municipal principalmente el Estado como responsable estatal, y formular prioridades que tengan como objetivo alcanzar una adecuada administración de recursos financieros, y consecuentemente buscar la eficiencia municipal y su fortalecimiento. • En los municipios clasificados como eficientes, se debe articular e integrar objetivos comunes entre los distintos actores del desarrollo; vale decir, realizar un trabajo

integral

con

objetivos

comunes

entre

las

Organizaciones

No

Gubernamentales, instituciones públicas, organizaciones comunitarias y el sector privado; de esta forma, alcanzar un mayor impacto en las comunidades a través de la implantación de programas y proyectos productivos y sociales. 30

Bibliografía AECA, (1997): Indicadores de Gestión para la Entidades Públicas, Asociación Española de Contabilidad y Administración de Empresas, Documento número 16, Serie de Principios de Contabilidad de Gestión, 2ª edición, Madrid Afonso, A.; Schuknecht, L.; Tanzi, V. (2003): “Public Sector Efficiency: An International Comparison”, ECB Working Paper, n° 242, pág. 76 – 96. Afonso A. y Fernandes, S. (2005): “Assessing and Explaining the Relative Efficiency of Local Government: Evidence for Portuguese Municipalities”, Working Papers 2005/19, Department of Economics, Institute for Economics and Business Administration (ISEG), Technical University of Lisbon. Alfonso Gil, J. (2001): Instituciones económicas: contornos de la triada básica, en Madoery, Oscar y Vázquez Barquero, Antonio (eds.), Transformaciones globales, Instituciones y Políticas de desarrollo local. Editorial Homo Sapiens, Rosario, Argentina. Albi, E. (1992): “Evaluación de la eficiencia pública. El control de la eficiencia del sector público”, Hacienda Pública Espoñola, nº 120, pág. 299 – 319. Athanassopoulos, A. y Triantis, K (1998) “Assessing Aggregate Cost Efficiency and the Related Policy Implications for Greek Local Municipalities”, INFOR, vol. 36, nº 3, pág. 66-83. of Economics, Institute for Economics and Business Administration (ISEG), Technical University of Lisbon. Bosch, E. A., Navarro, A. I., y Giovagnoli, P. I. (1999): “Eficiencia Técnica y Asignativa en la Distribución de Energía Eléctrica: El Caso de EPE SF”, Asociación Argentina de Economía Política, pág. 1 - 24. Calderón, C. y Delgadillo, M.F. (2003): “La descentralización en Bolivia: Efectos financiero de la Ley sobre las Prefecturas”, Revista Económica, Unidad de Análisis de Políticas Sociales y Económicas (UDAPE). La Paz, Bolivia. Charnes, A., Cooper, W. y Rodhes, E. (1978): “Measuring the efficiency of Decision Making Units”. European Journal of Operational Research, vol. 2, nº, pág. 429-444. Charnes, A.; Cooper, W.; Lewin, A. y Seiford, L.M. (1993): Data Envelopment Analysis. Theory, Metodhology and Applications, Kluwer Academic Publishers. Massachusetts. Coelli, T. J.; Rahman, S. y Thirtle, C. (2002): “Technical, allocative, cost and scale efficiencies in Bangladesh rice cultivation: A non-parametric approach. Journal Economic. Vol. 53, nº 3, pág. 607-626. De la Fuente, M. (2001): “Participación popular y desarrollo local: La situación de los municipios rurales en Cochabamba y Sucre”, PROMEC-CEPLAG-CESU / Universidad San Simón, pág. 1 – 20, Bolivia

31

Debreu, G. (1951): “The Coefficient of Resource Utilization”, Revista Econometric, vol. 19, nº 3, pág. 89 – 108. De Borger, B. y Kerstens, K. (1996) “Cost efficiency of Belgian local governments: A comparative analysis of FDH, DEA, and econometric approaches”, Regional Science and Urban Economics, vol. 26, pág. 145-170. Dios Palomares R., Martinez Paz J.M., Martinez Carrasco Pleite. (2004). Variables de entorno en el análisis de eficiencia. Un método de tres etapas con variables categóricas. Documentos de trabajo, Serie Economía E2004/78. Centro de Estudios Andaluces, pág. 123. Farrell, M. J. (1957): “The Measurement of Productive Efficiency”. Journal of the Royal Statistical Society Series A, General, vol. 120, nº 3, pág. 45 - 67. Finot, I. (2002): “Descentralización y participación en América Latina: Una mirada desde la economía”, Revista de la CEPAL, nº 78, Santiago de Chile. Finot, I. (2003): “Descentralización en América Latina: cómo hacer viable el Desarrollo Local”, Serie Gestión Pública, Instituto Latinoamericano y del Caribe de Planificación conómica y Social ILPES, Santiago de Chile. Galindo, M. y Medina, F. (2000): “Descentralización Fiscal en Bolivia”, Serie Política Fiscal, Comisión Económica para América Latina y el Caribe. Santiago de Chile. Golany, R. y Roll, Y. (1989): “An application procedure for DEA”, International Journal of Management Science, vol. 17, nº 3, pág. 237-250. Hernández, E. (1985): La productividad y el desarrollo industrial de México, Fondo de Cultura Económica, México. Herrera, P. y Málaga, R. (2005): “Indicadores de desempeño y capacidades de gestión: una aproximación al análisis de la eficiencia municipales el marco del proceso de descentralización”, Revista CIES- Pontificia Universidad Católica del Perú, pág. 1-94. Lima –Perú. Honorable Congreso Nacional (1995): Ley de Descentralización Administrativa Nº 1654, Presidencia de la República, (julio) La Paz Bolivia. IGAE. (1997). El establecimiento de objetivos y la medición de resultados en el ámbito público, Intervención General de la Administración del Estado –MEH, Madrid. Jimenez, J. (1987): “Objetivos y metodología de un sistema de indicadores”, Seminarios 1986 del Tribunal de Cuentas, Asociación de Censores Letrados y Contables y Servicio de Estudios del Tribunal, Madrid. Koopmans, T. C. (1951): An Analysis of Production as an Efficient Combination of Activities. En Koopmans, T.C., Ed. Activity Analysis of Production and Alocation, Cowells Commission for Research in Economics, Monograph No. 13. John Wiley and Sons, Inc. New York.

32

Lasheras, M. A. y Ruiz-Huerta, J. (1991): “Algunas consideraciones sobre dimensión y eficacia del Sector Público en España”, Economistas, nº 52, pág. 45-56. Mendoza, X. (1993): “Management público e indicadores de gestión: una perspectiva organizativa”, Revista Ekonomiaz, vol. 26, pág. 64 - 65. Pinilla, A. (2001): La medición de la eficiencia y la productividad, Edición Pirámide, Madrid. Prado, J.M y García, I. M. (2004): “Los indicadores de gestión en el ámbito municipal: implantación, evolución y tendencias”. Revista iberoamericano de Contabilidad de Gestión, alojada en www.observatorio-iberoamericano.org., No 4, págs 149 – 180. Quispe, G. M. (2008): La formación de la ciudad de El Alto y sus consecuencias, Tesis Doctoral presentada en la Universidad Autónoma de Madrid, España. Reyes, M.; Figueredo, E. Córdoba, J. A. y López, F. (1993): “Análisis envolvente de datos: aplicación en la medida de la eficiencia en los servicios de medicina preventiva hospitalarios de Andalucía”, Revista San Hig, nº 6, (noviembre), pág. 1 – 10. Santesmases, M. (2005): DYANE Diseño y análisis de encuestas en investigación social y de mercados, Ediciones Pirámide, Madrid. Santín, D. (2009): La Medición de la Eficiencia en el Sector Público Técnicas Cuantitativas, Instituto de Estudios Fiscales. Madrid. Smith, P. (1993): “Outcome-Related Performance Indicators and Organizational Control in the Public Sector”, British Journal of Management, vol. 4, pág. 5-151. William, D.W. (2003): “Measuring government in the early twentieth century”, Public Administration Review, vol. 63, nº 6, pág. 643-674. Worthington, A. y Dollery, B. (2000): “An empirical Survey of Frontier Efficiency Measurement Techniques in Local Government”. Local Government Studies. No 26, págs. 23- 52. London.

33