Evaluación Externa del Programa de Apoyo Alimentario a cargo de DICONSA S.A. de C.V. EJERCICIO FISCAL 2006

Institución Evaluadora: Centro de Investigación y Docencia Económicas A.C.

Percepción de Beneficiarios

INDICE 5. PERCEPCIÓN DE LOS BENEFICIARIOS ................................................................. 3 5.1.

INTRODUCCIÓN ...................................................................................................... 3

5.2.

ENCUESTA DE SATISFACCIÓN REALIZADA PARA LA EVALUACIÓN EXTERNA

LLEVADA A CABO POR LA UNIVERSIDAD IBEROAMERICANA 2004-2006.......................... 4

5.2.1. Metodología........................................................................................................ 4 5.2.2. Análisis de los resultados ................................................................................... 4 5.2.4. Resumen del análisis de resultados .................................................................... 5 5.2.5 5.3.

Comentarios y Sugerencias .............................................................................. 13

OBSERVACIONES GENERALES DEL ANÁLISIS DE LOS ÍNDICES ............................ 14

5.3.1 5.4.

Resumen del análisis de resultados mediante índices de satisfacción............. 14

PROPUESTA DE ÍNDICE DE SATISFACCIÓN ........................................................... 18

5.4.1. Análisis de índices desarrollados por evaluaciones anteriores del PAL .......... 18 5.4.2. Los índices nacionales de satisfacción del consumidor. Fortalezas y debilidades .................................................................................................................... 21 5.4.3. Índice de satisfacción para beneficiarios del PAL ........................................... 23 5.5.

RECOMENDACIONES PARA LA MEJORA DE LA EVALUACIÓN DE SATISFACCIÓN DE

BENEFICIARIOS................................................................................................................. 26

5. PERCEPCIÓN DE LOS BENEFICIARIOS 5.1. Introducción Las mediciones de satisfacción resultan de gran utilidad para evaluar a través de la percepción de los beneficiarios, la eficacia de la política pública en cuestión. Estas mediciones pueden ayudar a identificar dificultades o problemas en la ejecución del Programa, necesidades no atendidas, cambios en las necesidades y expectativas de los beneficiarios para de esa manera mejorar el Programa por medio de decisiones informadas. En particular, la satisfacción de los beneficiarios puede ser evaluada a través de cuestionarios que midan el nivel de agrado de los encuestados. En este capítulo analizaremos y discutiremos los resultados de la encuesta de satisfacción realizada para la evaluación externa llevada a cabo por la Universidad Iberoamericana para el periodo anterior1. Para ello, dividiremos el análisis en dos secciones. En primera instancia, analizaremos y discutiremos los resultados obtenidos en la encuesta. Posteriormente, examinaremos los índices de satisfacción basados en los resultados de la encuesta de satisfacción. Asimismo, en este capítulo, se propone la adopción de un índice de satisfacción junto a un conjunto de indicadores cualitativos que sean producto de una investigación enfocada a dicho propósito. El índice que se recomienda adoptar es el IMSU (Índice Mexicano de Satisfacción del Usuario) pues contempla un concepto de satisfacción acumulativa y como experiencia total. Este índice ofrece parámetros de comparación internacional y por ende 1

Universidad Iberoamericana, Evaluación Externa del Programa de Apoyo Alimentario, 2006.

3

permite llevar a cabo una evaluación que considere criterios tanto nacionales como internacionales.

5.2. Encuesta de satisfacción realizada para la evaluación externa llevada a cabo por la Universidad Iberoamericana 2004-2006. 5.2.1. Metodología La encuesta se llevó a cabo en 1500 hogares y la muestra se elaboró de manera estratificada. Se seleccionaron 16 ó 17 municipios en cada una de las regiones (norte, centro y sur-sureste) y por nivel de marginación (muy alto, alto y medio). Posteriormente, se seleccionaron 2 ó 3 localidades por municipio con el propósito de reunir 50 localidades por región y 150 a nivel nacional. En cada localidad, se aplicaron 10 cuestionarios, lo que equivale a 500 cuestionarios por región y 1500 a nivel nacional. 5.2.2. Análisis de los resultados A continuación, se resumen y discuten los resultados obtenidos en la encuesta de satisfacción elaborada para la evaluación externa de la Universidad Iberoamericana para el periodo anterior2. En términos generales, la opinión de los beneficiarios del PAL con respecto al Programa es muy favorable. A nivel nacional, el 25% de los entrevistados considera que los beneficios que recibe del Programa son muy buenos mientras 74% los considera buenos y únicamente 1% los califica como regular. Los resultados fueron muy similares a nivel regional puesto que en el norte y en el sur, 99% de las opiniones fueron positivas y en el centro 98% de las opiniones fueron favorables. El capítulo de satisfacción de los beneficiarios del informe de la UIA se divide en dos 2

Idem.

4

secciones, la primera analiza de manera detallada los resultados mediante el uso de herramientas de estadística descriptiva mientras que en la segunda sección se elaboraron dos índices que reagrupan las preguntas que corresponden a la percepción de los beneficiarios sobre la contribución del PAL a la superación de la pobreza y la percepción de los beneficiarios sobre la ejecución del PAL. A continuación se resumen y comentan brevemente los resultados obtenidos. 5.2.3. Observaciones generales del análisis de resultados: Los resultados obtenidos de la encuesta fueron divididos conforme a las tres regiones previamente establecidas y a los grados de marginación de las localidades. Este diseño responde a los criterios con los que se elaboró la muestra. Se observa un patrón de comportamiento en el cual los beneficiarios de la región norte generalmente están más satisfechos que sus contrapartes en las regiones centro y sur por lo cual para fines de este capítulo se omitirán las discusiones concernientes a las regiones a menos de que se observe un patrón distinto al general ya mencionado. 5.2.4. Resumen del análisis de resultados Información del Programa: En términos generales, los beneficiarios del PAL consideran que la información que se les proporcionó respecto a la recepción del paquete alimentario fue satisfactoria. El 77% de los beneficiarios consideraron que la información era buena, mientras que el 15% de los encuestados la calificó como muy buena. En el caso de la evaluación de la información sobre cómo recibir el paquete alimentario, el nivel de marginación de las localidades no parece afectar la percepción de los beneficiarios, aunque cabe señalar que los residentes de las localidades catalogadas como de muy alta

5

marginación reportaron un nivel un poco menor de satisfacción (91% comparado con 94% para las localidades de alta y media marginación). Gráfica 5-1 Evaluación de la información sobre cómo recibir el paquete alimentario

Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.

Gráfica 5-2 Evaluación sobre el contenido de la información entregada a las personas que quieren inscribirse al Programa

Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.

6

Inscripción al Programa: Al igual que en el caso anterior, los beneficiarios reportan un nivel alto de satisfacción con respecto al contenido de la información entregada a aquellos que quieren inscribirse al PAL ya que 8% de los encuestados consideró que la información era muy buena y 83% la evaluó como buena. Nuevamente observamos que las localidades con mayor nivel de marginación resultaron un poco menos satisfechas con la información que sus contrapartes ya que 90% de los entrevistados evaluaron como muy buena y buena la información comparado con 93% de los encuestados en las localidades de alta marginación y 95% de los beneficiarios de las localidades con nivel medio de marginación. En términos de la difusión del Programa, los resultados son menos alentadores puesto que únicamente 58% de los encuestados estaban satisfechos. Asimismo, 93% de los encuestados calificaron como bueno y muy bueno el procedimiento de inscripción al Programa. En términos generales, el trámite de incorporación resulta fácil para el 91% de los encuestados y nada más 5% de los beneficiarios lo consideró como difícil. Sin embargo, más de la mitad de los encuestados (55%) consideró el trámite tardado. Gráfica 5-3 Evaluación sobre el procedimiento para inscribirse al Programa

Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.

7

Entrega del paquete alimentario: El 96% de los encuestados evaluó favorablemente el procedimiento de entrega del paquete. Es interesante recalcar que en este caso, las localidades de muy alto nivel resultan ser las más satisfechas con la provisión del paquete ya que este proceso fue considerado positivamente por el 98% de los encuestados. Operativamente, el Programa también parece estar funcionando de manera satisfactoria puesto que al 95% de los entrevistados se les pidió su tarjeta para verificación en tanto que el 96% de los encuestados reportan haber sido anotados en un registro de beneficiarios en todas las ocasiones. Finalmente, el 91% de los beneficiarios declaró haber firmado en todas las ocasiones para poder recibir el paquete. El 100% de los encuestados declaró que nunca se les ha negado la entrega del paquete y el 99% corroboró que no se habían entregado paquetes a personas no beneficiarias, ni se había condicionado la entrega a la compra de otros productos y no se les ha pedido dinero para tramitar o renovar la tarjeta de beneficiario. Gráfica 5-4 Evaluación sobre la entrega del paquete alimentario

Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.

8

Calidad de los productos del paquete alimentario: La respuesta con respecto a la calidad de los alimentos que provee el Programa fue favorable, el 21% consideró que la calidad era muy buena y 77% la calificó como buena mientras que únicamente 2% de los beneficiarios la percibe como regular. El nivel de marginación de las localidades no parece afectar significativamente la percepción de la calidad del paquete alimentario. Cabe destacar que en 99% de los casos, el paquete fue consumido siendo la machaca, la sardina y el cereal los productos que reportaron menores niveles de consumo. Finalmente el 85% de los encuestados están de acuerdo o muy de acuerdo en que los alimentos del paquete son suficientes.

Gráfica 5-5 Evaluación sobre la calidad de los productos del paquete alimentario

Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.

9

Apoyos complementarios: El 36% de los encuestados calificaron estos apoyos como muy buenos y el 62% como buenos. Es importante mencionar que con respecto a los apoyos complementarios, la región sur parece estar más satisfecha ya que 50% de los encuestados consideran las pláticas como muy buenas mientras que en el norte esta cifra fue de 48% y en el centro únicamente 15%. Los resultados por grados de marginación fueron muy homogéneos puesto que independientemente del nivel de marginación de la localidad, se observó que 98% de los encuestados están satisfechos con las pláticas. Los estudios de caso corroboran que entre 80% y 85% de los encuestados asisten a las pláticas y se encuentran muy contentos con esta forma de apoyo que en muchos casos valoran aún más que el paquete alimentario.

Gráfica 5-6 Evaluación sobre los apoyos complementarios Muy bueno 36.0%

Ns/Nc 1.0% Regular 1.0%

Bueno 62.0%

Fuente: Universidad Iberoamericana, Evaluación Externa del PAL, 2005.

10

Comités de beneficiarios: La cobertura de los Comités de Beneficiarios es prácticamente completa ya que 98% de los encuestados reportan la existencia de un Comité en su localidad. Los niveles de satisfacción reportados también son altos ya que 98% de los encuestados calificó de manera positiva el trato que recibe de los miembros. En el caso de los Comités, 98% de los encuestados en las regiones norte y sur consideran que el trato es bueno y muy bueno mientras que en la zona centro el porcentaje fue de 90%. Los encuestados parecen conformes con la naturaleza democrática de dichos comités.

Gráfica 5-7 Evaluación sobre el trato de los miembros del Comité de Beneficiarios

Fuente: Universidad Iberoamericana, Evaluación Externa del PAL,

11

Atención y seguimiento de quejas: Finalmente, la encuesta revela que el porcentaje de beneficiarios que acude a quejarse es bajo (18%) y que de aquellos que se han quejado, el 64% considera que la atención fue buena y muy buena. Aún considerando que los niveles de satisfacción con respecto a la atención y seguimiento de quejas son bastante satisfactorios, es importante recalcar que de todos los aspectos evaluados, éste es el que obtuvo una evaluación menos satisfactoria.

Gráfica 5-8 Evaluación sobre la atención a quejas

Fuente: Universidad Iberoamericana, Evaluación Externa del PAL,

En términos generales, se observó que la ejecución del PAL es percibida como muy buena por los beneficiarios. Asimismo, los productos incluidos en los paquetes alimentarios se calificaron como suficientes y de buena calidad y el PAL es considerado entre los beneficiarios como promotor del combate a la pobreza. Los beneficiarios también aprecian

12

los apoyos complementarios del PAL y los consideran útiles para mejorar sus hábitos de higiene personal y al momento de cocinar y sus conocimientos respecto a nutrición. Sin embargo, cabe señalar que aquellos encuestados que no reportan una opinión favorable al Programa son aquellos, que de acuerdo a sus características sociodemográficas, más requieren este tipo de apoyo. 5.2.5 •

Comentarios y Sugerencias

Para fines de futuras evaluaciones se sugiere que se analice de manera más detallada la percepción de los beneficiarios que reciben algún otro programa federal o estatal para de esa manera tener un punto de referencia que nos permita ver desde una perspectiva comparativa los resultados obtenidos para el PAL. La encuesta elaborada para la evaluación externa de la Universidad Iberoamericana3 identificó 18.9% de los encuestados como beneficiarios de otros programas federales o estatales. Sería conveniente incluir preguntas específicamente dirigidas a estos beneficiarios respecto a la ejecución del PAL comparada con la ejecución de otros programas. Estas preguntas permitirán evaluar de manera comparativa el Programa en cuestión.

•

Las variables que afectan la percepción de los beneficiarios no están igualmente analizadas en el informe. Existe un énfasis en las variables “región” y “grado de marginación”, sin embargo dado que la evaluación externa previa identificó que variables como “género”, “ingreso” y “gasto en alimentos” claramente también

3

Universidad Iberoamericana, Evaluación Externa del Programa de Apoyo Alimentario, 2006

13

afectan la percepción de los beneficiarios sobre la ejecución del PAL4, sería conveniente llevar a cabo estudios más detallados que permitan discernir el efecto de estos componentes. 5.3. Observaciones generales del análisis de los índices La creación de los índices resulta de gran utilidad para el análisis de la encuesta de satisfacción de los beneficiarios puesto que permite reagrupar toda la información obtenida de una manera clara y concisa. Asimismo, las tablas de contingencia de las variables de cruce generales con los índices nos permiten distinguir que factores considerados, tales como región, género, grado de marginación, tiempo como beneficiario, ingreso, gasto en alimentos, posición en el hogar, escolaridad del jefe del hogar y escolaridad del ama de casa, afectan la percepción de los beneficiarios. 5.3.1

Resumen del análisis de resultados mediante índices de satisfacción

Para elaborar los índices, se clasificaron las preguntas en dos rubros, el que corresponde a la percepción de los beneficiarios sobre la contribución del PAL a la superación de la pobreza y el de la percepción de los beneficiarios sobre la ejecución del PAL. La siguiente tabla recapitula las variables incluidas en la construcción de índices.

4

Op. cit., pp. 633-635 y pp.647-649.

14

Tabla 5-1 Variables consideradas en la construcción de índices Pregunta Escala de respuesta Índice 1: Percepción de los beneficiarios sobre la contribución del PAL a la superación de la pobreza La cantidad de alimentos incluidos en la despensa o paquete Muy de acuerdo De acuerdo alimentario es suficiente Con la entrega de alimentos incluidos en las despensa o paquete En desacuerdo Muy en desacuerdo alimentarios alcanza más el gasto No sabe El Programa de Apoyo Alimentario apoya a la economía familiar El Programa de Apoyo Alimentario atiende a la gente que lo No contestó necesita El Programa de Apoyo Alimentario ayuda a la gente a salir de la pobreza El Programa de Apoyo Alimentario es sólo para la gente pobre Índice 2: Percepción de los beneficiarios sobre la ejecución del PAL ¿Cómo evaluaría la información proporcionada acerca de cómo Muy buena Buena recibir su paquete alimentario o despensa? ¿Cómo evaluaría el contenido de la información que se les da a las Mala Muy mala personas que quieren inscribirse al Programa? En general ¿cómo evaluaría la difusión o propaganda que se hace No sabe No contestó del Programa? En general ¿cómo evaluaría la difusión o propaganda que se hace del Programa? En general ¿cómo evaluaría el procedimiento para inscribirse al Programa? ¿Cómo evaluaría el procedimiento de entrega de las despensas o paquetes alimentarios a los beneficiarios? ¿Cómo evaluaría la calidad de los productos que vienen en la despensa o paquete alimentario? ¿Cómo evaluaría a) las pláticas de higiene, nutrición y salud, b) el apoyo de piso firme, c) el apoyo de letrinización? En general ¿cómo calificaría el trato del facilitador (o persona que haya mencionado como el que las imparte) respecto a las pláticas sobre nutrición, higiene y salud? En general ¿usted diría que los beneficios que recibe del Programa de Apoyo Alimentario son…? Por lo que usted sabe o ha visto, ¿usted diría que la atención que se les da a los beneficiarios cuando acuden a quejarse? En general ¿cómo calificaría el trato que recibe de parte de los miembros del Comité de Beneficiarios? En general ¿cómo calificaría el Programa de Apoyo Alimentario?

15

Se llevó a cabo la recodificación de las respuestas utilizadas en la construcción de los índices de la siguiente manera: Tabla 5-2 Recodificación de variables utilizadas en la construcción de índices Índice 1. Percepción de los beneficiarios Índice 2. Percepción de los beneficiarios sobre la contribución del PAL a la sobre la ejecución del PAL superación de la pobreza Escala de respuesta Escala de respuesta Escala de respuesta Escala de respuesta original recodificada original recodificada Muy de acuerdo

4

Muy buena

5

De acuerdo

3

Buena

4

En desacuerdo

2

Regular

3

Muy en desacuerdo

1

Mala

2

Muy mala

1

Variables que afectan el grado de acuerdo Variables que no afectan el grado de con el Programa acuerdo con el Programa Región

Género

Grado de marginación

Tiempo como beneficiario

Ingreso

Escolaridad del jefe del hogar

Gasto en alimentos

Escolaridad del ama de casa

Índice de percepción de beneficiarios sobre la contribución del PAL a la superación de la pobreza (índice 1): El resultado general del índice es de 3.39 lo cual demuestra que en términos generales, los beneficiarios están de acuerdo que el Programa promueve la superación de las condiciones de pobreza. La elaboración de las tablas de contingencia de

16

las variables de cruce generales con el índice de percepción 1 arroja la siguiente información: En este caso, se observa que los beneficiarios de las regiones norte y sur son los que reportan un menor nivel de acuerdo con la contribución del PAL a la superación de la pobreza. En términos de marginación, los encuestados de las localidades de marginación media son los que menos aceptan que el PAL contribuya a superar la pobreza. Los beneficiarios que perciben un ingreso menor a 1500 pesos son los que reportan estar más en desacuerdo con la aseveración del Índice 1. Índice de percepción de los beneficiarios sobre la ejecución del PAL (índice 2): El resultado general del índice en este caso fue de 3.9 en una escala de 1 a 5, lo cual indica que la percepción fue muy buena. Con respecto a las tablas de contingencia de las variables de cruce generales con este índice, la tabla siguiente presenta un resumen.

Variables que afectan el grado de acuerdo Variables que no afectan el grado de con el Programa acuerdo con el Programa Región

Tiempo como beneficiario

Género

Escolaridad del jefe del hogar

Grado de marginación

Escolaridad del ama de casa

Ingreso Gasto en alimentos Posición en el hogar

Como lo demuestran los resultados de este reporte, variables tales como el ingreso y el gasto en alimentos influyen en los dos índices y género y posición en el hogar también

17

influyen en el Índice 2. . El análisis previamente efectuado discute los resultados en función de la región y el grado de marginación, variables que claramente afectan las percepciones de los encuestados, e identifica otras variables generales igualmente importantes como género, posición en el hogar, ingreso y gasto en alimentos por lo que valdría la pena llevar a cabo análisis más detallados que nos permitan identificar de manera más comprensiva el efecto de estos componentes en la percepción de los beneficiarios. 5.3.2. Observaciones y comentarios Para fines del análisis sería conveniente crear una escala idéntica para los dos índices que hiciera la comparación más factible. De acuerdo a la tabla 5-1, la escala de respuesta de las preguntas consideradas en el Índice 1 incluye cuatro posibles respuestas (muy de acuerdo hasta muy en desacuerdo) y cuatro posibles respuestas para las preguntas que conforman el índice 2 (muy buena a muy mala) por lo que la compatibilidad de las escalas recodificadas debería de ser factible. 5.4.Propuesta de índice de satisfacción 5.4.1.Análisis de índices desarrollados por evaluaciones anteriores del PAL En el documento Estudio de Evaluación Externa del Programa de Apoyo Alimentario a cargo de DICONSA S.A. de C.V., elaborado por la Universidad Iberoamericana, se consideró como satisfacción: “la respuesta emocional del consumidor a la evaluación que hace de las discrepancias percibidas en sus expectativas por las experiencias previas y actuales con el producto o la organización”5.

5

Tomada de Terry G. Vavra. Improving Your Measurement of Customer Satisfaction: A Guide to Creating, Conducting, Analyzing, and Reporting Customer Satisfaction Measurement Programs. ASQ Quality Press. 1997.

18

Con base en tal concepto y con la información obtenida de una encuesta aplicada a 1,500 beneficiarios, las dimensiones que ese estudio evaluó fueron: información, inscripción, entrega, calidad de los productos, apoyos complementarios, comités de beneficiarios, atención y seguimiento de quejas así como la evaluación general del Programa. Además, se elaboraron dos índices. El Índice 1 que midió la percepción de los beneficiarios sobre la contribución del PAL para la superación la pobreza; y el Índice 2 que midió la percepción de los beneficiarios sobre la ejecución del PAL6. Las ventajas de esta evaluación, en especial del Índice 2, son que reflejan claramente las percepciones derivadas de la interacción con la ejecución del Programa y permite hacer discriminaciones por grados de marginación y zonas geográficas. Sin embargo, muestra dos claras limitaciones: 1) parte de una definición acotada de satisfacción, y 2) al construir índices ad hoc para el PAL no permiten la comparación con otros programas de política social, ni predecir patrones de consumo y satisfacción. Respecto a la primera limitación, debemos mencionar que el Índice 2 cubre un solo aspecto de la satisfacción (la evaluación de expectativas), mientras que definiciones más maduras y estandarizadas por los principales índices de satisfacción del consumidor (CSI, por sus siglas en Inglés) consideran a la satisfacción como una experiencia total del consumidor o usuario con un producto o servicio. El factor de la experiencia remite a un enfoque de aprendizaje al trascender la transacción-específica e incorporar un enfoque de satisfacción acumulativa7. Por otra parte, además de expectativas se considera como componentes de la 6

Los principales resultados de las dimensiones y de los índices, así como de la metodología usada en para su construcción se resumieron y analizaron en el apartado anterior. 7 Johnson, M. D., Nader, G., Fornell, C., 1995. “Expectations, perceived performance, and customer satisfaction for a complex service: The case of bank loans”. Journal of Economic Psychology 17, 163- 182.

19

satisfacción la calidad percibida (del producto y de la transacción), el valor (relación calidad/precio) y la imagen (de las marcas de los productos o del prestador del servicio). Las ventajas de este enfoque estándar son que: o Permite hacer pronósticos sobre conductas y desempeños económicos debido a que los consumidores evalúan y deciden basados en sus propias experiencias de consumo en una trayectoria de tiempo que llega hasta el presente, y no sobre una simple transacción o episodio. o Considera a la calidad como un conductor hacia la satisfacción y no como producto de ella. Al aislar la variable calidad para en un segundo momento conectarla con la satisfacción, permite evaluar de manera más clara el desempeño de la política y detectar áreas de oportunidad y mejora. o Permite construir una trayectoria del aprendizaje tanto del beneficiario como de la política. En lo que toca a la segunda limitación (carácter ad hoc de los índices), cabe mencionar que el propósito del trabajo con índices CSI es explicar las causas y consecuencias de la satisfacción o insatisfacción del consumidor, objetivadas en conductas de queja, deslealtad y desconfianza. Estas explicaciones y el entendimiento de las conductas derivan no sólo de una lectura internista de los datos, sino de la posibilidad de compararlos en dimensiones de tiempo y espacio. Al incorporar una visión de satisfacción acumulativa, a nivel agregado se iguala la satisfacción al bienestar del consumidor. Y es esta visión de experiencia total y satisfacción

20

acumulativa la que predomina en la construcción de índices de satisfacción nacional,8 lo que, a su vez, ofrece parámetros de comparación internacional. Finalmente, cabe mencionar que a la par de los CSI internacionales, México cuenta desde 2005 con el Índice Mexicano de Satisfacción del Usuario (IMSU), el cual adopta la visión estándar de satisfacción lo que representa a futuro y en la medida que el Índice se consolide, una oportunidad de comparación con a) otros programas de política social estatales y federales, b) con otros sectores de política federal y, c) consigo mismo a lo largo del tiempo. 5.4.2. Los índices nacionales de satisfacción del consumidor. Fortalezas y debilidades Los principales índices nacionales de satisfacción son: Swedish Customer Satisfaction Barometer (SCSB), 1989; The American Customer Satisfaction Index (ACSI), 1994; Norwvegian Customer Satisfaction Model, 1996; y European Customer Satisfaction Index (ECSI), 2000. Una característica fundamental que comparten todos estos índices es que se basan en un modelo, el cual consiste de un número de variables latentes9 y una relación de causa y efecto entre ellas. Cada variable latente incluye varias variables manifiestas que actúan como proxies para la variable latente. La satisfacción del consumidor es una variable latente que está en el centro del modelo, esto es, encajonada en un sistema de variables que

8

Johnson, M.D., Gustaffson, A., Andreassen, T.W., Lervik, L., Cha, J. (2001), "The evolution and future of national customer satisfaction index models", Journal of Economic Psychology, Vol. 22 No.2, pp.217-45. 9 Una variable latente refleja una dimensión relativamente compleja de la satisfacción del consumidor que no puede ser medida directamente. Por ejemplo, calidad, precio e imagen. En cambio, una variable manifiesta es un factor o criterio medible y relacionado directamente con la satisfacción del consumidor.

21

relacionan causas y efectos. Un buen modelo debe ser capaz de predecir un patrón de relaciones y de efectos10. En el contexto del gobierno sobresalen el ACSI y el Canadian Common Messurements Tool. Sin embargo, es el índice americano el que más influencia ha ejercido en el resto de los índices debido a su vasta cobertura geográfica, a los sectores que cubre (uno de ellos, gobierno), a la importancia que otorga al aspecto de servicios, y porque propone tanto variables como conductores (drivers). Junto a las ventajas de estos índices, y en especial del ACSI para evaluar la satisfacción del consumidor, conviene mencionar algunos aspectos que visiones críticas han señalado sobre las encuestas de satisfacción. Primero, un indicador de satisfacción no dice suficiente sobre las razones de cierto nivel de satisfacción. Es decir, no importa la satisfacción sobre cierto aspecto (e.g. rapidez de la atención, amabilidad) sino la importancia de esos aspectos. Es decir, un beneficiario del PAL puede no estar satisfecho con el tiempo que tiene que esperar para recibir el apoyo, sin embargo este aspecto carece de relevancia ante el valor que se otorga a la despensa o al apoyo en efectivo. De igual manera, pese al nivel de pobreza y marginación, no todos los productos de la despensa son igualmente valorados, por lo que la satisfacción con el apoyo puede estar más en relación con su adecuación a un repertorio de la cultura alimentaria local, que con necesidades nutricionales manifiestas. En pocas palabras, no hay una relación causal directa entre la calidad de ciertos servicios y la satisfacción del usuario, esto se debe a las diferencias que existen entre proveedores y consumidores respecto a sus visiones de calidad. 10

INRA y Deloitte & Touche for DG Health & Consumer Protection, “Development of indicators on consumer satisfaction and pilot survey” ( Reporte final del Project for the European Commission Directorate General on Health and Consumer Protection). 1 Febrero, 2005. Disponible en http://ec.europa.eu/consumers/topics/consumer_satisfaction_final_rep_en.pdf

22

Además, mayor calidad no necesariamente conlleva a mejores evaluaciones de satisfacción porque los usuarios también experimentan cambios en sus expectativas. Alguna literatura incluso sugiere que son las expectativas diferenciales y no las diferencias en el desempeño del servicio las que determina los niveles de satisfacción. Estas expectativas no sólo provienen de características individuales, o de la interacción individual con el servicio provisto, sino que la interacción social entre usuarios tiene gran influencia en lo que los usuarios esperan de los servicios e incluso en la manera como perciben el funcionamiento de los mismos11. 5.4.3. Índice de satisfacción para beneficiarios del PAL Teniendo en cuentas las ventajas y desventajas de los CSI señaladas en los dos apartados anteriores, en este apartado recomendamos la adopción del IMSU como instrumento de evaluación de satisfacción de beneficiarios del PAL. Sin embargo, señalamos algunas adecuaciones que deben tomarse en consideración para aplicar una metodología desarrollada en otro contexto social, económico y cultural. Al mismo tiempo, señalamos que el IMSU debe ser uno de los instrumentos al interior de una estrategia de evaluación que debe tener dos ejes: uno comparativo, otro interpretativo. El IMSU, adoptado por México en 2005 se basa en el American Costumer Satisfaction Index (ACSI), modelo que genéricamente vincula las expectativas de los consumidores, la calidad percibida y el valor percibido como componentes de la satisfacción del usuario. Su propósito es medir la experiencia del consumo en el hogar.

11

Geert Bouckaert & Steven Van de Walle (2003). Comparing measures of citizen trust and user satisfaction as indicators of ‘good governance’: Difficulties in linking trust and satisfaction indicators, en: International Review of Administrative Sciences, vol. 69 (3): 329-344.

23

El IMSU ha sido ya probado en la evaluación de dos programas sociales en México, el Programa de Desarrollo Local (Microrregiones) de la SEDESOL y el Programa de Abasto Rural (PAR) de DICONSA. Aquí tomaremos como unidad de referencia a éste último y nos referiremos a él con la denominación IMSU-PAR. El IMSU-PAR fue aplicado por el Departamento de Ingenierías de

la Universidad

Iberoamericana como prueba piloto para evaluar la satisfacción de los usuarios de las tiendas DICONSA dentro Programa de Abasto Rural en el Estado de Puebla12. La encuesta cubrió 40 tiendas con una muestra de 400 usuarios y fue levantada en octubre de 2006. Los resultados arrojaron un nivel general de satisfacción de 74 en una escala del 0 al 100. Además, el instrumento identificó impulsores de satisfacción directos e indirectos: -Componentes directos: expectativas (78); calidad percibida ( 76) -Componentes indirectos13: servicio al cliente (83); abasto (77); conveniencia (76) Los resultados de la satisfacción fueron categorizados como quejas (4%) y confianza en el futuro del Programa (78). Finalmente, la evaluación reportó como incidentes en la adaptación del índice la dificultad en comprender la escala del 1 al 10 al momento de responder las preguntas, especialmente por parte de adultos mayores, y dificultad en aplicar el instrumento en localidades con más del 70% de población indígena (aunque no especifica por qué). En términos generales el IMSU-PAR adoptó el modelo ACSI para evaluación de las agencias gubernamentales 12

Universidad Iberoamericana, Departamento de Ingenierías. Maestría en Ingeniería de calidad, Versión Final del Reporte de la Aplicación de la Metodología para la Obtención del Índice de Satisfacción del Beneficiario del Programa de Abasto Rural. Octubre 2006.

13

El abasto consideró actividades de surtido de mercancía y ubicación de las tiendas. Conveniencia abarcó calidad y precio de los productos. Servicio al cliente se operacionalizó con actividades de horario y amabilidad.

24

En esta prueba piloto el IMSU-PAR mostró su eficacia como instrumento capaz de captar la satisfacción como una representación multideterminada y que se concreta en la incidencia o no de ciertas conductas. Además, brinda un marco general de comparación. Por ejemplo, los 74 puntos de satisfacción obtenidos por el PAR pueden tener mayor sentido si los leemos en relación al puntaje agregado de 72.3 obtenido por las agencias del gobierno de los Estados Unidos, o si lo comparamos con los 84 obtenidos por el Programa de Microrregiones. Por otro lado, como instrumento de evaluación de política social dirigida a combatir la pobreza en población de media, alta y muy alta marginación en México, la capacidad de comparación del IMSU necesita ser complementada en un eje interpretativo con formas de evaluación cualitativa que 1) refinen el índice y 2) provean información contextual que ayude a explicar las respuestas y a emprender acciones de mejora. Así por ejemplo, la incidencia de las expectativas como impulsor de satisfacción es un elemento que se necesita problematizar a partir de más pruebas estadísticas y de información complementaria, pues el puntaje obtenido (78) puede ser un correlato de lo que algunos estudios han reportado sobre la irrelevante incidencia de este componente en la satisfacción total.14 Por otro lado, considerar una relación causal directa entre satisfacción y quejas y confianza, puede no reflejar con precisión las conductas derivadas de la satisfacción medida. Las condiciones extremas de carencia de recursos y de opciones pueden objetivar la satisfacción de los usuarios del PAL, en otro tipo de conductas o en una interpretación distintas de las

14

Ver Geert Bouckaert & Steven Van de Walle (2003), Op. Cit.

25

mismas. Asimismo, convendría evaluar con base en más intervenciones tanto cuantitativas como cualitativas, la posibilidad de incluir en el modelo la variable “valor” que en la metodología del ACSI mide la relación entre calidad y precio. Si bien en estos programas no existe un precio medido monetariamente, hay sin embargo una inversión en términos de tiempo y esfuerzos en el (re)ingreso al padrón, obtención física de la despensa, participación en el comité de beneficiarios, asistencias a cursos de salud, nutrición e higiene y participación en actividades de corresponsabilidad que pueden evaluarse como un gasto relativo a la calidad y expectativas del apoyo recibido. Con base en estos argumentos, nuestra recomendación es adoptar el IMSU como uno de los instrumentos metodológicos que junto con otros de carácter cualitativo proporcionen además de un índice, un conjunto de indicadores que capturen los diferentes aspectos del desempeño institucional y de la interacción y representación social puestas en juego en un programa social, y que inciden en su eficiencia y en la satisfacción de los beneficiarios. Además, hablar de indicadores, en lugar de índices, contribuye también a distinguir la evaluación de la política pública de las aproximaciones metodológicas propias del sector productivo. 5.5. Recomendaciones para la mejora de la evaluación de satisfacción de beneficiarios. •

Continuidad en el levantamiento de información cuantitativa y cualitativa y triangulación de datos.

•

Inclusión de datos sobre afiliación partidista, composición y tamaño del hogar (adultos/infantes), edad de quien responde, y pertenencia étnica.

26

•

Adopción del IMSU como uno el índice de satisfacción que cubra las necesidades de comparación local, nacional e internacional que toda evaluación. Tal adopción debe partir de un trabajo de gabinete y de campo para su adaptación al 1) perfil de la población meta (nivel educativo, pertenencia étnica, compromiso político); 2) contexto socio-económico y cultural (que determina decisiones y riesgos); 3) categorizaciones lingüísticas que pueden diferir de las asumidas en la encuesta.

•

Realización de una investigación exploratoria de carácter mixto (cualitativa y cuantitativa) dirigida tanto a contextualizar y refinar el IMSU y su metodología de aplicación, como a identificar los elementos que deben integrar los indicadores interpretativos del PAL. A continuación se proponen cinco indicadores que constituyen categorías que con alguna reiteración aparecen en las dos investigaciones cualitativas que sirvieron de fuente a este estudio (una elaborada por la Universidad Iberoamericana, y la otra por el CIESAS). Por tanto, tienen un carácter hipotético pero se presentan aquí con el fin de contribuir al diseño de una investigación exploratoria que tenga como objetivo principal la construcción de indicadores de evaluación. o Generación de capital social. Capacidad del Programa para generar este capital tanto en su ejecución como en su evaluación. Este aspecto puede ser probado como hipótesis en el modelo IMSU como resultado de satisfacción. o Capacidad de innovación. Buscaría reflejar los esfuerzos de los actores en incidir en mejoras o adecuaciones al Programa y las posibilidades reales o potenciales de hacerlo. o Confianza relativa. Se trataría de medir la certeza en la continuidad del apoyo o las expectativas de que la política se va a corresponder con las 27

necesidades manifiestas, tomando en consideración que la confianza es una categoría general (a diferencia de la satisfacción que es más específica) y que está en relación con la confianza hacia diferentes componentes del entorno (vecinos, familiares, autoridades, otros servicios, etc.) o Perspectiva de género. Por ser el centro de la estrategia del PAL para el cambio del patrón alimentario es necesario construir un indicador que sintetice caracterizaciones de las beneficiarias de tipo socioeconómico, educativo, cultural, emocional, de salud y de violencia intra familiar o Cooperación. Dado el importante componente del esfuerzo cooperativo de los actores institucionales en la eficiencia del Programa, podría evaluarse la pertinencia de incorporar este componente como indicador en la evaluación de satisfacción.

28