Evaluación ex ante en Educación para el Desarrollo Una propuesta de indicadores en el ámbito formal

Evaluación ex ante en Educación para el Desarrollo Una propuesta de indicadores en el ámbito formal

Elena Rodríguez San Julián Alejandra Boni Begoña Arias Juan Carlos Ballesteros Ignacio Megías

Evaluación ex ante en Educación para el Desarrollo. Una propuesta de indicadores en el ámbito formal Autoras y autores: Elena Rodríguez San Julián (Sociológica Tres, S.L.), Alejandra Boni (profesora titular de la Universitat Politècnica de València), Begoña Arias (Sociológica Tres, S.L.), Juan Carlos Ballesteros (Sociológica Tres, S.L.) e Ignacio Megías (Sociológica Tres, S.L.).

Este trabajo es responsabilidad exclusiva de las autoras y autores y su contenido no representa necesariamente la opinión de la AECID ni de las organizaciones y personas participantes. Edición: marzo 2014 Impreso en Valencia (España) La presente publicación, así como el trabajo de investigación en que se basa han sido realizados gracias a la financiación de la Agencia Española de Cooperación Internacional al Desarrollo (AECID). Convocatoria de Ayudas a Proyectos (CAP): Primer Procedimiento de 2009 (09-CAP1-0481) y Segundo Procedimiento de 2011 (11-CAP2-0999)

ISBN: 978-84-695-9376-9 Esta obra está bajo una Licencia de Creative Commons. Reconocimiento – NoComercial – SinObraDerivada (BY-NC-ND 3.0 ES): Debe reconocer adecuadamente la autoría. No se permite un uso comercial de la obra original ni la generación de obras derivadas.
Para ver una copia de esta licencia visite .

Colaboraciones

Este proyecto no sería posible sin la concurrencia de las siguientes personas y entidades, a las que queremos agradecer expresamente su esfuerzo, interés y colaboración en distintos momentos del trabajo: En primer lugar a M.ª Luz Ortega y Pilar Debén que se han implicado activamente en la investigación; su contribución ha sido fundamental en la validación del sistema de indicadores. También a todas las personas que han sido entrevistadas y que han participado en el estudio Delphi de la investigación: Almudena López (Jóvenes y Desarrollo), Andrés Carbonero (Gobierno de Navarra), Antonio Casanova (Ayuntamiento Córdoba), Elvira Roel (Gobierno de Cantabria), Eusebio Megías (Fundación de Ayuda contra la Drogadicción, FAD), Eva María Domínguez

(Junta de Castilla y León), Gema Celorio (Hegoa), Jesús Galán (Junta de Comunidades de Castilla La Mancha), Margarita Pedrosa (Gobierno Islas Baleares), M.ª Mar Palacios (InteRed), Mercedes Rubio (Gobierno de Navarra), Nagore Gardoqui (Junta de Andalucía), Pilar González (Principado de Asturies), Pilar Romero (Xunta de Galicia), Raquel León (Intermón-OXFAM). A las siete ONGD que nos han facilitado el acceso a sus proyectos imprescindibles para el análisis: Entreculturas, InteRed, Intermón Oxfam (IO), Jóvenes y Desarrollo (JyD), MPDL, Ongawa y Veterinarios sin Fronteras (Vetermon). Y, finalmente, en las tareas de transcripción de entrevistas y grupos, colaboración en el análisis de documentos y en el diseño del sistema on-line: Beatriz Rodríguez, Begoña Arias, José Luis Torre y Monique Leyvas.

Índice

INTRODUCCIÓN........................................................................................................................... 11 1. ¿QUÉ MOTIVACIONES Y NECESIDADES ALIENTAN ESTA INVESTIGACIÓN?............. 13 1.1. La relevancia de la evaluación en la ED................................................................................... 13 1.2. La falta de metodología específica consensuada........................................................................ 14 2. ¿CUÁL ES NUESTRO POSICIONAMIENTO TEÓRICO?..................................................... 17 2.1. La Educación para el Desarrollo “de quinta generación”.......................................................... 17 2.1.1. Elementos clave en la Educación para el Desarrollo...................................................... 18 2.1.2. La Educación para el Desarrollo en el ámbito educativo formal.................................... 19 2.2. La evaluación.......................................................................................................................... 20 2.2.1. La evaluación de resultados........................................................................................... 21 2.2.2. La evaluación ex ante.................................................................................................... 22 2.2.3. Características de la evaluación de procesos de intervención centrados en lo educativo.............................................................................................. 23 2.2.4. Sobre el concepto de “indicador”.................................................................................. 24 3. METODOLOGÍA EMPLEADA.................................................................................................. 27 3.1 Orientación y enfoque metodológico...................................................................................... 27 3.2 Fases y técnicas........................................................................................................................ 28 Etapa 1: Diseño....................................................................................................................... 30 Fase 1: Análisis documental............................................................................................... 31 Revisar las convocatorias de ED........................................................................... 31 Analizar documentos teóricos y debates sobre ED................................................ 32 Fase 2: Aproximación cualitativa....................................................................................... 33 Entrevistas semiestructuradas............................................................................... 33 Grupos de discusión............................................................................................ 36 Primera propuesta de indicadores...................................................................................... 37 Fase 3: Estudio Delphi...................................................................................................... 40 Fase 4: Sistematización de resultados y propuesta del sistema de indicadores..................... 41 Etapa 2: Validación................................................................................................................. 42 Fase 1: Selección de ONGD y de proyectos....................................................................... 43 Fase 2: Análisis preliminar de proyectos............................................................................. 44 Fase 3: Primera validación del sistema de indicadores........................................................ 44 Fase 4: Análisis de resultados y propuesta final del sistema de indicadores.......................... 45 Contraste de baremos en un proceso global......................................................... 45 Elaboración de la propuesta final......................................................................... 45

4. RESULTADO FINAL: PROPUESTA DE INDICADORES....................................................... 47 4.1. Criterios transversales.............................................................................................................. 48 4.2. Criterios sectoriales................................................................................................................. 48 5. CONCLUSIONES....................................................................................................................... 51 BIBLIOGRAFÍA DE REFERENCIA................................................................................................ 53

Índice tablas Tabla 1. Tabla 2. Tabla 3. Tabla 4. Tabla 5. Tabla 6.

Criterios básicos de evaluación. (DGPOLDE, 2007)........................................................ 14 Ejemplo de criterios extraídos de las convocatorias oficiales de ED o de Cooperación....... 31 Criterios y contenidos extraídos de las entrevistas a personas expertas en ED..................... 34 Elementos que estructuran el conjunto de indicadores...................................................... 37 Contenidos de los criterios tipo de la propuesta inicial...................................................... 38 Puntuaciones de los criterios transversales y criterios tipo.................................................. 41

Índice imágenes Imagen 1. Imagen 2. Imagen 3. Imagen 4. Imagen 5. Imagen 6. Imagen 7.

Dimensiones de la ED. (Ortega en EED, 2007)................................................................ 19 Ejemplo de modelo causal. (Ligero, 2011: 32).................................................................. 22 Etapas de la investigación.................................................................................................. 29 Etapa 1: Diseño del sistema de indicadores y sus fases....................................................... 30 Contenidos del sistema de indicadores.............................................................................. 39 Etapa 2: Validación del sistema de indicadores.................................................................. 42 Características de los criterios del sistema de indicadores................................................... 47

Acrónimos AECID: Agencia Española de Cooperación Internacional para el Desarrollo CAD: Comité de Ayuda al Desarrollo CAPV: Comunidad Autónoma del País Vasco CC.AA.: Comunidades Autónomas CECOD: Centro de Estudios de Cooperación al Desarrollo CIS: Centro de Investigaciones Sociológicas CONGDE: Coordinadora Española de Organizaciones no Gubernamentales para el Desarrollo DGPOLDE: Dirección General de Planificación y Evaluación de Políticas para el Desarrollo ECODE: Estudio de Cooperación al Desarrollo ED: Educación para el Desarrollo EED: Estrategia de Educación para el Desarrollo ONGD: Organización no Gubernamental para el Desarrollo MAEC: Ministerio de Asuntos Exteriores y Cooperación OCDE: Organización para la Cooperación y el Desarrollo Económico

Introducción

El documento que presentamos a continuación es el resultado obligado de un proceso de investigación llevado a cabo durante más de tres años (2010-2013), en el que han participado muchas personas implicadas en la Educación para el Desarrollo (en adelante ED) en España, tanto desde instituciones públicas como privadas y, muy especialmente, Organizaciones no Gubernamentales de Desarrollo (ONGD). Y es obligado porque difundir y compartir los resultados, en coherencia con el propio proceso seguido, es una parte fundamental del fin último de la investigación, que consiste en aportar una propuesta de evaluación ex ante para los proyectos de ED en el ámbito formal. De hecho, este trabajo tiene sentido si la propuesta final es compartida y cuenta con el apoyo de las y los agentes implicados. Por tanto, como en la mayoría de las acciones de ED y en general en todos los procesos de intervención social, el resultado perseguido en esta investigación no puede desvincularse del método –el proceso–, o lo que es más, el fin pretendido lleva implícito un modo específico de trabajo que, en este caso, es cooperativo y busca la interacción y la comunicación. Como se ha avanzado, el objetivo de la investigación es el diseño y la validación de un sistema de indicadores para ser utilizado en la evaluación ex ante de los proyectos de ED en el ámbito formal realizados por Organizaciones no Gubernamentales de Desarrollo (ONGD).

La idea surge de la confluencia de dos circunstancias. Por un lado la constatación de la dificultad de valorar proyectos de ED empleando los criterios generales diseñados para las evaluaciones de proyectos de Cooperación para el Desarrollo y, por otro aunque vinculado a lo anterior, la necesidad del área de ED de la Agencia Española de Cooperación Internacional al Desarrollo (AECID) de contar con un instrumento específico para la evaluación de proyectos de ED, que permita tomar decisiones más ajustadas acerca de la calidad de los mismos para la resolución de las convocatorias de subvenciones públicas (por tanto, evaluación ex ante). El proyecto parte, por tanto, del acuerdo con la AECID1 y se dirige a la elaboración de un sistema actualizado, válido y fiable que mejore la valoración, ex ante, de los proyectos de ED en el ámbito formal, incorporando junto a los criterios habituales que maneja la Agencia2, adaptados para que resulten significativos en los procesos de ED, algunos otros que puedan resultar clave en dichos procesos, y muy concretamente los que tienen que ver con las posibilidades de valorar los resultados relativos al cambio de actitudes, conocimientos y aptitudes de la población beneficiaria, que son específicos en la ED. La investigación se dividió en dos grandes etapas, cada una de las cuales se desarrolló en varias fases, con una aproximación metodológica diferenciada.

1 Las dos fases de la investigación han sido financiadas por la AECID a través de la Convocatoria de Ayudas a Proyectos (CAP): Primer Procedimiento de 2009 (09-CAP1-0481) y Segundo Procedimiento de 2011 (11-CAP2-0999). 2 En general los criterios del Comité de Ayuda para el Desarrollo (CAD) para la Cooperación Internacional al Desarrollo. Se describen brevemente más adelante.

12

Introducción

La primera etapa se realizó entre 2010 y 2011 y su propósito fue el diseño preliminar de una propuesta de indicadores estables, válidos y fiables para evaluación ex ante de acciones de ED en el ámbito formal. Se llevó a cabo mediante las siguientes fases: 1. Análisis documental de las convocatorias, referencias y prácticas de ED, a nivel nacional y europeo. 2. Entrevistas semiestructuradas con personas expertas en ED, tanto de la administración pública, como de ONGD. En esta fase se incorporó la realización de una serie de grupos de discusión con población potencialmente beneficiaria de la ED en educación formal (adolescentes y jóvenes, entre 16 y 23 años, divididos según el nivel de escolarización y la participación activa en voluntariado). 3. Estudio Delphi, para el que se seleccionaron expertos y expertas en la materia entre los agentes institucionales (AECID, CC. AA. y ayuntamientos), ONGD e investigadores y docentes en temas de ED. 4. La fase final de esta etapa consistió en la sistematización de todos los elementos anteriores, integrándolos en la propuesta de sistema de indicadores. La segunda etapa de la investigación, realizada entre 2012 y 2013, ha consistido en la validación

del sistema anterior hasta depurarlo y obtener la herramienta que presentamos al final de este documento. En esta parte del trabajo ha sido esencial la colaboración de las ONGD que han aportado sus proyectos de ED en el ámbito formal sobre los que se ha validado el sistema de indicadores. Esta etapa se estructuró en las fases siguientes: 1. Selección de ONGD y proyectos. 2. Análisis preliminar de los proyectos. 3. Primera validación de indicadores. 4. Análisis de resultados y propuesta final del sistema de indicadores. Todo este proceso para el diseño y validación de la herramienta de evaluación se expone a continuación. Empezaremos por describir más detalladamente las motivaciones para realizar este trabajo, seguiremos con la visión teórica de la que partimos –conceptos tales como ED, evaluación ex ante, teoría del cambio, etc.– para encuadrar adecuadamente la investigación. En el siguiente apartado se tratará el enfoque metodológico y los procedimientos empleados hasta llegar al resultado final del trabajo, el sistema de indicadores. Terminaremos el documento con unas reflexiones sobre la operatividad del sistema propuesto, las ventajas que pueden derivarse de su utilización y los nuevos retos que surgen una vez finalizado este proceso.

1.

¿Qué motivaciones y necesidades alientan esta investigación?

Como ya se ha mencionado al principio de este documento, la necesidad que pretende cubrir esta investigación es la ausencia de una herramienta fiable y consensuada para la evaluación ex ante de proyectos de ED, que permita a la AECID disponer de criterios de valoración adecuados para decidir acerca de la financiación de los proyectos. La necesidad de contar con una herramienta específica de valoración en ED viene precedida de la importancia que está adquiriendo la evaluación en el ámbito de las intervenciones sociales –lo que incluye a la ED– como un mecanismo de mejora, aprendizaje y control de responsabilidades. En concreto, en el área de ED se han constatado en múltiples ocasiones las dificultades para valorar adecuadamente los proyectos que se plantean, previamente a la asignación de recursos y a su implementación utilizando los criterios habituales para la evaluación de proyectos de Cooperación al Desarrollo, que no contemplan aspectos definitorios de la ED. Dificultades y carencias ampliamente compartidas y debatidas entre las entidades implicadas en la implementación de los proyectos de ED. Vamos a analizar cada uno de estos aspectos:

1.1. La relevancia de la evaluación en la ED La evaluación de proyectos y programas en todos los campos de la intervención social se ha convertido en las últimas décadas en una exigencia en muchos sentidos. Desde los meros criterios economicistas a la rendición de cuentas, pasando por la necesidad de establecer procesos de aprendiza-

je sistemáticos vinculados a la reflexión, también sistematizada, sobre las prácticas, procesos, métodos y resultados reales (previstos y no previstos) de la intervención, la práctica de la evaluación es un requisito de la implementación de programas y proyectos sociales que ya no sólo demandan las instituciones de manera formal, sino que es una demanda sentida por prácticamente todos los agentes que intervienen en dichas intervenciones. En el caso concreto de la ED son numerosos los foros internacionales que recogen el interés sobre la evaluación en este campo como una herramienta para la mejora de su calidad e impacto. Entre ellos El Consenso Europeo sobre Desarrollo: la contribución de la educación y la sensibilización en materia de desarrollo de 2007 destaca “la evaluación como uno de los principales desafíos de la ED a nivel europeo”. A nivel nacional, ya el Plan Director de la Cooperación Española 2005-2008 señalaba que: La evaluación de las políticas, programas y proyectos de la Cooperación al Desarrollo es una de las actividades más relevantes para conocer el funcionamiento, los resultados y los efectos de la ayuda oficial al desarrollo española, herramienta especialmente necesaria para mejorar la calidad y la eficacia de las acciones de cooperación que España realiza en el exterior (Plan Director, 2005-2008: 115).

Y, en esta misma línea, el actual Plan Director señala: Resulta necesario consolidar los avances del ciclo anterior y para ello se profundizará en

14

¿Qué motivaciones y necesidades alientan esta investigación?

los principios definidos en la Estrategia de Educación para el Desarrollo, desde la medición, evaluación y generación de evidencias acerca de las experiencias más eficaces. Se fomentará la cultura evaluativa de la educación para el desarrollo en las funciones de mejora, generación de conocimiento sobre la práctica y rendición de cuentas (Plan Director de la Cooperación Española, 2013-2016: 33).

Por lo tanto, la necesidad de la evaluación en la ED se considera fundamental para poder analizar los efectos de las actuaciones, generar y difundir aprendizajes y dar cuenta de las responsabilidades de cada uno de los implicados en esas acciones. Asimismo, la evaluación ex ante –valoración de una propuesta de intervención que busca solucionar o mitigar problemas o necesidades de una comunidad de personas, antes de que esta se realice (Espinoza y Peroni, 2000: 10)–, objeto de este trabajo, se antoja imprescindible por diferentes razones: racionalizar la asignación de recursos, CRITERIOS BÁSICOS PERTINENCIA EFICIENCIA

garantizar el desarrollo de procesos de aprendizaje, detectar duplicidades en las intervenciones, acciones con enfoques inapropiados o proyectos/programas escasamente o mal planificados.

1.2. La falta de metodología específica consensuada

En un estudio realizado por la consultora ECODE y la Agencia Vasca de Cooperación para el Desarrollo (ECODE, 2011) sobre metodología y prácticas de evaluación en ED, tras un repaso de las iniciativas de evaluación en ED a nivel europeo, se señala la falta de un marco de referencia específico para llevar a cabo estas evaluaciones, tanto en el ámbito europeo como a nivel nacional. Esto da lugar a que se utilicen diferentes metodologías de evaluación, en muchas ocasiones trasladando las empleadas en evaluación en el Sur o innovando prácticas diferentes a las habituales (mapeo de alcances3, evaluación segmentada4, evaluación según las dimensiones de la ED5, etc.). DEFINICIÓN

Consiste en valorar la adecuación de los resultados y los objetivos de la intervención al contexto en el que se realiza. Con su análisis se estudia la calidad del diagnóstico que sustenta la intervención, juzgando su correspondencia con las necesidades observadas en la población beneficiaria. Hace referencia al estudio y valoración de los resultados alcanzados en comparación con los recursos empleados.

EFICACIA

Trata de medir y valorar el grado de consecución de los objetivos inicialmente previstos, es decir, persigue juzgar la intervención en función de su orientación a resultados.

IMPACTO

Trata de identificar los efectos generados por la intervención, positivos o negativos, esperados o no, directos e indirectos, colaterales e inducidos. El análisis de los impactos se centra en la determinación de los efectos netos atribuibles a la actuación.

VIABILIDAD

Se centra en la valoración de la continuidad en el tiempo de los efectos positivos generados con la intervención una vez retirada la ayuda. En el ámbito de la cooperación este concepto está muy ligado a la potenciación de los factores clave de desarrollo, a la apropiación del proceso por parte de los receptores de la ayuda y se puede decir que está directamente relacionada con evaluaciones favorables de los anteriores criterios. Tabla 1. Criterios básicos de evaluación. (DGPOLDE, 2007)

3 Esta metodología fue desarrollada por el IDRC-International Development Research Centre de Canadá. http://www.idrc. ca/EN/Pages/default.aspx. 4 Propuesta por Thierry De Smedt, miembro académico del Groupe de Recherches en Médiation des Savoirs de la Universidad Católica de Lovaina (Bélgica) y colaborador habitual de la ONG ITECO. 5 POLYGONE (2003). “Mosaico educativo para salir del laberinto”.

Evaluación ex ante en Educación para el Desarrollo

Según estos autores, ante la citada falta de modelos específicos, entre las metodologías más habitualmente empleadas cabe destacar el seguimiento de los cinco criterios principales de evaluación definidos por el Comité de Ayuda al Desarrollo (CAD) de la OCDE: pertinencia, eficacia, eficiencia, impacto y viabilidad (entendida como sostenibilidad). La aplicación de dichos criterios en el ámbito de la ED no se ha adaptado de una manera específica, y se concretan siguiendo las especificaciones comunes de los proyectos y programas de Ayuda y Cooperación al Desarrollo. Por lo tanto, esta metodología presenta limitaciones a la hora de ser aplicada para evaluar proyectos de ED, ya que no

15

contempla elementos clave y específicos de la ED o no facilita formas de medir el impacto en procesos de cambio de actitudes y comportamientos a largo plazo. Esta realidad muestra una clara demanda de los diferentes agentes implicados de una “política común de actuación y modelos de evaluación adaptados a la ED, al mismo tiempo que la socialización y publicación de experiencias” (ECODE, 2011:15) y de una metodología adaptada a las características de la ED, que tenga en cuenta y permita evaluar sus elementos clave; esto a su vez es lo que motiva la demanda, participación y apoyo de la AECID en nuestra investigación.

2.

¿Cuál es nuestro posicionamiento teórico?

Si releemos el objetivo principal de esta investigación, diseñar y validar un sistema de indicadores para ser utilizado en las evaluaciones ex ante de los proyectos de ED en el ámbito formal, vemos que hay varios términos cuya conceptualización –lo que nosotros y nosotras entendemos por ellos– es la que va a vertebrar todo nuestro trabajo: tener un encuadre teórico claro y explícito respecto a conceptos como ED –en el ámbito educativo formal–, evaluación ex ante e indicadores determinará la línea argumental de toda la investigación y transmitirá coherencia a ésta.

2.1. La Educación para el Desarrollo “de quinta generación”

do por visibilizar las interdependencias y la necesidad de cambios estructurales (3.ª generación) y el cuestionamiento del modelo de desarrollo occidental a partir de la propuesta del desarrollo humano y sostenible (4.ª generación). (Boni y León, 2013:216)

Si bien, se pueden encontrar experiencias de ED de una misma ONGD que podrían encuadrarse en más de una generación. Existen diversas definiciones de lo que se entiende actualmente por ED –de 5.ª generación o educación para la ciudadanía global–. Uno de los documentos ampliamente suscritos, el Consenso Europeo sobre Desarrollo: la contribución de la educación para el desarrollo y la sensibilización en materia de desarrollo (2007) señala:

Desde hace unos años, en el ámbito de la cooperación al desarrollo, cuando se habla de ED se alude a su evolución refiriéndose a un modelo de cinco generaciones (Mesa, 2000), paralelo a las generaciones de ONGD del Norte enunciadas por distintos autores (Korten, 1990; Ortega, 1994; Senillosa, 1998), y que transcurre desde los años cincuenta hasta el presente. A lo largo de ese período las actividades de ED realizadas por las ONGD se han ido transformando, tal y como resumen Boni y León:

El objetivo de la educación y la sensibilización en materia de desarrollo es hacer posible que todos los europeos tengan a lo largo de su vida acceso a la posibilidad de sensibilizarse y de percibir los aspectos del desarrollo mundial y su importancia local y personal, y de ejercer sus derechos y responsabilidades como habitantes de un mundo interdependiente y cambiante, contribuyendo a hacerlo más justo y sostenible. (Consenso Europeo sobre el Desarrollo, 2007: 6)

…desde un planteamiento asistencial, según el cual los que tienen la capacidad para producir los cambios son los donantes individuales del Norte (1.ª generación) o las ONGD (2.ª generación), hasta la idea de la sociedad civil global (5.ª generación), todo ello pasan-

El III Plan Director de la Cooperación Española 2009-2012, inspirado en la Estrategia de Educación para el Desarrollo (EED) de 2007, elevó la ED a la categoría de ámbito estratégico esencial de la cooperación española, definiéndola así:

18

¿Cuál es nuestro posicionamiento teórico?

La ED es un ámbito estratégico de la cooperación, porque a través de ella se contribuye a que la ciudadanía pueda responder a los retos que plantea el actual proceso de globalización, respuestas coherentes con el enfoque basado en los derechos, la promoción de las capacidades humanas y la ayuda inclusiva. La ED desarrolla en la ciudadanía competencias (cognitivas, procedimentales y actitudinales) que aumentan la concienciación y el compromiso ciudadano: con los derechos humanos, la responsabilidad social, la igualdad entre los sexos, el sentimiento de pertenecer a un solo mundo. A través de la ED se amplía la visión del mundo y se toma conciencia de las disparidades existentes entre las diversas condiciones de vida de los seres humanos y de los esfuerzos que se realizan para superarlas y en la necesidad de participar en acciones democráticas que influyan en las situaciones sociales, políticas, económicas o medioambientales que afectan a la pobreza y al desarrollo humano y sostenible (Plan Director de la Cooperación Española, 2009-2012: 61).

Y la propia Estrategia de Educación para el Desarrollo aporta su definición: Proceso educativo (formal, no formal e informal) constante encaminado, a promover una ciudadanía global, a través de conocimientos, actitudes y valores capaces de generar una cultura de la solidaridad comprometida en la lucha contra la pobreza y la exclusión así como con la promoción del desarrollo humano y sostenible (Ortega en EED, 2007: 19).

En todas estas definiciones se recoge la dimensión de compromiso y participación de la ciudadanía con la justicia social que, como apuntaba Boni (2006), introduce la ED de quinta generación o educación para la ciudadanía global. Nos sumamos a esta perspectiva de la ED que queda reflejada en sus elementos clave que vienen desarrollados en el siguiente punto.

2.1.1. Elementos clave en la Educación para el Desarrollo Boni y León (2013) recogen buena parte de los elementos clave de la ED, que caracterizan como: Ciudadanía global y local: incorpora la visión de la ciudadanía como participación, el acento está en la persona como agente individual y colectivo. Gobernanza democrática y la profundización de la democracia por medio de la construcción de la sociedad civil –fuerte, independiente y autónoma para movilizar reclamaciones y exigencias a gobiernos, controlar su acción y evitar abusos, particularmente en lo relativo a los derechos (Carothers, 1999)–, la gobernanza participativa –la “cogobernanza” y el trabajo con el propio Estado (Ackerman, 2003), participando en sus actividades y en las decisiones sobre asuntos públicos– y la democracia deliberativa (Gaventa, 2005) –cómo los ciudadanos dialogan sobre las ideas de la democracia y los derechos en las distintas esferas (pública y privada; local, nacional y global) y cómo se incluyen en esto a todos los individuos y grupos sociales–. La equidad de género y la dimensión intercultural. En cuanto a la primera, Celorio (2007) señala: La perspectiva de género en la ED se revela como una de las perspectivas ineludibles, no sólo como propuesta de empoderamiento para las niñas y las mujeres, sino como apuesta para la reconstrucción de identidades desde la equidad, la corresponsabilidad, como medio para la superación del orden patriarcal y como estrategia de impugnación de los sistemas de conocimiento androcéntricos (Celorio, 2007: 128).

En cuanto a la dimensión cultural, la misma autora subraya:

Evaluación ex ante en Educación para el Desarrollo

La ED pone el acento en la dimensión intercultural, de manera que el conjunto de los sistemas educativos en sus vertientes formales y no formales acojan a todas las personas –y en especial a aquellas que están en riesgo de exclusión, que forman parte de colectivos vulnerables, de minorías–, poniendo en marcha estrategias de empoderamiento a través del fortalecimiento de la autonomía, del diálogo y de la atención a la diversidad, sea esta cultural, de género, de etnia o cualquiera otra (Celorio, 2007: 124).

Sostenibilidad e interdependencia. En cuanto a la sostenibilidad, Celorio (2007) habla de la importancia de las relaciones entre el medio físico y el medio humano, con el objeto de conservar la de diversidad de modelos de desarrollo y de establecer los parámetros de futuros desarrollos deseables. La interdependencia nos

SENSIBILIZACIÓN

19

alerta de que cualquier análisis y propuesta no puede dejar de lado las relaciones económicas, sociales, culturales, políticas y también ambientales entre los países y las personas. Concienciación. Con todo lo anterior, la visión de la educación que propone la ED trasciende lo meramente formal y se entiende como un proceso de socialización crítica, que induce a la reflexión sobre desarrollo, ciudadanía, democracia, cultura, etc., desde otras miradas y que permite tomar conciencia de la realidad y de las capacidades individuales y colectivas para actuar sobre ella. Finalmente, la manera de poner en práctica la ED no se reduce solo al ámbito educativo sino que abarca el denominado continuo de sensibilización, formación-educación, investigación y movilización social e incidencia política.

FORMACIÓN-EDUCACIÓN EDUCACIÓN PARA EL DESARROLLO

INCIDENCIA POLÍTICA Y MOVILIZACIÓN SOCIAL

INVESTIGACIÓN

Imagen 1. Dimensiones de la ED. (Ortega en EED, 2007)

2.1.2. La Educación para el Desarrollo en el ámbito educativo formal La Estrategia de Educación para el Desarrollo (2007) describe la ED como un proceso educativo, y como tal debe responder a un proyecto pedagógico estructurado, organizado y diseñado para grupos “objetivo” claramente identificables. Desde esta perspectiva podemos distinguir varios

ámbitos de actuación o sectores en los que se llevan a cabo actividades de ED: Educación formal: proceso educativo desarrollado en instituciones educativas oficialmente reconocidas para impartir el currículo regulado por la administración educativa, y que da acceso a titulaciones o certificados oficiales reconocidos y homologados.

20

¿Cuál es nuestro posicionamiento teórico?

Educación no formal: proceso educativo específicamente diseñado en función de objetivos explícitos de formación o de instrucción. […] Aunque se trate de una ED no institucionalizada, está organizada, estructurada y diseñada para grupos objetivos identificables (CONGDE, 2004: 23). Educación informal: se sitúa fuera del marco de la educación formal y de la educación no formal como hecho social no determinado de manera intencional. […] No obstante, el sistema educativo la reconoce y la utiliza como parte de sus aprendizajes. […] los aprendizajes […] están determinados por situaciones cotidianas de contacto social: son experiencias que se dan en espacios distintos a aquellos en los que se produce la educación habitual. Dentro de este ámbito se recogen todas las actividades realizadas a través de los medios masivos de comunicación (Internet, prensa, radio, televisión) […] (Estrategia Educación para el Desarrollo, 2007: 23). Es en el ámbito de la educación formal donde se enmarca nuestra investigación. Dentro de éste, las actuaciones en ED –que son objeto de los proyectos de las ONGD que se pretenden evaluar ex ante– son básicamente los programas de ED en centros educativos: Las propuestas didácticas que se llevan a cabo desde las distintas áreas curriculares incorporando en todas ellas como eje transversal la ED y las que se impulsan desde un área curricular concreta (habitualmente las Ciencias Sociales, la Filosofía, las tutorías, y también los monográficos o trabajos por proyectos de carácter interdisciplinar, como la “semana de la solidaridad” en todo el centro) (Baselga et al, 2004: 35).

Estos mismos autores proponen lograr propuestas integrales de la ED como Proyecto Educativo de Centro, lo cual implicaría que los objetivos y contenidos de la ED se formularan desde todas las áreas curriculares y que se trabajaran las estrategias metodológicas y un diseño curricular

específico. A su vez, supondría una adaptación de la organización del centro para favorecer el trabajo en equipo. Sin embargo, los problemas relacionados con la propia organización del centro: horarios, requerimientos administrativos, carencia de espacios para trabajar en equipo, etc., la necesidad de formación del profesorado en estas cuestiones, la carencia de recursos económicos o el escaso apoyo institucional dificultan la inserción de la ED como Proyecto Educativo del Centro.

2.2. La evaluación Cuando hablamos de evaluación de intervenciones sociales en general, una de las primeras dificultades que nos encontramos es la de establecer un consenso sobre cuáles son las necesidades que cubre la evaluación. Esto es así por varias razones. La primera que hay que tener en cuenta son las numerosas definiciones de evaluación que podemos encontrar, lo que la convierte en algo muy polisémico, a veces poco comprensible y no siempre adecuadamente utilizado. La revisión de las aportaciones de los distintos teóricos nos permitirá comprender mejor el sentido que, en nuestra opinión, debe adoptar la evaluación de programas y acciones sociales. Un aspecto esencial de la evaluación es que ha de determinar una posición, un juicio de valor, respecto al objeto evaluado (Alvira, 1991). Así, “evaluar es fijar el valor una cosa, para lo cual se requiere un procedimiento mediante el que sea posible comparar aquello que se quiere evaluar respecto a un criterio o un patrón determinado”. (Franco, 1971 en Cohen y Franco, 1992: 73). Desde este punto de vista, la evaluación debe fijar sus propios “criterios de valor”, que permitan establecer un juicio consensuado y estable respecto a los distintos resultados obtenidos. Además, la evaluación debe basarse en procedimientos reconocidos y reconocibles desde el método científico. La aplicación de criterios, procedimientos y herramientas de observación, análisis, interpretación y emisión de juicios, no puede basarse estrictamente en la subjetividad o la

Evaluación ex ante en Educación para el Desarrollo

aleatoriedad del procesamiento de la información, sino que debe articularse en base a herramientas y procedimientos estructurados desde la investigación. Este requisito es la garantía de que los resultados de la evaluación respondan a criterios de fiabilidad, validez y pertinencia, sin los cuales no se puede garantizar la relevancia de los resultados. Lo anterior queda recogido en las definiciones de Stufflebeam y Shinkfield (1987) y de Aguilar y Ander-Egg (1994): Forma de valoración sistemática que se basa en el uso del método científico, y sirve para identificar, obtener y proporcionar información pertinente y enjuiciar el mérito o valor de algo, de manera justificable.

2.2.1. La evaluación de resultados En cuanto a los contenidos u objetivos de la evaluación, el juicio sobre el mérito o valor de las intervenciones puede referirse a distintas cuestiones, que son en general a las que prestan atención los criterios de evaluación. De todos los criterios, los que se refieren a la evaluación de resultados (eficacia, impacto, etc.) son los que suelen generar más dificultades de comprensión y acuerdo. Por definición la evaluación de resultados estudia las modificaciones que puede producir un programa sobre la estructura de las relaciones, el ámbito social y/o psíquico de las personas destinatarias, las comunidades y los agentes intervinientes. El mecanismo de estudio de los cambios que tienen lugar durante la aplicación de un programa y, más específicamente, la evaluación busca determinar cuáles de esos cambios son atribuidos al programa. (Musto, 1975: 31).

Sin embargo, hay que diferenciar entre dos tipos de resultados que en ocasiones llevan a cierta confusión: los que operativamente produce el programa (actividades, actuaciones, materiales, etc.) y los efectos producidos por esas actividades, actuaciones, etc. y que implican cambios relativos

21

a los objetivos finales planteados por la intervención (aquello que se quiere transformar mediante la acción). Así, vemos que muchos de los proyectos de ED proponen como “resultados” las propias actividades de la intervención (y se verifica si se realizan o no, y se cuantifican e incluso se caracterizan), mientras que es mucho menos frecuente la explicitación y verificación de los “efectos” relativos a los cambios planteados en actitudes, valores, comportamientos, procesos, etc., que pretende la Estrategia de ED. Con relación a esta posible confusión, la Coordinadora de ONGD de España –CONGDE– (2009) entiende por “resultados” lo siguiente: El concepto de “resultados de desarrollo”, como refleja el Manual de buenas prácticas sobre la Gestión para Resultados de Desarrollo (GpRD) del CAD, es el siguiente: “cambios positivos y sostenibles a largo plazo en las condiciones de vida de las personas, que se reflejan en la reducción de la pobreza y en el desarrollo humano sostenido y sostenible, que pueden medirse a través de cambios en indicadores a largo plazo” (citado del CAD en CONGDE, 2009: 34).

Desde este punto de vista, la Gestión para Resultados de Desarrollo se centra en tres conceptos fundamentales que vinculan la acción a una propuesta teórica formulada mediante hipótesis de consecución de efectos (metas): un determinado modelo de acción, operativizado en determinadas actividades concretas, y mediante herramientas metodológicas adecuadas, derivará en unos efectos definidos y argumentados (causalidad en la cadena de resultados). Para afrontar las necesidades analíticas que este enfoque plantea, nuestro posicionamiento se alinea al modelo de evaluación propuesto desde la Teoría del Cambio (Weiss, 1998) y la Teoría del Programa (Ligero, 2011). La propuesta de esta teoría (o modelo lógico de análisis) trata de comprender la lógica de las intervenciones, buscando las relaciones internas entre los procesos y recursos concretos (la implementación) que se articulan en

22

¿Cuál es nuestro posicionamiento teórico?

los proyectos con los efectos que pretenden alcanzarse. La teoría del cambio incorpora, por tanto, dos dimensiones fundamentales –implementación y resultados– asumiendo la existencia de relaciones causales entre ambas: si el programa funciona de una manera concreta producirá los efectos que se prevén. Obviamente, esta causalidad es posible

si las intervenciones cuentan con una formulación teórica adecuada que justifique (o defina hipótesis sobre) cómo se espera que dicha implementación [los procesos: inputs y actividades] deriven en unos resultados [o efectos: outputs y outcomes6] determinados.

EVALUACIÓN DEL PROGRAMA DE GASTOS DE LA UE (EVALUATING EU EXPENDITURE PROGRAMMES, 1997)

Necesidades

Objetivos

Outcomes

Inputs

Actividades

Outputs

Resultados

Imagen 2. Ejemplo de modelo causal. (Ligero, 2011: 32)

La Teoría del Programa resulta especialmente útil y atractiva tanto por su perspectiva holística y sistémica de la evaluación, como por la exigencia que plantea para hacer explícitos los procesos y los efectos esperados en la realidad de las intervenciones. En proyectos a medio o largo plazo, como lo son los que son propios de la ED, esta teoría además permite identificar los resultados intermedios dentro de la cadena causal de efectos esperados, lo que resulta muy clarificador para la evaluación de proyectos que se encadenan temporalmente en un proceso de mayor envergadura, y para la evaluación de resultados intermedios que, a menudo, son los que resultan más interesantes en intervenciones de corto plazo. Creemos que es desde este tipo de planteamientos respecto a la evaluación de resultados como debe interpretarse la orientación de los criterios implicados en la evaluación de las acciones de ED en general, pero muy concretamente en las que se centran en el ámbito de la educación formal.

2.2.2. La evaluación ex ante Según el momento en el que se realiza la evaluación, podemos hablar de ex ante –antes de que el programa se ponga en marcha– o ex post –durante o una vez ejecutado el programa–. Este trabajo se centra en la evaluación ex ante, que es la utilizada por la administración, y en este caso concreto por la AECID, para valorar los proyectos con el fin de, entre otras cosas, determinar la asignación o no de recursos. La Comisión Europea (2006) se refiere a este tipo de evaluación de la siguiente manera: Se realiza la evaluación ex ante antes de la adopción o antes de la ejecución de la intervención. Constituye una ayuda al diseño de la intervención. Aspira a mejorar la calidad del diseño de la intervención en la medida en que transpone las lecciones de las experiencias anteriores en el marco de la nueva intervención (Comisión Europea, 2006: 20).

6 Según el desarrollo de diferentes autores, se identifican también outputs con resultados intermedios e incluso con productos de la intervención, y outcomes con efectos a largo plazo o impactos. Obviamente estas interpretaciones concretas dependen del proyecto concreto, su envergadura y la operatividad de los efectos finales esperados.

Evaluación ex ante en Educación para el Desarrollo

Para Osuna y Márquez (2002), investigadores en la evaluación de políticas públicas, la evaluación ex ante: Se realiza antes de ejecutar el plan, política o programa, siendo su objetivo principal analizar su adecuación a las necesidades que lo motivan y sus posibilidades de éxito. Es decir, garantizar a priori que el programa, tal y como ha sido concebido, conseguirá los objetivos para los que se ha planificado. (Osuna y Márquez, 2002:19)

Los criterios implicados en la evaluación ex ante pueden ser todos y cada uno de los relativos a los diferentes tipos de evaluación (diseño, implementación, eficacia, eficiencia, cobertura…), y sus principales objetivos serían los siguientes: Asegurar la racionalidad y coherencia de la intervención. Garantizar que el sistema de gestión diseñado (incluido el sistema de seguimiento) y los recursos a él asignados (humanos, materiales, financieros, etc.) son los adecuados para poder ejecutar el programa y obtener los resultados previstos. Prever y, en la medida de lo posible, cuantificar los impactos del programa. Realizar un análisis coste-beneficio que permita comparar la “estrategia de intervención” escogida con otras alternativas. (Osuna y Márquez, 2002: 20-21) Las evaluaciones que realizan los organismos públicos de proyectos sociales para resolver la asignación de recursos vía, generalmente, concurso público, están condicionadas por unos plazos temporales y medios escasos. Esto ha llevado a que se haya optado por aplicar herramientas que permitan establecer grados de discriminación entre proyectos alternativos, es decir, priorizar aquellos proyectos que presenten mayores garantías en el cumplimiento de sus objetivos. Mediante una evaluación Integral del Diseño, –aquella que contempla todas las fases y

23

componentes implicados en el desarrollo de un proyecto, desde la planificación hasta su evaluación– los procedimientos administrativos pueden establecer sus conclusiones respecto a un gran número de proyectos, siempre y cuando se determinen a priori los aspectos (diagnóstico, objetivos, productos, actividades, costos, recursos, etc.) que deberán ser valorados, así como las fórmulas adecuadas para que los proyectos que se presentan ofrezcan toda la información necesaria para ser analizada. De esta manera, además de facilitar y posibilitar la toma de decisiones por parte de las entidades financiadoras, se ayuda en el proceso de planificación a las entidades aspirantes a la financiación. Conjuntamente, resolver estas dos necesidades, ya se constituye en un proceso de aprendizaje colectivo por el que se apuesta radicalmente en esta investigación.

2.2.3. Características de la evaluación de procesos de intervención centrados en lo educativo La ED, como todos los procesos educativos, plantea una serie de condiciones específicas que hacen especialmente dificultosa su evaluación, sea ex ante o ex post. Estas dificultades vienen derivadas al menos de cuatro de sus principales señas de identidad, a saber: el sentido, el contexto, las herramientas y los procedimientos. En cuanto al sentido de la ED, la principal dificultad radica en la posibilidad de establecimiento a priori de efectos esperados relativos al cambio de actitudes, valores y conocimientos. Este tipo de modificaciones, fundamentalmente observables a medio-largo plazo, requieren de la formulación de proyectos con altos grados de estabilidad y consistencia teórica en lo que respecta a sus hipótesis centrales (cadenas de resultados), así como de análisis y diagnósticos previos muy ajustados al contexto de intervención, para poder plantear objetivos intermedios adecuados a las necesidades

24

¿Cuál es nuestro posicionamiento teórico?

concretas de la comunidad en la que se pretende intervenir7. Respecto al contexto, es necesario resaltar que la ED en el ámbito formal supone un entorno de intervención, frecuentemente, muy inestable y volátil para el profesorado, lo que dificulta la estabilidad necesaria para este tipo de procesos. Pero, además, el propio contexto social puede resultar extremadamente variable y versátil para articular acciones comunitarias. A esta variabilidad y volatilidad de las estructuras educativas formales contribuye también la incidencia de los distintos modelos territoriales que, a nivel comunitario, organizan el quehacer educativo en nuestro país. Por otra parte, en referencia a las herramientas y procedimientos, la ED se basa en principios metodológicos que no tienen por qué ser habituales en los centros educativos. La importancia de los procesos, del tempo del largo plazo y las herramientas participativas a menudo chocan con la rigidez de muchos de los entornos escolares. Todas estas características hacen especialmente necesario, de cara a la evaluación ex ante, un análisis y diagnóstico previos, que permitan: acotar la realidad y el contexto específico de cada una de las intervenciones que se plantean, reconocer los procesos de cambio (en procedimientos, estructuras, modos y maneras) que serán necesarios para la acción, la viabilidad, sostenibilidad, etc. y distinguir los efectos finales previstos por la Estrategia de Educación para el Desarrollo –cambios en los conocimientos, valores y actitudes de cara a promover una ciudadanía global–.

2.2.4. Sobre el concepto de “indicador” Teniendo en cuenta que el objetivo general es “diseñar y validar un sistema de indicadores…”, es preciso hacer alguna acotación específica respecto al concepto de indicador y a su planteamiento y

consideración en el conjunto del trabajo para que éste se comprenda adecuadamente. Entendemos como indicador cada una de las diferentes formulaciones o expresiones, cuantitativas y/o cualitativas, que permiten aproximarnos al comportamiento de cualquier realidad objeto de estudio. Los indicadores constituyen una de las formas más relevantes para sistematizar información sobre realidades complejas, en la medida en que, conjuntamente, reconstruyen de forma razonablemente aproximada, dichas realidades. Es decir, nos aproximan a cómo es la realidad. Este sentido de aproximación es fundamental para la comprensión del concepto y la funcionalidad de los indicadores, puesto que parte del reconocimiento de que muchas de las realidades a las que se enfrenta la intervención social compleja, y en concreto la ED, no pueden ser total y absolutamente caracterizadas. Pero sí podemos establecer un buen “dibujo” sobre ellas a partir de conjuntos de medidas y/o características (indicadores) que, si bien de forma individualizada no expresan más que parcelas aisladas de la realidad, colectivamente cooperan para conocer de forma más aproximada esa realidad. Por tanto, la selección de indicadores siempre puede considerarse arbitraria y/o mejorable. Lo importante de un buen sistema de indicadores es que plantee todas las posibles aproximaciones y características sobre las que la evaluación debe emitir su juicio, y que, conjuntamente, ofrezcan una perspectiva estable, válida y fiable. En cuanto al proceso adecuado para su definición hay que tener en cuenta las siguientes precisiones: Los indicadores deben partir de la definición de las variables críticas para cada objetivo. Es importante diferenciar que unos indicadores reflejan los resultados de la actuación pasada y otros describen lo que se hace (inductores). Los indicadores de resultados y los indicadores de desempeño o inductores forman una cadena

7 En el apartado metodológico, al tratar el de la Teoría del Programa, se profundizará en estas ideas.

Evaluación ex ante en Educación para el Desarrollo

en la que los resultados del nivel inferior pueden ser los inductores del nivel superior. (Grupo Kaizen, 2005). Los inductores o indicadores de desempeño son más ajustados a la intervención en el día a día, expresan cómo se desarrolla la acción y, por tanto, son más accesibles en la comprensión y la asunción de responsabilidad por los actores del proyecto, y generalmente apuntan al conocimiento de procesos. La lógica entre los inductores y los resultados radica en la probabilidad de que, consiguiendo que los inductores funcionen, se alcance el resultado. Eso sí, como hemos indicado anteriormente, esta lógica se sustenta en la existencia de un modelo teórico sólido, que debe estar planteado previamente en la intervención.8 Existe un acróstico internacionalmente conocido, el SMART, que puede ayudar a entender mejor el propósito de los indicadores: S pecific: dirigida a su área (al objetivo que se busca). M easurable: precisa y completa (datos confiables y completos). A ctionable: indica cómo actuar (orientada a la acción). R elevance: resultados significativos (información sobre lo que es importante). T imely: oportunos (en el momento que los necesita).

25

Los siguientes criterios pueden ayudar en la definición de indicadores (Grupo Kaizen, 2005): Los indicadores no deben ser ambiguos y se deben definir de manera uniforme en todo el proyecto. Los indicadores utilizados entre diferentes perspectivas deben estar claramente conectados. Deben servir para fijar objetivos realistas. Debe ser un proceso fácil y no complicado. Se debe buscar un equilibrio entre los indicadores de resultado y los indicadores de actuación (inductores). Una ruta para la definición de indicadores puede ser la siguiente: 1. Aclarar el objetivo: desde la estrategia general, aclarar qué es lo que se quiere conseguir. 2. Definir las variables que muestren logros (inductores): establecer las variables críticas que deben ir aproximando la consecución del objetivo final. 3. Establecer los indicadores críticos para cada una de las variables intermedias.

8 Cabe señalar en este punto que tanto los indicadores de resultados como los de desempeño están contextualizados en los diferentes criterios de evaluación y que, por tanto, estarán reflejados en la propuesta del sistema para la evaluación.

3. 3.1. Orientación y enfoque metodológico

El trabajo pretende elaborar y validar una propuesta científica y solvente de indicadores que incorporen en la evaluación ex ante de los proyectos de ED criterios y dimensiones sobre la expectativa de resultados relativos al cambio de actitudes, conocimientos y aptitudes de la población beneficiaria previstos en la Estrategia de ED. El proyecto de investigación partió inicialmente de las siguientes premisas e hipótesis: La necesidad de sistematizar un conjunto de indicadores de evaluación ex ante adecuados a la formulación de proyectos de ED formal. Esta sistematización debía elaborarse mediante un proceso de investigación científica que integrara la participación de agentes e interlocutores implicados en el sector. El sistema debía incorporar indicadores relativos a todos los criterios de evaluación implicados en el diseño de proyectos (detección de necesidades, pertinencia, viabilidad, eficacia, eficiencia, impacto, transparencia, etc.), y muy especialmente los relativos a la consecución de resultados finales indicativos del cambio cognitivo, actitudinal y valorativo. El peso correspondiente a cada uno de estos criterios variaría según la importancia relativa otorgada por los agentes del sector, de tal manera que el sistema final de indicadores permitirá contar con una jerarquía de criterios susceptibles de determinar el grado de adecuación de los proyectos que se presentan a las convocatorias.

Metodología empleada

Por otro lado, la propuesta de indicadores se planteó con el requisito de incorporar criterios (cualitativos y cuantitativos) sobre los siguientes elementos: Adecuación a las distintas etapas de la ED. Incorporación de contenidos conceptuales, procedimentales y actitudinales. Incorporación de dimensiones propias de la educación formal, así como de las posibles interacciones con la educación no formal e informal. En cuanto a los principios de carácter técnico y metodológico, la investigación se articula teniendo en cuenta:

a) Enfoque participativo y colaborativo El trabajo parte de una estrategia en la que tiene especial protagonismo la experiencia y necesidades del sector de la ED en España. Todo el proyecto está basado en la cooperación y participación de distintos tipos de agentes implicados: actores y agentes institucionales, ONGD, personas expertas en ED, población beneficiaria y la propia AECID. De esta manera, se garantiza que los resultados respondan a las necesidades sentidas por toda la comunidad que participa en el desarrollo de ED, así como que la aplicación del sistema final de indicadores implique un proceso consensuado de aprendizaje entre todas las partes intervinientes. Esta perspectiva permitirá reforzar la vinculación de las entidades con los procesos de inves-

28

Metodología empleada

tigación y evaluación de sus proyectos de intervención, participando en la detección y análisis de los puntos fuertes y débiles de sus sistemas de planificación.

b) Aplicación de la metodología científica Que asegurará la solvencia, validez y fiabilidad de los resultados propuestos.

c) Adecuación y diversificación de herramientas metodológicas Esta investigación requiere de la articulación adecuada de herramientas metodológicas que permitan dar respuesta a las diferentes necesidades expresadas en los objetivos. Para ello, se propone una combinación de técnicas, diversificadas en las distintas etapas y fases que se plantean. Finalmente, cabe decir que el proyecto quiere contribuir a reforzar las actuaciones de la Estrategia de ED ya que el sistema de indicadores de evaluación servirá para validar, reforzar y/o corregir

aspectos importantes del desarrollo de las actuaciones que se pongan en marcha. Además, el proceso de investigación diseñado permitirá, a posteriori, desarrollar un debate general entre las entidades del sector, respecto a las prácticas, objetivos y resultados esperados de los proyectos, que contribuirá en sí mismo a reforzar las capacidades de actuación e investigación de toda la red de agentes en ED. Asimismo, se prevé que la puesta en práctica del sistema de indicadores facilitará la reflexión, las propuestas y el avance general de las prácticas de todas las entidades implicadas en la materia.

3.2. Fases y técnicas El trabajo se estructuró en dos grandes etapas correspondientes con los dos grandes objetivos de la investigación: diseñar un sistema de indicadores estables, válidos y fiables para la evaluación ex ante de las acciones de ED en el ámbito formal y, posteriormente, validarlo. A su vez, estas dos etapas se dividen en diferentes fases, cada una de las cuales ha seguido una estrategia de aproximación metodológica diferencial:

Evaluación ex ante en Educación para el Desarrollo

ETAPA 1: DISEÑO DEL SISTEMA DE INDICADORES

FASE 1: ANÁLISIS DOCUMENTAL

FASE 2: APROXIMACIÓN CUALITATIVA

FASE 3: ESTUDIO DELPHI

FASE 4: SISTEMATIZACIÓN DE RESULTADOS Y PROPUESTA INICIAL DE INDICADORES

ETAPA 2: VALIDACIÓN DEL SISTEMA DE INDICADORES

FASE 1: SELECCIÓN DE ONGD Y PROYECTOS

FASE 2: ANÁLISIS PRELIMINAR DE LOS PROYECTOS

FASE 3: PRIMERA VALIDACIÓN DEL SISTEMA DE INDICADORES

FASE 4: ANÁLISIS DE RESULTADOS Y PROPUESTA FINAL

Imagen 3. Etapas de la investigación

29

30

Metodología empleada

ETAPA 1: DISEÑO

ETAPA 1: DISEÑO

ETAPA 2: VALIDACIÓN

Primera propuesta de indicadores Estudio Delphi

Sistematización de resultados y propuesta del sistema de indicadores

Primera validación de indicadores

Análisis de resultados y propuesta final del sistema de indicadores

Imagen 4. Etapa 1: Diseño del sistema de indicadores y sus fases

En este período de la investigación, desarrollado entre 2010 y 2011, se llevó a cabo la etapa de diseño preliminar del sistema de indicadores, la cual se organizó en torno a los siguientes propósitos: El primero fue sistematizar y analizar las principales referencias teóricas y prácticas existentes en la actualidad sobre valoración de acciones de ED, tanto a nivel estatal como internacional, que se correspondería con la fase de análisis documental. En segundo lugar, realizar una investigación cualitativa con población potencialmente beneficiaria de la ED en educación formal

(adolescentes y jóvenes escolarizados), que permita contrastar las principales referencias y actitudes sobre los contenidos y objetivos de la ED que sean susceptibles de incorporar al sistema de indicadores. Y, finalmente, establecer un proceso de participación de los expertos y representantes del sector para la elaboración y validación del sistema de indicadores. Para llevar a cabo cada uno de estos propósitos el trabajó contempló cuatro fases secuenciadas en las que se utilizaron diversas herramientas de recogida, análisis y sistematización de la información.

Evaluación ex ante en Educación para el Desarrollo

31

FASE 1: Análisis documental: Revisar las convocatorias de ED Analizar documentos teóricos y debate sobre ED

De cara a la confección de la primera propuesta de indicadores se han tenido en cuenta algunas de las referencias más relevantes que enmarcan la selección de criterios y los desafíos respecto a la evaluación en el contexto de la ED. Entre estas referencias se ha querido resaltar especialmente, además de documentos teóricos base, las propuestas incorporadas en determinadas convocatorias, tanto a nivel europeo, como estatal y local.

CONTENIDOS

Revisar las convocatorias de ED Se revisaron las convocatorias oficiales de ED, o en su defecto las bases de ayudas a ONGD en proyectos de cooperación al desarrollo, de diversas entidades locales, autonómicas, así como las de la AECID y de la Unión Europea. De cada una de ellas se extrajeron los criterios de selección tenidos en cuenta y se confeccionó una tabla en la que figuraban dichos criterios para cada una de las convocatorias. Dado lo extenso de esta información exponemos sólo a modo de resumen algunos de los criterios que resultaron coincidentes en varias entidades: CRITERIOS

Experiencia y reconocimiento previos en proyectos relacionados con el actual y en el ámbito de la sensibilización y la ED Capacidad técnica, logística, financiera y solvencia en relación al proyecto: gestión de proyectos similares. Eficiencia de los recursos financieros

ENTIDAD

Colaboración, presentación conjunta o consorcios de diferentes ONG, colectivos, organizaciones y organizaciones de ED TEMÁTICA DEL PROYECTO

Relación de la problemática abordada y una problemática de nuestra sociedad y/o con una temática relevante de la agenda internacional o de la CPD Vinculación local-global: contextualización Sostenibilidad medioambiental Equidad de género

PERSPECTIVA DE GÉNERO

POBLACIÓN OBJETIVO FORMULACIÓN Y EVALUACIÓN

Imagen de la mujer como sujeto de desarrollo: integración en lo político, lo social, lo económico y lo cultural Información, formación, intercambio y/o sensibilización sobre la incorporación de la perspectiva de género en el desarrollo y sobre experiencias enfocadas a la igualdad de género y al empoderamiento Proyecto dirigido a un grupo determinado Coherencia entre justificación, objetivos y actividades. Relación adecuada y eficacia de las actividades, medios y costes Definición precisa de objetivos, indicadores y resultados. Planificación previa y plan de actuación Actividades fruto de un análisis y diagnóstico previo

Tabla 2. Ejemplo de criterios extraídos de las convocatorias oficiales de ED o de Cooperación

32

Metodología empleada

CONTENIDOS METODOLOGÍA COMUNICACIÓN Y DIFUSIÓN

SENSIBILIZACIÓN SOCIAL

CRITERIOS Innovación en recursos y métodos de trabajo en ED Acciones y programas de sensibilización, información, difusión en medios de comunicación, divulgación Método y sistema de difusión adecuados a los sujetos, a las condiciones y al contexto y a los intereses de los participantes Promoción y fortalecimiento de conocimiento e intercambio entre los colectivos del Sur y de la comunidad local Acciones de ED y fomento de procesos educativos con el fin de transformar la sociedad Implicación de voluntariado

FORTALECIMIENTO Y PARTICIPACIÓN SOCIAL SOSTENIBILIDAD

Participación de los colectivos del “Sur” en la concepción y el desarrollo del proyecto. Promover y fomentar el protagonismo de los agentes del Sur Participación y movilización de las personas implicadas. Estrategias participativas por parte de la población beneficiaria Continuidad de la acción educativa o solidaria en el tiempo

Tabla 2 (continuación). Ejemplo de criterios extraídos de las convocatorias oficiales de ED o de Cooperación

Analizar documentos teóricos y debate sobre ED Se analizó y sistematizó la información –que pudiera ser pertinente para esta investigación– de diversos documentos teóricos y debates relevantes en la ED recogiendo la perspectiva de ONGD, administraciones (AECID, Unión Europea), expertos, académicos, etc., tanto a nivel nacional como internacional, relativa a: términos y contenidos clave para entender la ED, experiencias en ED, nuevos modelos de evaluación, marco conceptual y análisis de resultados, instrumentos de auto-diagnóstico, construcción de ciudadanía global, propuestas de sistematización, impacto de las acciones de ED en los destinatarios y en el sistema de cooperación, etc.

Dicho análisis documental ha puesto de manifiesto la diversidad de criterios existentes actualmente en la valoración de los proyectos, así como la demanda del sector de contar con herramientas claras que tengan en cuenta aspectos concretos y específicos del ámbito de la ED formal. Esta demanda señala especialmente la inexistencia de criterios claros relativos a la determinación de la consecución de efectos finales. El debate sobre la evaluación de resultados, y su correlato en la imprevisión general en el diseño de los proyectos a este respecto, es uno de los ejes clave que el trabajo de investigación en conjunto ha tratado de resolver en el sistema final de indicadores.

Evaluación ex ante en Educación para el Desarrollo

33

FASE 2: Aproximación cualitativa: Entrevistas semiestructuradas Grupos de discusión

Entrevistas semiestructuradas Conjuntamente con el estudio de los documentos detallados anteriormente, se realizó una batería de entrevistas semiestructuradas en profundidad a personas expertas en la materia, tanto desde la Administración Pública como desde las ONGD, desde distintas posiciones respecto a la planificación y la gestión de programas y/o convocatorias de ED formal. El objetivo de las entrevistas era analizar los puntos de vista especializados, determinando las claves que, a priori, se consideraban más relevantes en la planificación de proyectos de ED formal, para poder incorporarlas en la propuesta inicial. Las grandes líneas discursivas en torno a las que giraron las conversaciones fueron:

a) Desarrollo de procesos educativos Una de las posiciones clave es la que parte de la convicción de que la educación, y por tanto la ED o Educación para la Ciudadanía9, es sobre todo un proceso destinado a la transformación social, se concibe como una acción transformadora global. Su capacidad de incidencia se optimizará si se constituye en un movimiento capaz de realimentarse y aprender conjuntamente, mediante el establecimiento y mantenimiento de relaciones internas, sostenidas y creativas, entre los miembros de la comunidad educativa (redes).

9 Definición más cercana al concepto de quinta generación.

b) La importancia de la transformación y el movimiento comunitario Otra de las posiciones clave es la que resalta la importancia de la intervención educativa formal como parte en un proceso más abierto y global de incidencia en la comunidad. Desde esta perspectiva, el énfasis de la ED formal debería centrarse en la definición de un proceso que permitiera su culminación, en el medio-largo plazo, pero con acción en el corto plazo, en el conjunto de la sociedad, mejor dicho de las comunidades en las que se insertan los centros educativos. La idea en esta posición es el énfasis específico en el hecho de que la transformación meramente educativa no es nada si no se traslada al conjunto de la comunidad, por lo que es necesario alimentar la ED en un sentido procesual abierto y, en permanente conexión, con las estructuras comunitarias.

c) La necesidad de clarificar los resultados La tercera de las perspectivas es la que se centra en destacar la trascendencia de la explicitación y el análisis del cambio esperado, en el corto, medio y largo plazo, como fruto de las intervenciones de ED formal. Esto emerge como una de las carencias fundamentales en los proyectos de ED, en la medida en que resulta más operativa la concreción del cumplimiento de actividades y resultados de acción

34

Metodología empleada

más que la determinación, o al menos, previsión de los efectos cognitivos, actitudinales, valorativos y comportamentales finales que pretenden los proyectos. Siendo así, desde esta perspectiva se distingue este aspecto como un posible criterio de excelencia en la formulación de los proyectos, más allá de la explicitación de los mecanismos de gestión y/o la mera planificación operativa concreta.

d) La necesidad de sistematización y priorización de criterios en la planificación Finalmente, una cuarta orientación es la que apunta la necesidad sentida y demandada de contar con un sistema común que estructure la determinación de prioridades y criterios, tanto en la formulación como en la evaluación de proyectos. La exigencia de contar con un sistema ajustado que priorice los criterios se concibe, además, como un recurso común desde el que las administracioCRITERIOS

nes y las ONGD y/o entidades que promueven proyectos de ED formal puedan situarse y llegar a acuerdos para orientar las tácticas y las estrategias. A partir de esos ejes del discurso, en las entrevistas han surgido aportaciones de especial relevancia para la configuración del sistema de indicadores, muy especialmente las relativas a: La importancia de los resultados en el diseño de los proyectos. Dificultades para definir los efectos esperados y su ajuste a los contextos específicos. Problemas en la verificación y el diseño. El contenido metodológico y el proceso como entorno de resultados y efectos. Transformación social y comunitaria desde la escuela. Todo lo anterior, a su vez, se ha concretado en diferentes temas y criterios, tal y como se aprecia en la siguiente la tabla: DESCRIPCIÓN Y CONTENIDOS

1. Contexto

Los proyectos están claramente ajustados a un contexto específico. Las prácticas de ED se insertan en las dinámicas específicas de cada uno de los centros educativos, especialmente en el currículo. Identificar las características del centro desde el punto de vista del ajuste a las realidades concretas de los y las alumnas, de sus perfiles y del conocimiento de sus posiciones de partida respecto a los conceptos de ED.

2. Tipos de beneficiarios

Definir y ajustar estrictamente la intervención al colectivo real con el que se va a trabajar, determinando qué acciones corresponden a cada grupo o “segmento” social.

3. Análisis del contexto y experiencias previas

Análisis preciso del entorno y contexto de intervención, que debe delimitar las características diferenciales de cada uno de los proyectos y que posibilite ajustar el resto de la planificación a las condiciones extraídas. El proyecto debe incorporar las posibilidades y necesidades a las que atenderá el programa y el porqué de las actividades y la orientación específica.

4. Niveles de intervención

El proyecto debe definir claramente la orientación de Educación para el Desarrollo Las acciones de ED deben definir sus fases específicas y los niveles de intervención (información, cambio de actitudes), también el colectivo concreto, así como las actividades previas de diagnóstico y ajuste al contexto. Debe prever un cierto grado de continuidad en las acciones (enlazando con la planificación curricular), la explicitación de los acuerdos y compromisos del centro, y las fases que se pronostiquen para el futuro.

Tabla 3. Criterios y contenidos extraídos de las entrevistas a personas expertas en ED

Evaluación ex ante en Educación para el Desarrollo

CRITERIOS

35

DESCRIPCIÓN Y CONTENIDOS

Criterios relacionados con las “buenas prácticas educativas”, ajustadas al entorno escolar y a las realidades de docentes y alumnado. 5. Procesos de transformación Reforzar y aportar recursos y contenidos para el desarrollo de un rol transformador desde los docentes, social desde la escuela basado en la comunicación, en el establecimiento de relaciones significativas entre docentes y alumnos, y un cierto nivel de compromiso en el desarrollo de un proceso a medio-largo plazo. 6. Impacto comunitario

Capacidad del proyecto para abrirse al entorno y para incidir en la comunidad. Incorporar al entorno en la práctica educativa mediante la implicación de entidades y movimientos comunitarios en las diferentes prácticas de ED.

7. Intensidad y cobertura

Previsión ajustada (en recursos, acciones, plazos, objetivos, etc.), según condiciones, características, etc.

8. Cambio de actitudes y plazos

Concretar claramente las expectativas de cambios finales, a distintos niveles (cognitivo, actitudinal, valorativo, comportamental), determinando las posibilidades de consecución según áreas y dimensiones, en las que la intervención prevea su marco de acción. Concretar el grado y el tipo de cambio que es posible según las condiciones de la intervención. En este sentido se apuesta por la introducción de variables intermedias o inductoras, ajustadas (actitudes, sentimientos, emociones, empatía, motivación).

9. Definición de resultados

En el proyecto ha de constar la diversidad de tipos de resultados en función del contexto, los recursos y las necesidades. Los criterios que se deben tener en cuenta radican en el aprovechamiento de las condiciones del entorno para optimizarlas a favor de las pretensiones del proyecto para trabajar otros conceptos de nivel superior, o más directamente relacionados con los objetivos.

10. Modelo lógico conceptual del programa

Incorporar en la definición del proyecto el marco teórico que justifica la intervención concreta y que haga posible la explicitación de resultados finales e intermedios. Definir claramente la cadena de hipótesis y el proceso mediante el cual los diferentes resultados intermedios se irán concatenando en el desarrollo del proyecto hasta llegar a la meta final.

11. Coherencia en la programación

Coherencia de la planificación, tanto en términos internos como externos. Lógica clara de la programación en la definición de todos sus conceptos (necesidades, objetivos, recursos, plazos, actividades, etc.), de tal manera que no existan saltos conceptuales o incoherencias que no se justifiquen de una manera estructurada. El proyecto debe ser coherente con las políticas y estrategias de los acuerdos estatales, locales e internacionales.

La apuesta por acciones integradas en los centros escolares, con implicación y liderazgo de los docentes, implica la asunción de un cierto grado de opacidad en lo que discurre al interior del aula, 12. Opacidad de los resultados en lo que respecta a las prácticas concretas de cada uno de los docentes concretos. en el aula Trabajar con énfasis en las capacidades y recursos técnicos, institucionales, y también actitudinales, del profesorado. 13. Presupuesto

Coherencia de las propuestas económicas mediante la explicitación de la necesidad del gasto y/o los recursos, en función de la congruencia de las actividades y el contenido global del proyecto.

14. Metodología

Proponer herramientas y técnicas que faciliten el desarrollo del cambio de paradigma educativo. Los cambios de actitudes, valores, etc. requieren la apuesta por la práctica mediante herramientas metodológicas centradas en la participación, diversidad, innovación en el contexto, la motivación, etc.

15. Sostenibilidad

Los presupuestos y los recursos deben irse ajustando para que las intervenciones sean auto mantenidas; los procesos de transformación social no pueden ser puntuales.

16. Entidad

Idoneidad de la entidad que promueve el proyecto para garantizar el éxito en las intervenciones programadas. La entidad debe contar con fines formales y una orientación general que sea coherente con los requisitos de este tipo de proyectos. Se considera la experiencia previa como una garantía, al igual que la capacidad de gestión. Alto grado de implantación e implicación comunitarias.

Tabla 3 (continuación). Criterios y contenidos extraídos de las entrevistas a personas expertas en ED

36

Metodología empleada

Grupos de discusión El grupo de discusión es una técnica de investigación social cualitativa, que permite un alto nivel de penetración en los discursos sociales respecto al tema de investigación. Esta técnica permite la expresión del discurso libre acerca de los temas tratados y refleja la estructura de opiniones, creencias y actitudes individuales y sociales mediante la confrontación y el debate de ideas, así como las percepciones sobre los mismos. La potencia explicativa de los grupos de discusión hace que sean una técnica especialmente adecuada para explorar las expectativas, los deseos, los referentes y las autopercepciones de las personas participantes. Para nuestra investigación los grupos se constituyeron teniendo en cuenta el nivel de escolarización y la participación activa en voluntariado, teniendo 12 grupos de discusión, mixtos y con diferenciación según género, con 8/9 participantes en cada uno. Se organizaron teniendo en cuenta por un lado, la dimensión territorial –Sevilla, Madrid, Barcelona, Oviedo y Valencia– y por otro, el nivel de estudios –Secundaria y Bachillerato y universidad– y el voluntariado. El objetivo era rastrear los referentes actitudinales y comportamentales de la población potencialmente beneficiaria de las intervenciones de ED y detectar los elementos clave del discurso que plantearan la necesidad de profundizar en determinados aspectos a través de las acciones de ED. Se constató lo siguiente: La dimensión de cierta lejanía con la que se abordan estos temas. La globalización parece tener eco en el conocimiento de la realidad mundial pero parece que lo local impone un freno y una barrera que impide el reflexionar de manera profunda sobre la necesidad de generar una conciencia activa más allá del territorio próximo. Por ejemplo, se está más preocupado sobre el tema del medioambiente (sobre su cuidado) porque es algo que “toca” de manera directa y visible y menos, por ejem-

plo, con el problema del subdesarrollo que se percibe en la órbita de lo internacional. La información que se observa sobre algunos temas tratados resulta fruto de una sobreexposición hacia los mismos, pero, al parecer, crea una percepción difusa y desequilibrada, que conlleva a distorsiones reales de algunos conceptos como pobreza, solidaridad o, en general, la ayuda humanitaria y la cooperación. Sería preciso, como objetivo, que la ED desarrollara marcos educativos que tuvieran en cuenta estos hechos; el primero, la trascendental importancia que tiene la ejemplificación como vínculo y conexión entre actitudes y comportamiento; la información sola, en sentido estricto, es capaz de promover actitudes pero no cambios de mentalidad reales, que tengan trascendencia en los comportamientos, y en las emotividades. En cuestiones relacionadas con solidaridad, desarrollo y cooperación sólo se es consciente de determinados elementos, lo concreto y llamativo, pero se da menos importancia y existe un mayor desconocimiento de las causas realmente generadoras de situaciones tales como la pobreza y la miseria, como lo son el subdesarrollo, la desigualdad en oportunidades y la falta de equidad en las relaciones humanas y económicas. Si se habla por ejemplo de cuestiones superiores morales y éticas, como equidad o justicia social, el nivel de desconocimiento es amplio siendo, de hecho, la base sobre la que se deberían articular las políticas en ED. Y, como punto esencial, los jóvenes se perciben a sí mismos como más sensibilizados y concienciados con los problemas acerca de la solidaridad y el desarrollo que generaciones anteriores y, sin embargo, los elementos profundos de estos aspectos resuenan todavía con ecos lejanos entre la gran mayoría de jóvenes. La información aportada por los grupos de discusión nos sirvió para reseñar la idea de la necesidad de clarificar los contenidos de las acciones concretas.

Evaluación ex ante en Educación para el Desarrollo

37

Primera propuesta de indicadores

Basándonos en la información y análisis obtenidos de los documentos y convocatorias de ED y de las entrevistas a personas expertas, se elaboró una primera formulación, una primera propuesta sistematizada de indicadores, que sirvió como soporte para el debate con el grupo ampliado de expertos y expertas en el siguiente paso de la investigación, la fase Delphi10. Esta primera propuesta está constituida en torno a las fases en el diseño del proyecto (fase FASE 1. DIAGNÓSTICO

FORMA DE PROVISIÓN EN EL PROYECTO Análisis de la realidad (Identificación)

de diagnóstico11 y de formulación12), las formas de provisión –u organización de la realidad– en la formulación del proyecto y la determinación de los criterios-tipo generales en la propuesta que estructuran el conjunto de los indicadores. La configuración completa en la relación entre fases, formas de provisión y tipos de criterios es la siguiente:

TIPOS DE CRITERIOS (ASPECTOS RELEVANTES EN LA FORMULACIÓN DEL PROYECTO) 1.1. Precisión y ajuste del diagnóstico 2.1. Pertinencia

Planteamiento de organización y gestión del proyecto

2.2. Eficiencia 2.3. Viabilidad 2.4. Transparencia y rendición de cuentas

2. FORMULACIÓN

Control de actividades respecto a la ejecución y el proceso de intervención

2.5. Monitorización 2.6. Eficacia/ Efectividad

Delimitación de resultados esperados según los objetivos de ED

2.7. Sostenibilidad 2.8. Impacto

Tabla 4. Elementos que estructuran el conjunto de indicadores

10 El método Delphi se explica con detalle en el apartado siguiente. 11 Fase de conocimiento sobre las necesidades concretas y las características del entorno de la realidad sobre la que se va a intervenir, así como otras informaciones relevantes para el diseño de la intervención. 12 Fase en la que se articulan y diseñan las distintas partes y aspectos del proyecto que dan cuerpo al conjunto de la planificación.

38

Metodología empleada

Los principales contenidos de los criterios tipo que organizan el conjunto de indicadores serían: CRITERIOS TIPO

EXPLICACIÓN DE LOS CONTENIDOS

1.1. Precisión y ajuste del diagnóstico

Valoración del conocimiento previo y la información de que dispone el proyecto para ajustar su formulación y resultados esperados

2.1. Pertinencia

Valoración de la adecuación y coherencia de la propuesta respecto a la convocatoria, necesidades del contexto y población destinataria, etc.

2.2. Eficiencia

Valoración de las previsiones del proyecto para optimizar los recursos humanos, técnicos, materiales y organizativos

2.3. Viabilidad

Valoración de las posibilidades y garantías de desarrollo del proyecto desde el punto de vista de las condiciones de la entidad y el contexto

2.4. Transparencia y rendición de cuentas

Valoración de las previsiones del proyecto respecto a la devolución de resultados a la/s comunidad/es

2.5. Monitorización

Valoración de la previsión de control del proceso de intervención (actividades, beneficiarios, organización interna, etc.)

2.6. Eficacia/ Efectividad

Valoración de la explicitación y coherencia de resultados esperados en términos de modificación de actitudes, conocimientos y valores, así como desde la perspectiva de los recursos metodológicos y tecnológicos adecuados para estos fines

2.7. Sostenibilidad

Valoración de la capacidad del proyecto para perdurar en el tiempo más allá de la financiación actual

2.8. Impacto

Valoración de la capacidad del proyecto para generar resultados y efectos multiplicadores, más allá del ámbito concreto de intervención, contribuyendo a la articulación comunitaria. Tabla 5. Contenidos de los criterios tipo de la propuesta inicial

Por encima de todos los criterios tipo a valorar en la formulación del proyecto se plantean también tres criterios transversales que se refieren al cumplimiento, en el conjunto del proyecto, de los requisitos relativos a las exigencias básicas en materia de los consensos establecidos en la Estrategia de Educación para el Desarrollo, el Plan Director y el conjunto de documentos marco en la materia

sobre Educación para el Desarrollo, Perspectiva de Género e Interculturalidad. Los criterios transversales se considerarán en la propuesta como un requisito imprescindible, cuya puntuación será independiente a la del resto de los indicadores, y que se constituirá como valoración global sin la que el resto de los criterios no se puntuarían.

39

Evaluación ex ante en Educación para el Desarrollo

Adecuación a Estrategia ED

Perspectiva de género

Interculturalidad

Criterios transversales

Valoración final

Análisis integral del diseño

Imagen 5. Contenidos del sistema de indicadores

40

Metodología empleada

FASE 3: Estudio Delphi

El método Delphi es una técnica de investigación cuantitativa basada en el debate y el consenso “a distancia” mediante el análisis de la información y la valoración individualizada de cada uno de los participantes en dicho instrumento. Su funcionamiento formal es prácticamente el de una encuesta, en la que la característica fundamental es que se estructura en varias oleadas o momentos de puntuación (todos los participantes en el grupo valoran, al menos, dos veces la propuesta), y se dirige a una muestra reducida de personas especialmente significativas en el tema que se trata de investigar. En nuestro caso, representantes, especializados en ED, de Comunidades Autónomas y Ayuntamientos, representantes de ONGD con trayectoria en la materia y con personas expertas de otras entidades públicas y privadas (universidades fundamentalmente). Para ello, la AECID estableció un contacto previo explicando su participación y aval al proyecto. El grupo final que avaló los resultados estaba compuesto por 15 expertos y expertas. Con esta técnica, en nuestra investigación se buscó priorizar y asignar puntuaciones a cada uno de los criterios tipo y a sus respectivos indicadores, surgidos de la propuesta inicial. Es decir, pretendíamos validar la idoneidad de cada uno de los aspectos de la propuesta inicial, así como priorizar su grado de importancia relativa para la formulación y valoración de proyectos de ED formal. El proceso se completó en dos oleadas, con el siguiente desarrollo:

1. Envío del documento a los participantes con la primera propuesta. 2. Puntuación y valoración individual, para que prioricen los indicadores de la propuesta, resaltando los más y menos relevantes, así como el grado de importancia concedida a cada uno y devolución de los cuestionarios individuales. 3. El equipo investigador analiza y resume los resultados (puntuaciones medias, modas, máximos y mínimos) para cada indicador. 4. Preparación, por parte del equipo de trabajo, del segundo documento con las puntuaciones medias obtenidas. 5. Segundo envío, con la propuesta que incluye los resultados globales para que cada participante revise su puntuación y pueda modificarla en base a las puntuaciones del conjunto del grupo. 6. Análisis final de resultados: se analiza la información de la segunda oleada para dar como resultado la propuesta final priorizada. Los datos finales fueron analizados estadísticamente para la obtención de resultados (puntuaciones medias, modas, intervalos…). Mediante las puntuaciones resultantes se estableció la priorización y jerarquía entre los distintos criterios tipo y cada uno de los indicadores referidos a cada criterio.

Evaluación ex ante en Educación para el Desarrollo

41

FASE 4: Sistematización de resultados y propuesta del sistema de indicadores

La fase final de esta etapa de la investigación (etapa de diseño) consistió en la sistematización de los resultados anteriores, integrándolos en la propuesta sistematizada de indicadores para la evaluación ex ante de proyectos de ED en el ámbito formal. Esta propuesta cuenta con 73 indicadores que recorren el conjunto del diseño del proyecto, agrupados en nueve apartados, que hemos denomina-

CRITERIOS TRANSVERSALES

do “criterios tipo”. Por encima de estos 73 indicadores, se sugieren otros 10 indicadores relativos a la puntuación de los “criterios transversales”, que representarían una valoración independiente y globalizada para el conjunto del proyecto, y que se considerarán criterios imprescindibles para la adjudicación final. La distribución de puntuaciones entre los distintos criterios quedaría de la siguiente manera13:

SOBRE 100 PUNTOS

0.1. Adecuación EDD

51

0.2. Perspectiva de género

26

0.3. Interculturalidad

23

TOTAL

100

CRITERIOS TIPO

SOBRE 100 PUNTOS

1.1 Precisión y ajuste diagnóstico

11,5

2.1 Pertinencia

12,6

2.2. Eficiencia

10,3

2.3. Viabilidad

10,8

2.4. Transparencia y rendición de cuentas

10,3

2.5. Articulación/Monitorización

9,9

2.6. Eficacia/Efectividad

12,1

2.7. Sostenibilidad

10,3

2.8. Impacto

12,4

TOTAL

100 Tabla 6. Puntuaciones de los criterios transversales y criterios tipo

13 Dada la extensión de cada propuesta de sistema de indicadores y puesto que es una herramienta que se ha ido puliendo a lo largo de todo el proceso de investigación, sólo expondremos, en el apartado 4 de Resultados, la propuesta “final” del sistema de indicadores fruto de todo este trabajo.

42

Metodología empleada

ETAPA 2: Validación

ETAPA 1: DISEÑO

ETAPA 2: VALIDACIÓN

Primera propuesta de indicadores Estudio Delphi

Sistematización de resultados y propuesta del sistema de indicadores

Primera validación de indicadores

Análisis de resultados y propuesta final del sistema de indicadores

Imagen 6. Etapa 2: Validación del sistema de indicadores

Una vez diseñado el sistema de indicadores para la evaluación ex ante de proyectos de ED en el ámbito formal, se propuso la segunda etapa de la investigación, cuyo objetivo principal fue validar el sistema de indicadores mediante un proceso de investigación que permita la verificación de su capacidad, potencial y límites contrastándolo con las planificaciones y la elaboración de proyectos por parte de ONGD. Se hace necesaria una verificación de la capacidad de los proyectos elaborados por las ONGD para responder a los criterios de valoración y evaluación diseñados a priori. Se trató de validar en terreno, sobre proyectos reales de ED en el ámbito formal que desarrollan ONGD, los siguientes contenidos en el sistema de indicadores propuesto:

Que los indicadores que constituyen el sistema sean parte fáctica de los diseños de intervención que proponen las ONGD. Se trata de validar la especificidad, relevancia y pertinencia de los indicadores. Que tienen capacidad discriminatoria en los rangos que se han establecido para su puntuación, o lo que es lo mismo, que para diferentes proyectos cada indicador aporta información clave para su valoración. Esta cuestión está relacionada con la validez de los indicadores. Que el sistema de indicadores final es estable y puede ser replicado por distintas instancias (por ejemplo, diferentes evaluadores) sin que varíen sustancialmente los resultados finales de la valoración de los proyectos de ED formal. O lo que es lo mismo, validar su fiabilidad.

Evaluación ex ante en Educación para el Desarrollo

Para ello, en primer lugar habría que analizar proyectos de ED desarrollados, o en fase de planificación, para verificar en qué medida los indicadores se encuentran en los distintos proyectos y determinar los criterios de “evaluabilidad” de los proyectos de ED en el ámbito formal. A continuación, se trataría de analizar los tipos y herramientas de evaluación presentes en la actualidad en los proyectos de ED en el ámbito formal que están llevando a cabo las ONGD par-

43

ticipantes en el estudio, así como los resultados de las mismas. Y, por último, sobre la base de la planificación y desarrollo de proyectos, plantear un sistema validado de indicadores para la evaluación ex ante de proyectos de ED en el ámbito formal. Para alcanzar estos objetivos la investigación en esta etapa se estructuró en cuatro fases, con, a su vez, distintas etapas, las cuales siguieron diferentes aproximaciones metodológicas.

FASE 1: Selección de ONGD y de proyectos: Diseño de las herramientas de investigación

De conformidad con la AECID se realizó una selección de posibles ONGD participantes en esta etapa de la investigación en base a su dimensión, experiencia en proyectos de ED y tipología organizativa. El equipo de investigación contactó con las organizaciones y se planteó un acuerdo de colaboración para llevar a cabo esta etapa del trabajo. Finalmente fueron siete las ONGD especializadas, y con trayectoria, en el campo de la ED formal que participaron en esta parte de la investigación: Entreculturas Intered Intermón Oxfam (IO) Jóvenes y Desarrollo (JyD) MPDL Ongawa Veterinarios sin Fronteras (Vetermon)

A partir de ese acuerdo, se procedió a seleccionar, junto con las ONGD, un proyecto de ED de cada una de ellas desarrollado, o en fase de planificación, en el ámbito educativo formal y sobre los que se iniciaría el proceso de validación del sistema de indicadores. Para cada proyecto se solicitó a las entidades la aportación de la documentación relativa a la planificación utilizada en sus proyectos correspondientes, en los formatos utilizados para su aprobación por parte de la AECID. Finalmente, en esta fase, se planificaron y diseñaron los instrumentos de investigación necesarios para llevar a cabo el análisis integral del diseño de los proyectos seleccionados de las ONGD. Este diseño fue consensuado con las entidades participantes.

44

Metodología empleada

FASE 2: Análisis preliminar de los proyectos: Análisis integral del diseño Revisión de la formulación de proyectos

La segunda fase permitió el análisis integral del diseño de los proyectos seleccionados para cada ONGD. Este análisis fue un paso previo necesario para la aplicación inicial del sistema de indicadores. El análisis de los proyectos se ha realizado desde el punto de vista de su diseño formal, mediante la aplicación de la Teoría del Programa (análisis del cambio y de la implementación), a través de la identificación de los elementos internos que relacionan los procesos propuestos en las interven-

ciones de ED formal con los efectos (resultados) esperados. Se trabajó con las entidades en el análisis y revisión de la formulación de los proyectos para establecer su evaluabilidad, esto es, la posibilidad de que sean sometidos a una evaluación de diseño ex ante. Cuando la formulación lo requiso, se planteó a las entidades la posible reconstrucción o reformulación de la planificación, para hacerla operativa en términos de evaluación.

FASE 3: Primera validación del sistema de indicadores: Valoración genérica de los proyectos Valoración pareada de los proyectos

Una vez analizados los proyectos y garantizada su evaluabilidad, se procedió a la primera aplicación de la batería de indicadores propuesta, ajustando en cada caso los valores y criterios internos que permiten establecer el recorrido de cada indicador en la escala propuesta. Se trataba de establecer los baremos internos de cada uno de los indicadores del sistema propuesto, es decir, la determinación de su posible rango de variación interna para ajustar criterios objetivables. Se realizó una baremación 2/2 por parte del equipo investigador: la valoración de cada proyecto por dos miembros del grupo de trabajo, es decir, se realizaron dos valoraciones individualizadas de cada proyecto según la propuesta de indicadores y, posteriormente, se realizó la comparativa de la valoración pareada. Esta técnica proporciona estabilidad en la cuantificación de cada uno de los indicadores propuestos.

El objetivo era establecer, de forma inicial, la consistencia y validez de la batería de indicadores diseñada, mediante el análisis transversal de estos a lo largo de la doble valoración de los siete proyectos analizados. Este análisis se basó en el supuesto de que la consistencia de un indicador viene determinada por su estabilidad en las valoraciones, es decir, que debía mostrar la misma puntuación en cada valoración pareada. De esta forma, se establecieron las coincidencias y discrepancias en las puntuaciones pareadas. Posteriormente, se sumaron estas coincidencias y discrepancias para cada indicador y, en función de esto, se estableció una escala en la que cada indicador se consideraba estable, medio o crítico (baja consistencia). A estas valoraciones numéricas se añaden las observaciones y/o recomendaciones de cambios hechas por cada evaluador o evaluadora respecto de cada indicador.

Evaluación ex ante en Educación para el Desarrollo

45

FASE 4: Análisis de resultados y propuesta final del sistema de indicadores: Contraste de baremos en un proceso global Elaboración de la propuesta final

La última fase del proyecto permitirá unificar los baremos y criterios de los distintos proyectos y entidades para la elaboración de la propuesta baremada y validada de indicadores de evaluación ex ante de acciones de ED en el ámbito formal. En esta fase se desarrollan los dos últimos apartados del proyecto:

a) Contraste de baremos en un proceso global Se trata de aplicar los baremos individualizados por proyectos al conjunto de todos los incluidos en la investigación. Por un lado se unificaron los baremos y se determinaron los indicadores críticos y estables según criterios de coincidencia/discordancia valorativa en cada uno de los análisis pareados y, por otro, se identificaron indicadores redundantes y/o asociados mediante un análisis factorial para su posterior eliminación. Este paso permitió verificar finalmente, y establecer las correcciones necesarias en su caso, el sistema de indicadores, de tal manera que pueda considerarse útil, válido y fiable para cualquier proyecto que se someta a valoración con él. Para ello se llevó a cabo un análisis factorial de indicadores. El análisis factorial es una técnica de análisis multivariante que se utiliza para el estudio e interpretación de las correlaciones entre un grupo de variables, en nuestro caso los indicadores. Dichas correlaciones no son aleatorias, sino que se deben a la existencia de dimensiones comunes entre ellas. El objetivo de este análisis factorial es la identificación y cuantificación de dichas dimen-

siones comunes, agrupando indicadores en factores y evitando con ello la presencia de redundancias.

b) Elaboración de la propuesta final El último apartado consistió en la sistematización de toda la información obtenida en el proceso de investigación y la presentación de la propuesta final del sistema de indicadores que mostraremos en el apartado siguiente de Resultados. El resultado de esta segunda parte de la investigación ha sido la validación del sistema de indicadores y su reducción, en aras de presentar un sistema más ágil, útil y aplicable tanto por parte de las entidades evaluadoras como por las propias organizaciones que diseñan proyectos de ED. Para ello se ha tenido en cuenta tanto la valoración pareada como el análisis factorial, así como los comentarios de los evaluadores y las evaluadoras. Hay que señalar aquí que la reducción del número de indicadores se ha establecido en función de: la integración o aglutinación en un solo indicador de los aspectos recogidos en dos o más indicadores (análisis factorial) y la eliminación o el mantenimiento de un indicador en el sistema fundamentado en la estabilidad y el peso de dicho indicador en la dimensión que pretendía explicar. Así, por ejemplo, se han eliminado indicadores cuya estabilidad era “media” (en la valoración pareada), pero que apenas tenían peso (puntuación baja del factorial) en la explicación del criterio evaluado.

4.

Resultado final: propuesta de indicadores

El resultado final de todo el proceso de investigación es el sistema de indicadores que exponemos seguidamente. De manera resumida, las características principales de este sistema son las siguientes: La propuesta tiene como referentes básicos los postulados del Plan Director 2009-2012 y la Estrategia de ED, en cuanto a la necesidad y planteamiento de las estrategias y tácticas de investigación y evaluación en el sector y las acciones correspondientes. El sistema se basa en la propuesta de análisis integral del diseño, que contempla todas las fases de desarrollo de un proyecto desde la planificación a la evaluación, incluyendo en dicha evaluación, de forma específica, la verifica-

Basados en los postulados del Plan Director 2009-2012 y la Estrategia de Educación para el Desarrollo

ción de la consecución de objetivos de cambio (eficacia, efectividad e impacto) referidos a las prioridades establecidas en la Estrategia de ED (cambios en actitudes, conocimientos y comportamientos). Se trata de aportar un sistema de criterios que faciliten la formulación y evaluabilidad de los proyectos que se presentan a las convocatorias. El sistema está diseñado mediante un proceso de investigación participativa, en el que han colaborado personas significativas tanto de las ONGD que trabajan en proyectos de ED en el ámbito formal, como expertos y expertas en la materia y responsables de instituciones y entidades públicas y privadas, así como la propia AECID –propulsora de esta investigación–.

Válido para su aplicabilidad a distintos entornos territoriales y realidades institucionales/organizativas diversas

35 indicadores referidos a 9 criterios tipo + 6 indicadores de 3 criterios transversales Diseño mediante un proceso de investigación participativa

Propuesta de análisis integral del diseño, que contempla todas las fases de desarrollo de un proyecto, desde la planificación a la evaluación

Imagen 7. Características de los criterios del sistema de indicadores

48

Resultado final: propuesta de indicadores

La propuesta se basa en la experiencia y recomendaciones de personas y entidades de distintos entornos (públicos y privados) y realidades territoriales (diferentes entidades locales, Comunidades Autónomas…), por lo que es válido para su aplicabilidad en distintos entornos territoriales y realidades institucionales y organizativas diversas.

La propuesta de indicadores, como ya hemos explicado, se trata de la opción óptima que resume los elementos destacados en el menor número posible de indicadores. Consta de un total de 41 indicadores, 6 se refieren a 3 criterios transversales y 35 a 9 criterios tipo:

Criterios transversales: ADECUACIÓN A LA ED El proyecto se ajusta a las prioridades de la convocatoria en materia de ED Se trata de un proyecto educativo a largo plazo que va más allá de la mera sensibilización El proyecto contempla actividades relacionadas con la construcción de ciudadanía política (participación política, denuncia, reclamar derechos, etc.) en el Norte, en cualquiera de los ámbitos en los que se realicen las actividades del proyecto Las voces del Sur tienen presencia activa en el proyecto, desde su definición hasta la evaluación de las actividades del mismo PERSPECTIVA DE GÉNERO En las temáticas del proyecto la mujer aparece como sujeto activo y agente de cambio en todos o algunos de los siguientes ámbitos: políticos, sociales, económicos y culturales INTERCULTURALIDAD En las temáticas del proyecto se promueve el reconocimiento y respeto a la diversidad de culturas, razas, religiones, etnias, etc.

Criterios sectoriales: PRECISIÓN Y AJUSTE DEL DIAGNÓSTICO Existen mecanismos de identificación de (o se han identificado) problemas o déficits específicos asociados a la población destinataria y/o el ámbito/organizaciones de referencia para la intervención Se definen las condiciones que hacen que la intervención sea posible Existen mecanismos de evaluación y diagnóstico de las posibilidades de intervención en el ámbito que se propone PERTINENCIA Los objetivos son coherentes con el diagnóstico Las actividades y los resultados son coherentes con los objetivos El proyecto presenta una caracterización clara del sector de intervención El proyecto presenta una caracterización clara del colectivo destinatario EFICIENCIA Se concreta posibilidad cierta de posibilidades y compromisos de cofinanciación Los recursos previstos se ajustan a las necesidades del proyecto

Evaluación ex ante en Educación para el Desarrollo

VIABILIDAD El proyecto es ajustado para su realización en el marco social/ institucional en que se plantea Los centros escolares y/o instituciones implicadas en la intervención manifiestan su compromiso en la participación de las actividades del proyecto La entidad solicitante cuenta con una estrategia de ED coherente con el proyecto La entidad solicitante tiene experiencia e incidencia en el entorno local, relacionada con procesos de ED El personal asignado al proyecto cuenta con la formación y capacitación adecuada para proyectos de ED TRANSPARENCIA/RENDICIÓN DE CUENTAS Se han previsto espacios de rendición de cuentas del proyecto dirigidas a los destinatarios y/o participantes en las intervenciones Se han previsto espacios de coordinación y comunicación entre los distintos actores intervinientes en el proyecto durante la ejecución de éste Se han previsto espacios internos de debate, encuentro y reflexión Se han previsto actividades de evaluación interna y/o externa de la intervención MONITORIZACIÓN Y SEGUIMIENTO Se prevé número y tipo de beneficiarios del proyecto Están bien definidos los resultados del proyecto Existen mecanismos de seguimiento y evaluación de los beneficiarios del proyecto Existen mecanismos de seguimiento y control de las actividades del proyecto EFICACIA/EFECTIVIDAD/RESULTADOS El proyecto justifica teóricamente cómo se pretende que ocurra el cambio de actitudes, habilidades y/o conocimientos en la población destinataria El proyecto incorpora la utilización de las TIC de forma combinada con otros medios El proyecto define las actitudes, valores y/o conocimientos concretos en que se influye El proyecto incorpora la valoración de los estilos de aprendizaje como parte fundamental de los resultados El proyecto prevé un grado determinado de influencia en actitudes, valores y/o conocimientos SOSTENIBILIDAD El proyecto prevé acciones que puedan convertirse en sostenibles o transferibles a instituciones para su realización posterior Se prevé la incorporación del profesorado a redes y/o procesos de intercambio, en su caso El proyecto genera implicación de voluntariado IMPACTO El proyecto prevé formar agentes multiplicadores que se mantendrán en el tiempo El proyecto prevé la realización de materiales y la diseminación de información para su uso posterior El proyecto influye positivamente en la articulación y consolidación de redes implicadas en la intervención El proyecto contribuye a afianzar las actividades de ED de la entidad en el seno de la organización El proyecto prevé un impacto en la comunidad más allá de la comunidad educativa a la que va dirigido

49

5. En las características del sistema de indicadores hemos resaltado los principales elementos que, creemos, legitiman la propuesta del sistema: se adecua a los referentes organizativos y teóricos de la ED, se basa en un debate y una investigación participativa, se ajusta a las necesidades de la ED y contempla los proyectos desde una perspectiva integral. Por lo que respecta a la propuesta teórica que fundamenta el sistema, creemos que los diferentes indicadores recogen elementos fundamentales de la ED: la dimensión intercultural y de género, la apuesta por la ciudadanía democrática y la vinculación con otras dimensiones de la ED, como pueden ser la incidencia y la movilización social o la sensibilización. Asimismo, es también coherente con la aproximación a la evaluación ex ante que aquí se ha esgrimido, ya que considera y distingue elementos clave del diseño de las intervenciones: contexto, procesos de cambio y efectos finales previstos. Por otra parte, la metodología de investigación ha intentado ser en todo momento rigurosa, combinando diversas técnicas de carácter cuantitativo y cualitativo y recogiendo la voz de actores rele-

Conclusiones

vantes en la ED: las ONGD, las administraciones públicas financiadoras, los y las estudiantes y una selección de expertos y expertas en la materia. Hemos comprobado que el sistema funciona y es razonablemente estable. No obstante, requiere de un acuerdo y un debate generalizado para consensuar los términos de su aplicabilidad y, en su caso, las condiciones de su implantación. En definitiva, se trata de la apuesta por un cambio de modelo, que no rompe con las condiciones establecidas respecto a los criterios de evaluación, pero que avanza en su aproximación a los requisitos específicos de la ED. La puesta en práctica del sistema requiere, como puede resultar obvio, de un cierto cambio de cultura en la planificación y conceptualización de los proyectos de ED, en el sentido de facilitar y permitir la explicitación en los diseños de los proyectos de los elementos acordados y destacados en el sistema. En cambio, creemos que este esfuerzo no sólo ayudará a clarificar el escenario de los proyectos de ED, sino que facilitará enormemente el análisis y el aprendizaje y, en definitiva, también la evaluación ex post de las acciones de ED en el ámbito formal.

Bibliografía de referencia

Ackerman, J., 2003. Co-Governance for Accountability: Beyond “Exit” and “Voice”. World Development, 32 (3), pp. 447-463. AECID, 2005. Plan Director de la Cooperación Española 2005-2008. [On line]. Madrid: MAEC, disponible en: [Fecha de acceso: el 8 de Enero de 2014]. AECID, 2009. Plan Director de la Cooperación Española 2009-2012. [On line]. Madrid: MAEC, disponible en: [Fecha de acceso: el 9 de enero de 2014]. AECID, 2012. Plan Director de la Cooperación Española 2013-2016. [On line]. Madrid: MAEC, disponible en: http://www.urv.cat/media/ upload//arxius/URV_Solidaria/Info_Documental/IV_Plan_DirectorCE_2013-2016_Final.pdf [Fecha de acceso: el 20 de diciembre de 2013]. Aguilar, M. J. y Ander-Egg, E., 1994. Evaluación de servicios y programas sociales. Buenos Aires: Lumen. Alvira, F., 1991. Metodología de la evaluación de programas. Cuadernos metodológicos, 2. Madrid: CIS. Baselga, P., Boni, A. y Ferrero, G., 2004. La educación para el desarrollo en el ámbito formal, espacio común de la cooperación y la educación. Valencia: Editorial Universidad Politécnica de Valencia. Boni, A., 2006. La educación para el desarrollo orientada al desarrollo humano. En: A. Boni y A. Perez-Foguet, eds. 2006. Construir la ciudadanía global desde la universidad. Barcelona: Intermón-Oxfam/ISF, pp. 41-51.

Boni, A. y León, R., 2013. Educación para una ciudadanía global: una estrategia imprescindible para la justicia social. En: Intermón Oxfam, ed. 2013. La realidad de la ayuda 2012. Barcelona: Intermón Oxfam, pp. 214-239. Carothers, T., 1999. Aiding democracy abroad: the learning curve. Washington DC: Carnegie Endowment for International Peace. Celorio, G., 2007. Educación para el Desarrollo. En: G. Celorio y A. López de Munain, coords. 2007. Diccionario de Educación para el Desarrollo. Bilbao/Vitoria: Hegoa, pp. 124-130. Chen,H-T., 1990. Theory-Driven Evaluations. California: Sage. Cohen, E. y Franco, R., 1992. Evaluación de proyectos sociales. 1ª Edición en español. México: Siglo XXI editores. Comisión Europea, 2006. Metodología de evaluación de la ayuda exterior de la Comisión Europea. Bases metodológicas de evaluación. Vol. 1. [On line]. Luxemburgo: CE. Disponible en: [Fecha de acceso: el 9 de enero de 2014]. Comisión Europea, 2007. Consenso Europeo para el Desarrollo: la contribución de la educación para el desarrollo y la sensibilización en materia de desarrollo. [On line]. Bruselas, disponible en: [Fecha de acceso: el 8 de enero de 2014]. Coordinadora de ONGD-España, 2004. Educación para el desarrollo: estrategia imprescindible para el desarrollo. Propuestas para el Plan Director 2005-2008. [On line]. Madrid: CONG-

54

Bibliografía de referencia

DE. Disponible en: [Fecha de acceso: el 9 de enero de 2014]. Coordinadora de ONGD-España, 2009. La gestión para resultados en el nuevo marco de la Cooperación Internacional para el Desarrollo. Madrid: Publicaciones Coordinadora. ECODE, 2011. Estudio sobre metodología y prácticas de evaluación de acciones de educación para el desarrollo y sensibilización en la CAPV. [pdf ]. Agencia Vasca de Cooperación al Desarrollo, disponible en: [Fecha de acceso: el 8 de enero de 2014]. DGPOLDE, 2007. Manual de gestión de las evaluaciones de la Cooperación Española. Aprender para Mejorar. Madrid: Ministerio de Asuntos Exteriores y de Cooperación. Espinoza, A. y Peroni, A., 2000. Metodología de evaluación ex ante de Programas Sociales. Serie material de apoyo a la planificación social, núm. 4. Chile: Ministerio de Planificación y Cooperación –División Social. [On line], [Fecha de acceso: el 13 de diciembre de 2013]. Gaventa, J., 2005. Triumph, Deficit or Contestation? Deepening the “Deepening Democracy” Debate. IDS Working Paper, 264. Grupo Kaizen, 2005. Cómo definir indicadores. [On line]. Disponible en: [Fecha de acceso: 11 de diciembre de 2013]. Korten, D., 1990. Getting to the 21st Century: Voluntary Action and the Global Agenda. West Hartford: Kumarian Press. Ligero Lasa, J. A., 2011. Dos métodos de evaluación: criterios y teoría del programa. Serie CECOD de Documentos de Trabajo del Centro de Estudios de Cooperación al Desarrollo. 15/2011. Madrid: CEU Ediciones. Megías, I., Ballesteros, J. C. y Rodríguez, E., 2008. Docentes o maestros: percepciones de la educación desde dentro. Madrid: Fundación de Ayuda contra la Drogadicción/ Obra Social Caja Madrid.

Megías Valenzuela, E. coord., 2010. Valores Sociales y Drogas 2010. Madrid: FAD/ Obra Social Caja Madrid. Mesa, M., 2000. La educación para el desarrollo: entre la caridad y la ciudadanía global. Papeles de Cuestiones Internacionales, 70, pp. 11-26. Moreno, A. y Rodríguez, E., 2013. Informe Juventud en España 2012. Madrid: Ministerio Sanidad, Servicios Sociales e Igualdad. INJUVE. Disponible en: [Fecha de acceso: 30 de enero de 2014]. Musto, S., 1975. Análisis de Eficiencia, Metodología de Evaluación de Programas sociales de Desarrollo. Madrid: Tecnos. Ortega, M.L., 1994. Las ONGD y la crisis de desarrollo. Madrid: IEPALA. Ortega, M.L., 2007. Estrategia de Educación para el Desarrollo de la Cooperación Española. Madrid: Ministerio de Asuntos Exteriores y de Cooperación. Osuna, J.L. y Márquez, C., 2002. Guía para la evaluación de políticas públicas. Instituto de Desarrollo Regional: Fundación Universitaria. [pdf ]. Disponible en: . Rodríguez, E. y Megías, I., 2005. La brecha generacional en la educación de los hijos. Madrid: FAD/ INJUVE/Caja Madrid. Senillosa, I., 1998. A new age of social movements: a fifth generation of non-governmental development organizations in the making. Development in Practice, 8 (1), pp. 40-53. Stake, R.E., 1967. The countenance of educational evaluation. Teachers College Record, 68 (7), April. Stake, R.E., 2006. Evaluación comprensiva y evaluación basada en estándares. Barcelona: Grao. Stufflebeam, D.L. y Shinkfield, A.J., 1987. Evaluación sistemática. Guía teórica y práctica. Barcelona: Paidós. Stufflebeam, D., 2001. Evaluation Models. San Francisco: New Directionts in Program Evaluation. Weiss, C., 1998. Evaluation. New Jersey: Prentice-Hall.