TEMA 1.

LA INVESTIGACIÓN EVALUATIVA EN EDUCACIÓN SOCIAL. OBJETIVOS -

Analizar las características y los fundamentos de la investigación evaluativa en educación. Comprender el proceso implicado en su realización. Conocer y valorar los marcos de referencia en la investigacion evaluativa: contextual, puesta en práctica y resultados. Estudiar las diferentes alternativas metodológicas en la investigación evaluativa, en especial haciendo hincapié en la propuesta de complementariedad. Analizar las principales técnicas de recogida de información y datos, tanto desde el enfoque cuantitativo como cualitativo. Capacitar al alumno para la interpretación y valoración de investigaciones evaluativas en el análisis de la realidad educativa. Diseñar y valorar algunas propuestas de trabajo basadas en esta alternativa metodológica en alguno de los campos señalados. Dotar al alumno de un vocabulario propio de la investigación evaluativa. Desarrollar actitudes críticas y de respeto hacia las realizaciones prácticas en la evaluación de programas, centros y profesores.

ESQUEMA 1. Introducción. 2. Caracterización de la investigación evaluativa. 3. El proceso a seguir en la investigación evaluativa: 3.1. Marco contextual. 3.2. Marco de la ejecución o puesta en práctica. 3.3. Marco de la valoración de los resultados. 4. Los métodos en la investigación evaluativa: 4.1. Perspectiva experimental y cuasi-experimental. 4.2. Perspectiva cualitativa. 4.3. La complementariedad metodológica. 5. Procedimientos y técnicas para la recogida de información y datos: 5.1. Técnicas de enfoque cuantitativo: 5.1.1. La entrevista. 5.1.2. La encuesta. 5.1.3. La observación sistemática. 5.1.4. Los autoinformes. 5.1.5. Otras formas de recogida de información. 5.2. Técnicas de enfoque cualitativo: 5.2.1. La entrevista abierta o no estructurada. 5.2.2. Los grupos de discusión. 5.2.3. La observación participante. 1

5.2.4. La técnica Delphi. 6. Posibilidades y aplicaciones al campo educativo.

1. INTRODUCCIÓN En líneas generales, la evaluación como área de conocimiento específica y en proceso de formación y consolidación, tiene su arranque y desarrollo inicial en los Estados Unidos, con la finalidad de valorar los resultados de programas especiales diseñados para alumnos con problemas sociales, así como para asegurar que las innovaciones educativas en la escuela mejoraban realmente la enseñanza. Nace pues la evaluación vinculada a la tradición positivista de la investigación educativa. Así pues, la investigación evaluativa, como marco de referencia general para la evaluación de programas, instituciones y personal, presenta una serie de peculiaridades que vamos a abordar en el presente tema. No obstante, hemos de advertir al estudiante que en estos momentos nos limitaremos a ofrecer una panorámica general de esta propuesta diferente de abordar la investigación en educación social. Hemos de tener en cuenta, que después de haber presentado y analizado las metodologías de corte cuantitativo y cualitativo en anteriores asignaturas, nos parece oportuno completar esta visión panorámica general con la presentación de la investigación evaluativa. En concreto nos interesa conocer cuáles son los fundamentos y las características de esta propuesta metodológica, que la diferencian del resto de las opciones en el campo de la investigación en educación. Uno de los puntos principales a desarrollar se refiere al análisis del proceso general de la investigación evaluativa que hemos dividido en tres grandes apartados; así en el primero se analiza en detalle lo que denominamos marco contextual, que permite encuadrar la propuesta evaluativa; pues se presentan los objetivos, las pautas de actuación, la temporalización, los sujetos intervinientes y los clientes; el segundo de los momentos se dedica al estudio del marco de la ejecución o de la puesta en práctica, que abarca el plan de trabajo a seguir, la definición operativa de las variables, la selección y elaboración de los instrumentos de recogida de información y datos, el proceso de esta recogida y el análisis y tratamiento de estas aportaciones; en el tercer momento se aborda el marco de la valoración de los resultados, que comprende la selección de criterios a utilizar, el análisis de los resultados, la formulación de juicios, la toma de decisiones y la redacción del informe. Si bien hemos de advertir que se ofrece un proceso de tipo generalista que deberá ser adaptado a la problemática concreta que nos interese analizar en cada momento y circunstancia. Seguidamente dedicamos un apartado específico a presentar y analizar los procedimientos y las técnicas de recogida de información y datos, para su estudio hemos seguido uno de los criterios más extendidos en su clasificación, es decir, las que siguen un enfoque cuantitativo y las de tipo cualitativo. Respecto a las primeras se presentan la entrevista, la encuesta, la observación sistemática, los autoinformes. En lo que se refiere al enfoque cualitativo se recogen la entrevista abierta, los grupos de discusión, la observación participante, la técnica Delphi. Somos conscientes que existen muchas más, pero dentro del campo educativo, las seleccionadas son las de mayor uso y 2

utilidad por el tipo de información que nos aportan. También conviene señalar que este apartado ya lo ha estudiado el alumno en la asignatura Métodos de investigación en Educación Social, situada en el segundo curso del Grado. Además, en el tema 3 de nuestro programa se completa la información sobre este punto concreto. Así pues, el alumno debe centrar el estudio en el concepto de investigación evaluativa y en analizar y valorar su proceso de realización. También es importante que conozca aquellos métodos más apropiados para su desarrollo, así como unas nociones generales sobre los procedimientos y las técnicas de recogida de información y datos, todo ello enfocado hacia el campo educativo.

2. CARACTERIZACIÓN DE LA INVESTIGACIÓN EVALUATIVA Los términos investigación y evaluación aparecen, en muchas ocasiones, entrelazados y en algunos momentos confundidos en los textos y manuales que abordan esta problemática. Según indica Weis (1991) la investigación evaluativa representa una manera de aumentar la racionalidad de las decisiones. Pues se basa en una información objetiva acerca de los diversos campos objeto de análisis, para tomar decisiones bien fundamentadas sobre los mismos. Mientras la investigación se caracteriza por las notas de: probar, extraer conclusiones, no implicación del investigador, verdad científica, generalización; la evaluación presenta como características: mejorar, tomar decisiones, implicación del evaluador, valoración del fenómeno, sin pretensiones de generalización. Para comprender mejor esta distinción entre la investigación científica en sentido estricto y la investigación evaluativa, puede ser interesante el análisis realizado por De la Orden (1985): Investigación en sentido estricto

Investigación evaluativa

Los juicios de valor del investigador se limitan a Los juicios de valor se refieren tanto a la selección los señalados en la selección del problema. del problema como al desarrollo y aplicación de los procedimientos del estudio. Las hipótesis de investigación se derivan de las La formulación de hipótesis puede resultar difícil teorías o bien se generan por inducción de una y, en ocasiones, inapropiada. Se suele recurrir a serie de observaciones o conocimientos. los objetivos de la evaluación. La investigación puede ser replicada, dado que La replicación es muy compleja, puesto que el tanto la formulación del problema como de las estudio evaluativo aparece unido a un programa hipótesis se realiza de forma expresa. determinado, en un momento y situación concretos de su desarrollo. Los datos que debe recoger el investigador vienen Los datos a recoger por el evaluador dependen de condicionados por el problema y las hipótesis la viabilidad del proceso, además de venir previamente formulados. influenciados por los juicios de valor que posee el administrador. Las variables más relevantes en el trabajo pueden El control de variables solamente se puede realizar ser objeto de intevención y control, además de de modo superficial. Así la aleatorización, como poder eliminar sus efectos mediante la técnica de control de la varianza sistemática, es 3

aleatorización y otros procedimientos. Los criterios que se utilizan para la validación o el rechazo de las hipótesis son responsabilidad del investigador, para esta tarea emplea una serie de reglas restringidas. La redacción del informe de investigación sigue las normas establecidas por la comunidad científica, con una secuencia muy determinada.

muy complicado lograrla. El criterio por el que se decide la continuación, modificación, ampliación, eliminación del programa lo fija la agencia administradora o la audiencia a la que se dirige el informe. El informe de tipo evaluativo se debe adaptar a las exigencias de la persona o personas que han de tomar las correspondientes decisiones.

De la confluencia de ambos términos surge la investigación evaluativa que según De la Orden (1985) puede identificarse con el proceso sistemático de recogida y análisis de información fiable y válida para poder tomar decisiones sobre un programa educativo. Por su parte Alvira Martín (1985) la define como la propuesta basada en la acumulación de información sobre una intervención o un programa, sobre su funcionamiento y sobre sus efectos y consecuencias. Suchman (Cit. Stufflebeam, 1989) indica que la investigación evaluativa consiste en la serie de procedimientos de recopilación y análisis de datos que aumentan la posibilidad de demostrar, más que de asegurar, el valor de alguna actividad social y educativa. Para Patton (1990) el propósito fundamental de la investigación evaluativa consiste en informar a la acción, apoyar la toma de decisiones y aplicar el conocimiento para tratar de resolver problemas humanos y sociales. En las últimas décadas del siglo XX y comienzos del XXI se producen muchas controversias en la propia concepción del término, de hecho muchos autores consideran sinónimos la investigación evaluativa y la evaluación de programas. No obstante, el desarrollo de su propio concepto, las funciones que debe desempeñar, los fines que pretende alcanzar, los métodos de trabajo a los que recurre, hacen que su campo inicial de trabajo se vaya ampliando y en la actualidad se acepta que cubre los tres grandes ámbitos de la actividad educativa, es decir, los programas, las instituciones y los profesionales. Ahora bien, existen muchas reticencias por parte de la comunidad científica de otorgar el rango de investigación a la evaluación. Sin embargo, el desarrollo de la evaluación, en su sentido más amplio, durante las últimas décadas, ha contribuido de forma decisiva a su implantación en distintas esferas de la actividad educativa y no solamente como verificación de los logros alcanzados (modelos tylerianos), sino como comprobación de los procesos seguidos (Scriven, Sttuflebeam, Pérez Juste). Para Patton (1990) la evaluación examina y juzga el nivel de realización y la eficacia de un determinado programa educativo, sin ánimo de generalizar, mientras que la investigación evaluativa se ocupa de analizar esa eficacia de manera sistemática, a partir de un proceso riguroso de recogida y análisis de datos, con posibilidades para extraer conclusiones válidas para la toma de decisiones donde se aplique el conocimiento en la resolución de problemas. En cualquier caso dentro de estas concepciones prima su consideración como investigación aplicada, centrada en la práctica, que a través de un proceso selectivo de recogida de información sobre un determinado problema del contexto educativo: un programa, un currículo, un equipo de docentes, una actividad de aula, una institución; facilita la toma de decisiones de mejora sobre el mismo. Por otra parte, la investigación evaluativa, tradicionalmente asociada, en exclusiva, a la evaluación de programas, ha ampliado su campo de acción, a las instituciones y a los profesionales. Quizá, más que el problema de la vinculación de estos campos a la investigación evaluativa, que parece obvio 4

desde planteamientos metodológicos, se deba en gran medida al conflicto de competencias entre las áreas de conocimiento del campo educativo. Sin duda el objetivo fundamental que debe cubrir la investigación evaluativa consistirá en medir la eficacia de los programas, es decir, si las metas propuestas se han alcanzado, pues ello contribuirá de manera trascendental a la toma de decisiones en el futuro. Para ello es necesario recurrir a una determinada metodología de investigación, además de establecer unos criterios para juzgar dicho programa, todo analizado desde la finalidad social que persigue la evaluación. Así pues, se debe especificar el alcance del programa (lugar físico en que se lleva a cabo), las dimensiones o servicios que presta a la sociedad, la duración temporal de su puesta en marcha, las características de la situación de partida, la definición clara y concisa de las metas, los papeles a desempeñar por los participantes, etc. Si entendemos que en esta propuesta metodológica aparecen implicados todos los aspectos enumerados, quiere decir que asumimos ir más allá de lo que implica una simple evaluación, entendida como valoración de logros y procesos, para llegar a establecer procesos sistemáticos de trabajo rigurosos.

3. EL

PROCESO A EVALUATIVA

SEGUIR

EN

LA

INVESTIGACIÓN

Aunque ya hemos apuntado la existencia de tres campos concretos donde incide la investigación evaluativa, el proceso a seguir en todos ellos tiene unas pautas de actuación determinadas, si bien convendría resaltar la existencia de algunos matices que se pondrán de relieve en los modelos propuestos para la evaluación en cada caso particular. En estos momentos nos vamos a detener en la propuesta general de actuación del investigador. Tejedor y otros (1994), desde una perspectiva tradicional, si bien contempla como punto de partida el análisis de las necesidades y las respuestas a las mismas a través de un programa de intervención, en concreto señalan las siguientes fases: - Análisis y evaluación de necesidades. - Programación: . desarrollo de objetivos y procedimientos de evaluación, . selección de estrategias o actividades para lograr los objetivos. - Implementación: . desarrollo de estrategias, . construcción de instrumentos, que supone: . delimitación de variables e indicadores, . selección y listado de criterios, . redacción de ítems, . aplicación de instrumentos, . seguimiento del proceso. - Toma de decisiones (evaluación en sentido estricto): . sintetizar, analizar y valorar la información, . proceso dinámico que genera información, . retroalimentación del programa, . carácter formativo versus sumativo.

Pérez Juste (1994), menciona en su propuesta tres fases claramente diferenciadas, que de alguna forma suponen una secuencia de actuaciones, partiendo de los objetivos a alcanzar, del diseño de la investigación y de su puesta en marcha, así se apuntan los siguientes momentos: 5

- Establecer de forma clara y precisa los objetivos de la evaluación, a la vez que se fijan los criterios para su realización. - Planificar adecuadamente la investigación, ello implica: . Seleccionar y elaborar el diseño de acuerdo con los objetivos marcados para la investigación. . Elegir la metodología apropiada (técnicas de recogida de datos, fuentes de documentación y momentos en que se llevará a cabo). . Definir operativamente las variables. . Prever los análisis y el tratamiento a seguir con los datos, criterios de selección y valoración para la toma de decisiones.

- Ejecutar el plan conforme a las previsiones realizadas. Por su parte Escudero (1996), también establece con claridad tres apartados en su propuesta, si bien dentro del bloque inicial (diseño) se realiza una previsión de las circunstancias y objetivos de partida, para seguir con una fase más operativa de trabajo y concluir con el análisis de los resultados y sus implicaciones de futuro, así pues el proceso sería el siguiente: -

-

Planificación, diseño: . Establecer el propósito o la finalidad de la evaluación. . Definir el objeto de evaluación y las fuentes de información. . Delimitar los procedimientos, construcción y selección de instrumentos. . Definir los agentes de la evaluación. . Establecer el momento en que se realizará. Desarrollo, recogida y tratamiento de la información: . Obtención, codificación, registro, análisis, ... Evaluación y utilización: . Análisis de resultados. . Formulación de juicios: interpretación, comparación, clasificación. . Análisis de decisiones. . Divulgación de resultados y sugerencias a las audiencias.

Mertens (1998), tras realizar un análisis sobre las diferentes perspectivas de la evaluación, establece tres pasos, así en primer lugar se alude al enfoque que se le otorga al trabajo, pues es el que marca las características y las condiciones de las que se parte, seguidamente se procede a la planificación de la intervención, para finalizar con su puesta en práctica en el campo, por lo tanto estas fase son las siguientes: -

-

-

Enfoque de la evaluación: . Descripción de aquello que va a ser evaluado. . El plan de la evaluación. . Los depositarios de la evaluación. . Constreñimientos conmovedores de la evaluación. . Interrogantes de la evaluación. . Selección del modelo de evaluación. Planificación de la evaluación: . Especificación de la recogida de datos, análisis, interpretación y estrategias. . Gestión de la evaluación. . Plan de meta-evaluación. Ejecución de la evaluación: . Puesta a punto del propósito del trabajo especificado en el plan.

En realidad las diferentes propuestas analizadas, así como otras que se pudieran añadir, tratan de ofrecernos una respuesta razonable y coherente a los interrogantes que se puede plantear cualquier investigador al aproximarse a este campo de estudio. Este proceso supone una constante toma de decisiones sobre diversas posibilidades que se van planteando a medida que avanza la investigación evaluativa, para concluir con la posible utilidad práctica que tienen los resultados finales.

6

Uno de los autores que mejor recoge y sintetiza esta propuesta es Nevo (1986) en una obra ya clásica en el campo de la evaluación, donde recoge los diferentes interrogantes que deben plantearse los investigadores ante una determinada propuesta evaluativa: -

¿Cómo se define la evaluación? ¿Cuáles son las funciones de la evaluación? ¿Qué tipo de información debe ser recogida? ¿Qué criterios deben ser utilizados para juzgar el mérito de un objeto? ¿A quién debe servir una evaluación? ¿Cuál es el proceso de realización de una evaluación? ¿Qué métodos de investigación deben ser utilizados en la evaluación? ¿Quién debe hacer la evaluación? ¿Por qué estándares debe ser juzgada la evaluación?

En consecuencia, cabe afirmar que las respuestas que vayamos dando de forma ordenada a los interrogantes anteriores, van a enmarcar la pauta de actuación y la propuesta general del modelo de evaluación planteado. En cualquier caso, parece desprenderse de las opciones anteriores, la existencia de tres momentos clave en el proceso de la investigación evaluativa, tal y como recogemos en nuestra propuesta (ver gráfico página siguiente): 1. Marco contextual: . Objetivos del trabajo. . Pautas de actuación. . Secuenciación y temporalización del trabajo. . Los sujetos intervinientes. . Los clientes. 2. Marco de la ejecución o puesta en práctica: . Plan de trabajo a seguir. . Definición operativa de variables. . Selección y elaboración de instrumentos de recogida de datos. . Proceso de recogida de datos. . Análisis y tratamiento de datos. 3. Marco de la valoración de resultados: . Selección de criterios de valoración. . Análisis minucioso de resultados. . Formulación de juicios. . Toma de decisiones. . Redacción del informe. Así pues, en este cuadro general de investigación, se encuadra el presente tema, dentro del marco de los métodos de investigación en educación. Seguidamente veremos en detalle cada uno de los apartados o momentos anteriormente apuntados.

7

PROCESO DE INVESTIGACIÓN EVALUATIVA

Marco contextual: • Objetivos • Pautas actuación • Temporalización • Los sujetos • Los clientes Marco de ejecución: • Plan de trabajo • Definición operativa variables • Selección/elaboración de instrumentos • Proceso de recogida de datos • Análisis y tratamiento

Valoración de resultados: • Selección de criterios • Análisis de resultados • Formulación de juicios • Toma de decisiones • Redacción del informe

3.1. Marco contextual Nos permite el encuadre general de la propuesta investigadora, de tal forma que ofrece una serie de informaciones de sumo interés para la posterior toma de decisiones, pues resulta extremadamente complicado extrapolar los resultados de un estudio evaluativo a otros ámbitos de actuación. Así pues, se hace necesario hacer una reflexión profunda 8

sobre este marco general, de forma que el investigador o el equipo pueda conocer en profundidad el mismo. Por otra parte, es aceptado que las actuaciones y decisiones en la evaluación de programass, van a ser muy distintas según el momento o los sujetos con que se lleva a cabo el trabajo. En consecuencia, parece necesario, en este encuadre general de la propuesta investigadora, establecer y definir con precisión los siguientes aspectos. 1.1. Objetivos del trabajo: vienen a establecer lo que pretende alcanzar el equipo investigador mediante la realización del trabajo práctico. Así pues, se hace necesario proceder a una definición clara y concisa sobre estos objetivos, si bien, se suelen establecer unas diferencias entre los de carácter general y aquellos más específicos u operativos centrados en propuestas o actuaciones concretas en el campo de trabajo elegido. En la medida en que la formulación sea más centrada en la realidad objeto de estudio, más sencillo será el camino a seguir en la puesta en práctica de la evaluación. Por ello, en estas propuestas se insiste sobremanera en la definición operativa de estos objetivos mediante conductas perfectamente observables y constatables en la realidad educativa. 1.2. Pautas de actuación: es importante establecer las actuaciones a desarrollar para la evaluación de programas e instituciones. Ello implica que los distintos elementos que intervienen en el proceso tienen bien delimitadas sus competencias y cuáles deben asumir en los diferentes momentos por los que transcurre la intervención. Así pues, estas pautas van a servir para que las actuaciones estén perfectamente definidas y enmarcadas en el contexto inmediato donde se llevará a cabo la intervención. En realidad en este apartado debemos reflejar el cómo se debe actuar en la investigación evaluativa. 1.3. Secuenciación y temporalización del trabajo: en el campo de la investigación evaluativa, los diferentes momentos del proceso mantienen una interrelación entre ellos e incluso en muchas ocasiones, una decisión o actuación tiene repercusiones directas sobre otra. Así pues, se hace necesario establecer la secuencia en las actuaciones que se deben realizar para llevar a buen puerto el proceso investigador. Además se debe presentar la actuación temporal, es decir, el tiempo destinado a cada una de las intervenciones y actuaciones, tanto del equipo investigador como de los sujetos participantes en el trabajo. Es fundamental combinar ambas opciones para que los diferentes procesos queden perfectamente establecidos y delimitados en el marco concreto del estudio. 1.4. Los sujetos intervinientes: en este apartado debemos establecer una diferenciación entre las personas que intervienen como miembros o colaboradores del grupo investigador y aquellos otros que van a participar en el estudio como muestra productora de datos. En el primer caso es conveniente establecer los cargos y las competencias de cada uno de los miembros del grupo: director, codirector, experto en técnicas de recogida de datos, aplicador de pruebas, experto en análisis estadísticos, redactor de la memoria, asesor técnico. Respecto a la muestra objeto de trabajo es oportuno indicar a través de qué medios y con qué procedimiento se ha seleccionado. Este aspecto debe ser especialmente cuidado cuando pretendemos hacer extensivos los resultados del trabajo a grupos amplios de sujetos, es decir, cuando buscamos su generalización.

9

1.5. Los clientes: en este punto se hace alusión a la persona o grupo que encarga la realización del trabajo. Es decir, es importante conocer aquellos aspectos que son de especial incidencia en la elaboración del informe final del trabajo, además nos puede ayudar durante su desarrollo. En este sentido, pueden ser clientes, la persona interesada en evaluar su tarea o su programa de intervención, el grupo en que se incardina el estudio, las autoridades de la propia institución, las autoridades académicas externas, la Administración de la educación.

3.2. Marco de la ejecución o puesta en práctica En este segundo momento entramos en la fase más operativa de la propuesta investigadora, de hecho se van a definir con precisión cuáles son los pasos a seguir en el proceso de intervención, recolección y análisis de los datos que nos suministra la muestra, tanto los referidos al proceso de actuación como de los resultados alcanzados en el mismo. Estamos pues ante un momento de ejecución, frente al anterior más centrado en el diseño. Por lo tanto debemos ser precavidos en las diferentes opciones que debemos ir tomando en la puesta en práctica de las actuaciones y teniendo en cuenta el marco contextual en que se incardinan. Así pues, vamos a contemplar los siguientes aspectos: 2.1. Plan de trabajo a seguir: si en el apartado anterior habíamos señalado las diferentes pautas de actuación, en este momento debemos centrar la exposición en la operativización de las mismas y en el plan de trabajo que se debe desarrollar para alcanzar los objetivos propuestos. Es decir, se trata de hacer visible e inteligible ese plan de actuación, de forma que sirva de propuesta secuenciada de intervención para los distintos componentes implicados en el proceso y en los resultados. 2.2. Definición operativa de variables: dado que los objetivos vienen a establecer una relación entre variables, es preciso que éstas sean definidas e identificadas de forma precisa. Ello implica que debemos proceder a su medida cuantitativa y cualitativa, para ello es preciso determinar con precisión los criterios que van a servir de referencia en el proceso de traducción a conductas observables y, en la medida de lo posible, que sean cuantificables. 2.3. Selección y/o elaboración de técnicas e instrumentos de recogida de información y de datos: llegados a este momento de la evaluación procede la selección o elaboración, según los casos, de la técnica o el instrumento que nos sirva para la recogida de datos. Ello dependerá de sí existe uno apropiado a los objetivos de la investigación o no. En el caso de que procedamos a la selección debemos tener en cuenta sus características técnicas (fiabilidad y validez), además de sus niveles de precisión, la muestra que se empleó en la baremación, los rasgos definidos por el instrumento. La elaboración resulta una tarea más compleja y larga, pues a partir de una primera redacción, es conveniente proceder a su crítica por expertos, además se suele llevar a cabo una aplicación piloto para determinar sus niveles de fiabilidad y de validez; todo ello para conseguir una depuración y adecuación a la propuesta investigadora planteada. 2.4. Proceso de recogida información y de datos: en este momento se especifica de forma detallada cómo se procede a la recogida de datos y en qué momentos se realiza. Bien que se lleve a cabo de forma directa por el investigador o que cuente con apoyos 10

externos, bien presencialmente o a través de diversos medios (teléfono, correo postal y electrónico, página WEB, etc.), bien con respuesta escrita o grabada tecnológicamente. 2.5. Análisis y tratamiento de los datos: una vez recogidos los datos, es precisa una depuración de los mismos, para evitar su contaminación, eliminando los sobrantes o los que no se corresponden con las respuestas solicitadas. Una vez finalizada esta tarea se procede a realizar un análisis exhaustivo de los mismos, comenzando con los estudios descriptivos o de representaciones gráficas, para seguir con otros análisis de mayor complejidad. Generalmente para estas tareas contamos con el apoyo de los correspondientes programas informáticos que facilitan y agilizan esta tarea tan tediosa en tiempo y espacio. En todo caso las decisiones en este punto las debe tomar el equipo investigador de acuerdo a su propuesta de trabajo y la calidad de los datos recogidos.

3.3. Marco de la valoración de los resultados Este tercer momento de la investigación evaluativa viene marcado por la aplicación de los resultados alcanzados en el trabajo. Es decir, se trata de cómo llevar a la práctica las aportaciones de la evaluación, ya sea de un programa o de una institución. Resulta pues fundamental para ello, ofrecer una valoración objetiva y contextualizada de los resultados alcanzados en el trabajo empírico que nos conduzcan a la toma de decisiones de mejora sobre el proceso y el producto alcanzado. Por lo tanto, una vez planificada y ejecutada la investigación, llegamos al momento de trascender más allá de lo que marcan los datos y proceder a su interpretación en el ámbito de la actividad educativa en que se incardina el estudio evaluativo. En este sentido procede desarrollar los siguientes puntos: 3.1. Selección de criterios de valoración: cuando el investigador o evaluador se encuentra frente a los datos debe tener perfectamente claros los criterios con los que los va a juzgar. Es decir, la propuesta de trabajo nos presenta una selección de los mismos, conforme a la alternativa investigadora planteada, de tal forma que cualquier otro investigador o persona interesada pueda llegar a las mismas conclusiones que el equipo de trabajo y con la suficiente claridad para ser interpretada por toda la comunidad científica. 3.2. Análisis minucioso de los resultados: con los criterios previamente identificados y categorizados se procede a un estudio detallado de los mismos, conforme a los objetivos fijados en el trabajo, de tal forma que podamos extraer tanto la información superficial, que muestran los datos, como la más profunda que encierran los resultados. 3.3. Formulación de juicios: una vez analizados los resultados se procede a su enjuiciamiento, lo que implica la participación activa del equipo investigador, pues esta valoración contextualizada conforme a los criterios establecidos nos permite una apreciación, en cierto sentido subjetiva, de lo que trasciende a los propios datos, pues se ve influenciada por el contexto social y cultural en que se inscribe. 3.4. Toma de decisiones: constituye la principal seña de identidad en la investigación evaluativa, es por tanto su finalidad última. Así pues la validez de los resultados nos permite una toma de decisiones sobre la propuesta planteada en la evaluación de programas e instituciones. Naturalmente se entienden decisiones de 11

mejora que repercutan no solo sobre el resultado final alcanzado, sino sobre los procesos que se han seguido a lo largo del estudio evaluativo. 3.5. Redacción del informe: en realidad este apartado se encuentra expresado de forma implícita en el desarrollo de la investigación, parece perfectamente claro que la realización de un trabajo de estas características exige que llegue a conocimiento de otras personas interesadas en el mismo, ello se refleja en el correspondiente informe del trabajo realizado y a través de los resultados, debidamente contextualizados, a los que se ha llegado. Según la persona o entidad a que se dirija el informe exigirá un tipo de redacción distinta, más o menos técnica y con mayor o menor número de detalles. En el tema 15 de la asignatura presentamos un análisis más detallado de este apartado. Esta propuesta de realización de investigaciones evaluativas, como cualquier otra que se pueda presentar, trata de combinar actividades y pasos relacionados tanto con la investigación como con la evaluación, con una especial incidencia en la valoración de los resultados y la implicación del investigador en la misma, más allá de las posturas asépticas marcadas en la investigación de carácter cuantitativo. Teniendo en cuenta estas consideraciones presentamos en los siguientes temas los puntos principales a tener en cuenta para llevar a cabo la evaluación de programas y de instituciones.

4. LOS MÉTODOS EN LA INVESTIGACIÓN EVALUATIVA Entendemos que la metodología se refiere al estudio de los métodos de investigación, es decir, se preocupa de comprender los procesos implicados en su puesta en práctica. Así pues, describe, explica y justifica el método de trabajo más apropiado al problema que es objeto de estudio y análisis. Bajo su dominio tienen cabida una diversidad de métodos y procedimientos en el estudio de la realidad social y educativa. Mientras que el método nos indica el camino que debe seguir el investigador para alcanzar un determinado fin. Desde concepciones abiertas podemos aceptar, y los hechos así lo ponen de relieve, que tradicionalmente se ha recurrido a dos propuestas de actuación o dos caminos para dar respuestas razonables a los interrogantes que plantea la investigación evaluativa, nos referimos a los basados en el paradigma positivista y en el interpretativo. Aunque en fechas recientes los teóricos y los investigadores se decantan por el empleo conjunto, defendiendo la necesaria complementariedad metodológica en el estudio de la realidad educativa.

4.1. Perspectiva experimental y cuasi-experimental La principal seña de identidad de estos enfoques hemos de buscarla en el control sobre los procesos y las variables extrañas para que no influyan sobre los resultados alcanzados, más estricto en la propuesta experimental y menos riguroso en la cuasiexperimental. En este sentido debemos indicar que el objeto fundamental de los métodos experimentales consiste en la comprobación empírica de las hipótesis de causalidad establecidas, con una triple finalidad: aumentar el nivel de conocimientos, descubrir las explicaciones sobre los fenómenos y confirmar la validez de las teorías científicas. Conviene recordar que esta perspectiva ha sido estudiada en otras asignaturas. Por ello, en 12

estos momentos vamos a ceñir los comentarios a su aplicación en el campo de la investigación evaluativa. Así las evaluaciones que siguen este enfoque se caracterizan por la búsqueda de relaciones entre los objetivos y los logros del programa de intervención, consideramos que son especialmente útiles cuando se trata de tomar decisiones sobre la continuidad, la expansión, el abandono del mismo. Generalmente estas propuestas tan rigurosas suelen descansar sobre aportaciones previas de otros estudios evaluativos anteriores basados en la metodología cualitativa, el estudio de casos, la investigación correlacional y expost-facto, la descriptiva, etc. Esta perspectiva nos ofrece una valoración de los resultados del programa o de la institución, de su impacto social, de la comparación con otros, de puntos fuertes o débiles, es decir, nos ofrece información útil sobre el programa de intervención en su conjunto, una vez ejecutado en todos su apartados, por lo tanto, no contempla los procesos implicados ni los contextos en que se ha puesto en práctica. Por su parte la alternativa cuasi-experimental, que trabaja con escenarios naturales y no exige la asignación al azar de los sujetos, ha sido de utilidad en este campo; pues sus puntos de partida no son tan estrictos como la propuesta experimental. En ambos casos puede contemplarse su empleo en algunas situaciones en que el objetivo fundamental sea la comparación de programas, de instituciones, de eficacia escolar, de rentabilidad social.

4.2. Perspectiva cualitativa Surge como respuesta a las lagunas del enfoque anterior, aunque su desarrollo lo podemos situar en épocas más recientes, su preocupación fundamental se dirige a comprender los programas de intervención y sus efectos en los participantes, dentro de un contexto de actuación determinado. Así pues, en este enfoque, también denominado naturalista, los evaluadores observan los fenómenos en situaciones naturales y recogen información que es analizada desde la perspectiva de las personas implicadas en los procesos, así como de los gestores y promotores. El estudio de los procesos implicados en la puesta en práctica se preocupa de cómo ocurre ese fenómeno, es decir, el interés viene motivado por conocer el nivel de participación y las implicaciones de los sujetos y menos por los resultados alcanzados. Esta propuesta requiere de una sensibilidad hacia los cambios que se pueden presentar en su desarrollo, de ahí que se interese por las actividades formales, las metas parciales previstas, los acontecimientos y las interacciones imprevistas. La información así obtenida permite aventurar juicios de valor sobre el grado y la amplitud que el programa o el centro está consiguiendo, según los objetivos operativos planteados incialmente, además de poner de manifiesto aquellos campos que se deben mejorar y los aspectos mejor valorados que se deben mantener. Conceptualmente nos encontramos ante evaluaciones eminentemente formativas puesto que se dirigen hacia la mejora del programa, que si resulta útil y valioso se podrá emplear en otros contextos de naturaleza similar.

13

Estas evaluaciones de desarrollo ofrecen información a las personas que han de tomar decisiones sobre cómo se ha puesto en práctica, cuál es el motivo de su separación de las propuestas iniciales de secuenciación y temporalización, sí se van cubriendo las expectativas formuladas, qué nivel de adaptación se ha logrado respecto a las condiciones, necesidades e intereses de los sujetos. De esta forma el investigador podrá descubrir las lagunas que se producen en cada situación y orientar los cambios que sería necesario introducir en el futuro para evitarlas y superarlas. Los defensores del enfoque cualitativo estiman que es fundamental cuando se trata de recoger datos ricos y valiosos tanto del contenido del programa de intervención como del contexto en que se aplica, además piensan que sus trabajos suelen tener una mejor acogida entre el personal implicado en los procesos y son más útiles para la toma de decisiones sobre la puesta en práctica. No obstante, se les critica por no haber demostrado que la información generada es válida y generalizable, aunque se responde que sus intereses se han dirigido más a los procesos y las relaciones entre las personas que participan en los programas y menos hacia la generalización de los hallazgos.

4.3. La complementariedad metodológica Después de analizar brevemente las propuestas cuantitativa y cualitativa y comprobar sus posibilidades y limitaciones en la investigación evaluativa, parece lógico defender la opción de la complementariedad, como hacen Cook y Reichardt (1986) cuando se refieren a la flexibilidad y la adaptabilidad de los métodos a las situaciones objeto de estudio. Otros autores que siguen esta línea como Soltis, Trend, Firestone, Goetz y LeCompte, Anguera, Salomon. En concreto Soltis (1984) opina que si la investigación educativa se concibe como empírica, interpretativa, normativa y crítica, es lógico pensar que los problemas deben abordarse desde ópticas complementarias, para recoger la mayor riqueza, no desde posturas excluyentes y raquíticas. Howe (1993) tras realizar una crítica a los que defienden la incompatibilidad, ofrece una vía alternativa: la investigación educativa crítica, donde se busca la explicación científico-social-técnica, más cercana a lo cualitativo que al positivismo, pues toma como referencia la perspectiva de los participantes. El problema de la superación de esta dicotomía no es tarea sencilla, pues ambas líneas proceden de tradiciones singularmente diferentes desde una perspectiva histórica, generadas a partir de la corriente filosófica defensora del positivismo lógico en la investigación empírica. En el campo de la investigación evaluativa resulta más sencilla la defensa de posturas eclécticas, pues el hecho de que una propuesta investigadora sea de naturaleza holista, no debe suponer su adhesión al resto de las condiciones del paradigma cualitativo. Lo mismo podríamos afirmar en el caso de propuesta de medición rigurosa, que tampoco debería asumir todos los condicionantes del paradigma cuantitativo. Así pues, el investigador puede elegir con libertad una mezcla de los atributos de ambos, siempre que mantenga claramente definidos los objetivos de su investigación y cubra mejor las necesidades. En este sentido Eisenhart y Howe (1992) resuelven la disyuntiva epistemológica no inclinándose abiertamente por ninguna de las perspectivas, es más opinan que el debate metodológico no es más que un invento, pues son muchos los investigadores que realizan

14

sus trabajos sin preocuparse de estas polémicas. Por ello, plantean los siguientes principios metodológicos: - La formulación de preguntas que se fundamenten en la práctica de la educación, para así seleccionar aquellos métodos de trabajo que mejor se ajusten a las cuestiones planteadas. - La aplicación sistemática de técnicas específicas de recogida de datos y de procedimientos de análisis que definen un determinado enfoque metodológico. - La fundamentación de la investigación y la evaluación en conocimientos básicos creíbles, ya sean tanto sobre teorías como sobre la práctica educativa. - El garantizar las conclusiones alcanzadas, lo que implica abordar críticamente los logros y los hallazgos procedentes de enfoques metodológicos alternativos. Desde la base de estos principios metodológicos, las ventajas potenciales que nos puede reportar el empleo conjunto de los métodos cualitativos y cuantitativos serían, entre otras, el atender de forma adecuada y en las condiciones más exigentes, la diversidad de propósitos y metas de la investigación evaluativa. La complementariedad nos ofrece también una visión más rica de la realidad objeto de estudio, así como la posibilidad de contrastar, mediante la triangulación, informaciones recogidas a través de fuentes diversas y enriquecedoras. En el terreno educativo, recurrir al principio de la complementariedad, supone aceptar que el proceso de perfeccionamiento humano necesita conocer en profundidad los términos que se presentan como opuestos y descubrir en cada uno de ellos su carácter complementario. Ello se justifica desde la aceptación de la dificultad que entraña la educación, entendida en su sentido de formación integral de la persona, además de no desperdiciar las aportaciones de los diferentes profesionales que concurren en el acto educativo y que están implicados en la comunidad educativa. El uso de un método u otro dependerá de los propósitos de la investigación evaluativa, del estado de madurez del programa, de los recursos disponibles, de los intereses y necesidades de los patrocinadores y de los evaluadores y del medio político y organizativo del programa de intervención socioeducativa. La argumentación de la defensa de la complementariedad metodológica en el momento de abordar el estudio de la educación social es defendida también de manera sistemática por Jaeger (1988), que resalta la importancia de la misma frente a los enfrentamientos, pues la complejidad de los hechos y fenómenos educativos, exige la presencia de visiones distintas pero concurrentes en el mismo, lo que ofrecerá una riqueza de matices que se podrían escapar a cada una de ellas de forma aislada. En el campo concreto de la evaluación de programas Fernández Ballesteros (1996) defiende esta postura, si bien recurre a la expresión multiplismo, pues en su estudio confluyen múltiples enfoques teóricos, múltiples hipótesis rivales, objetivos, audiencias, métodos de evaluación, análisis de datos. En esta línea argumental nos podemos cuestionar si una sola metodología es capaz de ofrecernos respuestas adecuadas y contrastadas a los diferentes interrogantes que plantea la investigación evaluativa. Entendemos que ello no es posible, desde una concepción amplia del problema, que abarca el diseño del programa, como respuesta a las necesidades educativas; para seguir con la puesta en práctica del mismo en un determinado contexto y; a continuación, valorar las aportaciones y tomar las decisiones oportunas que 15

repercutirán en los planes de mejora que por supuesto deberán ser analizados. Así pues, esta evaluación integral exigirá a lo largo del proceso de diversos métodos, lo que nos conduce a la complementariedad que facilitará el contraste de información que puede ser coincidente, con lo que se constatarán los resultados alcanzados o bien se descubrirán las discrepancias, que nos identifiquen los puntos de alarma sobre los que se debe reflexionar más a fondo en el proyecto o programa. Por tanto, debemos hablar de la complementariedad de métodos de trabajo, para que no se queden descolgados algunos aspectos relevantes del estudio, que podrían estar ocultos ante una visión restrictiva, es decir, una propuesta de trabajo bajo el enfoque cuantitativo, que es mucho más rigurosa en sus planteamientos y que sigue un proceso más lineal en su desarrollo, puede verse enriquecida con un enfoque de tipo cualitativo, donde los contextos y las perspectivas de globalidad de los hechos y fenómenos educativos pueden ofrecernos una visión de conjunto más adecuada a la realidad de la educación. Ahora bien, debemos ser conscientes que esta perspectiva de complementariedad exige la presencia de técnicas variadas que permitan al investigador recoger informaciones y datos sobre la compleja realidad social y educativa a evaluar. En consecuencia, defendemos el enfoque metodológico en que se combinen las propuestas cuantitativas y cualitativas, si bien, debe ser el investigador o el equipo responsable de esta tarea quién, en cada momento, decidirá cuál es el método y la técnica más apropiada en cada una de las situaciones contextuales en que se lleva a cabo el trabajo y qué nivel de participación se puede esperar de las personas implicadas en el mismo. Pues será muy distinto abordar el análisis técnico del propio programa, para lo que se necesitará contar con el apoyo de personas expertas en el campo que es objeto de intervención, frente a la puesta en práctica en un determinado contexto, lo que llevará consigo la realización de estudios de campo en que se recurra a la entrevista directa con las personas que lo están llevando a cabo. Si lo que nos interesa analizar son los resultados, tendremos que preguntar y valorar las aportaciones de los sujetos que han participado en el programa, para ello será necesario elaborar una serie de pruebas de rendimiento y aprovechamiento combinadas con otras percepciones de tipo más cualitativo. Esta visión donde confluyen enfoques y propuestas de trabajo diversas, que facilitan el análisis profundo de la realidad educativa, permitirá alcanzar los objetivos propuestos por el equipo investigador en aras a conseguir su aplicación futura en otros contextos de naturaleza similar, lo que repercutirá de manera positiva en el logro de una educación de calidad.

5. PROCEDIMIENTOS Y TÉCNICAS PARA LA RECOGIDA DE INFORMACIÓN Y DATOS Una vez que hemos analizado el proceso general para la realización de la investigación evaluativa, nuestro objetivo fundamental en este apartado será analizar la forma en que se puede obtener la mayor información y de mejor calidad, que nos permita garantizar de forma científica que las conclusiones y recomendaciones del trabajo nos conduzcan a la toma de decisiones más trascendente para la comunidad. Si bien esta parte se presenta en el tema 3, creemos interesante presentar en esta propuesta inicial una síntesis de los procedimientos más comunes en este campo. Así pues, entendemos que el procedimiento nos marca el camino a seguir en la evaluación, mientras que las técnicas nos indican el modo de recorrer ese camino. Por ello, 16

prima su carácter práctico y operativo de proximidad a la realidad a evaluar. Nos inclinamos por considerar las técnicas como aquellos medios que emplea el investigador o evaluador para registrar sus observaciones o facilitar el tratamiento adecuado de la información. Es necesario que las técnicas seleccionadas o elaboradas en la investigación evaluativa nos puedan garantizar que los datos suministrados alcanzan una buena calidad, de forma que la toma de decisiones derivada de la misma sea la más adecuada a la realidad objeto de estudio. Esta selección que vamos a desarrollar seguidamente, sin pretender ser exhaustiva, trata de presentar aquellas técnicas a las que se suele recurrir cuando el investigador/evaluador se plantea un trabajo de esta naturaleza. Una de las decisiones a tomar consiste en elegir el criterio que se va a utilizar para su clasificación, en este caso hemos optado por aquél más extendido y al que se hace referencia en otros temas de la asignatura, es decir, aquellas técnicas que siguen un enfoque de tipo cuantitativo frente a las de tipo cualitativo. Conviene recordar al alumno que una gran parte de los comentarios recordatorios que siguen en las siguientes páginas ya los ha estudiado previamente en la asignatura “Métodos de investigación en Educación Social”.

5.1. Técnicas de enfoque cuantitativo Si nos remontamos a los trabajos de Tyler nos encontramos con que las propuestas para la recogida de información y datos tenían una naturaleza eminentemente cuantitativa, ello es lógico si pensamos que el objetivo fundamental de estos modelos se dirigían hacia la comprobación de los resultados alcanzados, es decir, lo que realmente importaba era la eficacia del programa seguido, tanto en el grado de cumplimiento como en los efectos producidos en los beneficiarios. Así pues, estas técnicas van a generar una medida (dato numérico) sobre la que se puedan realizar los correspondientes análisis estadísticos. Uno de los objetivos que se debe fijar el investigador será el conseguir un dato de calidad, es decir, un dato suficientemente preciso, válido y fiable que no induzca a error o sesgo en su procesamiento formal. Para lograr este objetivo se han de contemplar una serie de elementos metodológicos que han sido analizados con anterioridad (diseño, selección de muestras, competencias del evaluador, calidad intrínseca del propio instrumento). Por lo tanto, cuando el investigador se encuentre ante la selección de la mejor técnica para recoger información y datos para su trabajo, deberá cuidar que se cumplan los requisitos pertinentes relativos a la fiabilidad y validez especificados en el instrumento operativo de que se trate. Ahora bien, en el caso de la construcción de uno nuevo, sería preciso obrar con precaución y seguir las reglas que se recogen en los diferentes manuales, además de llevar a cabo una aplicación piloto que nos permita asegurar que cumple las características técnicas exigibles a estos instrumentos y que van a ser de utilidad para alcanzar los objetivos fijados. Seguidamente pasamos a exponer de forma breve aquellas técnicas de naturaleza cuantitativa a las que recurre con mayor frecuencia el investigador en el campo educativo. 5.1.1. La entrevista 17

Constituye uno de los procedimientos más empleados, puesto que nos permite una recogida directa de información que se basa en una relación personal entre entrevistador y entrevistado, mediante anotaciones y comentarios no sólo sobre lo que se busca directamente, sino también sobre las circunstancias en que estos hechos se producen, lo que puede ofrecer una información rica y valiosa en la interpretación de los datos recogidos. Por tanto, se ocupa de obtener información sobre los sujetos y los grupos, además de facilitar información a otras personas e influir sobre determinados aspectos de la conducta humana. Fox (1981) la sitúa entre los recursos que permiten recoger datos superficiales, subsuperficiales y profundos, bien sean sobre cuestiones externas al sujeto que requieren su opinión como sobre aspectos internos identificados con las experiencias, propósitos e ideales del sujeto entrevistado. Por su parte, Kerlinger (1985) estima su utilidad para identificar variables o sugerir hipótesis, actuar como un instrumento de recogida de información y validar otros métodos o permitir la profundización en las motivaciones y respuestas de los entrevistados. Para garantizar la fiabilidad y la validez de los datos recogidos en la entrevista es conveniente que tengamos en cuenta una serie de aspectos fundamentales para esta técnica, como son: - La entrevista supone una relación humana, por tanto, debemos conseguir una comunicación abierta, espontánea, positiva y libre de tensiones. Ello exige alcanzar un alto nivel de “empatía” (simpatía neutral) que se manifiesta en la comprensión de los demás y en no juzgar ni implicarse de manera afectiva. - El contenido de la entrevista, partimos de la base que los sujetos no poseen la misma preparación para contestar temas complejos ni el mismo nivel de implicación en el tema analizado. En algunas ocasiones se recurrirá a la selección de muestras representativas y en otras, temas delicados, a preguntas indirectas. - Las unidades de información que configuran las preguntas y respuestas y que condicionan la fiabilidad y la validez de la información recogida. Es preciso elegir el tipo de preguntas y respuestas más apropiado, la formulación clara y concisa de las cuestiones, su estructura y contenidos. Además de garantizar la libertad del entrevistador. - El registro de las respuestas debe ofrecer garantías de la fidelidad de las expresiones manifestadas por los sujetos, evitando interpretaciones sesgadas. Para ello disponemos de diversos recursos materiales y audiovisuales de registro. - La categorización y valoración de la información recibida, permite identificar todas las categorías de la realidad analizada y que éstas sean mutuamente excluyentes. Una vez traducido a valores numéricos cuantitativos o de naturaleza cualitativa, nos permitirán llevar a cabo los preceptivos análisis estadísticos y comprender la realidad estudiada.

18

En la clasificación de la entrevista se suele diferenciar entre la estructurada o tipificada y la no estructurada o flexible. En estos momentos nos vamos a centrar en la primera modalidad, dejando la segunda para el siguiente apartado (cualitativo). La entrevista estructurada es aquella que emplea un protocolo previo de preguntas de alternativa fija o bien de varias alternativas de repuesta para que el sujeto elija la más apropiada. En realidad se trata de un interrogatorio en el que las preguntas se formulan en el mismo orden y con los mismos términos. Tanto las preguntas como las respuestas suelen ser cerradas y se reflejan de forma escrita mediante la correspondiente codificación, para que el entrevistado seleccione, ordene y exprese su grado de acuerdo o desacuerdo. Esta presentación permite realizar estudios exploratorios, de sondeo, pero sin profundizar sobre cuestiones más íntimas, por ello, su principal inconveniente se encuentra en la falta de flexibilidad. Si tomamos en consideración el número de participantes podemos diferenciar entre la entrevista individual (un solo sujeto contesta a las preguntas formuladas) y la entrevista en grupo (varios sujetos contestan de forma simultánea de manera oral o escrita). En líneas generales la realización de la entrevista lleva consigo una serie de pasos, entre los que destacamos: 1. Identificar con claridad cuáles son los objetivos que se pretenden alcanzar con entrevista, deben guardar una relación directa y nítida con los objetivos generales de la investigación evaluativa. 2. Elegir la modalidad de entrevista más apropiada a las características de los sujetos (sexo, edad, nivel de estudios, profesión) y la propuesta global del trabajo. 3. Seleccionar los sujetos que van a ser objeto de estudio. Se trata de un tema fundamental cuando el objetivo sea alcanzar la generalización de los resultados, pues ello exige garantizar la representatividad de la muestra; en cambio si se trata de analizar problemas concretos, se deben elegir aquellos sujetos que cumplen el requisito exigido. 4. Realizar operativamente la entrevista, constituye la parte fundamental de la técnica, pues lleva consigo una serie de aspectos formales y científicos, entre los que debemos citar: - Forma de las preguntas, el entrevistador debe fijar los contenidos y el número de cuestiones planteadas, así como su presentación. Los contenidos se refieren a: experiencias, opiniones, emociones, sensaciones, conocimientos, características personales y contextuales. - Orden de presentación de las preguntas que permita llegar al fondo de las cuestiones, si conseguimos un alto nivel de implicación personal del entrevistado. Así se suelen plantear las preguntas más complejas y controvertidas en los momentos intermedios o finales, donde ya se ha creado el adecuado rapport y existe un interés manifiesto en el entrevistado.

19

- Cuidar de forma especial la relación de ambos, creando un clima de confianza y cooperación entre ellos, de forma que se genere un ambiente de cordialidad y empatía que garantice la sinceridad de las respuestas y la colaboración máxima. - Formular preguntas directas que sirvan de estímulo al entrevistado, que sean inteligibles y no admitan varias interpretaciones. Se deben elegir preguntas únicas, formuladas con la suficiente claridad, de manera neutral y manteniendo el control en su desarrollo. - Registrar adecuadamente la información para garantizar su posterior análisis, sin resumir ni interpretar previamente. Este registro se puede realizar de forma manual (notas de frases, listas de enunciados) o bien a través de los recursos audiovisuales (grabaciones en audio y vídeo). En consecuencia podemos indicar que la entrevista estructurada se configura como un medio rico y valioso de recogida de información, puesto que no solo se recoge ésta, sino que se completa con otras circunstancias que sirven de contexto y marco de referencia de aquella, lo que enriquece y posibilita su interpretación. Por ello, es preciso cuidar los aspectos técnicos de la misma como son la fiabilidad (grado congruencia entre las distintas respuestas, nivel de concordancia entre los informadores o consistencia interna de la información recogida) y la validez (exige que las respuestas guarden relación con el tema estudiado, además de representar la información deseada y no otra distinta, se puede recurrir a la consulta a jueces o expertos). Aunque resulta una técnica costosa en tiempo, dada la exclusividad del entrevistado, como contrapartida nos ofrece una información exhaustiva y en profundidad de los personajes que son clave en la investigación evaluativa, así se puede dirigir a los responsables del diseño y puesta en práctica y a los gestores. Es decir, grupos selectos y que poseen en alto nivel de información sobre el tema que estamos investigando. Por ejemplo cuando se pretende conocer si existe coincidencia entre los sujetos a los que se dirige el programa de intervención y los que la diseñan y ejecutan. Esto nos permitirá conocer la evaluabilidad del programa. Así pues, será especialmente recomendado su uso en aquellos momentos puntuales en que se precise recabar información cualificada y de primera mano, sobre todo en el marco contextual y el de la ejecución. 5.1.2. La encuesta La encuesta es una de las técnicas a las que más se suele recurrir en la investigación en educación. Consiste en un repertorio de preguntas que se formulan a un grupo determinado de sujetos que suelen representar a un colectivo más amplio. En la investigación evaluativa se utiliza para recoger la opinión y la valoración de una muestra representativa de los usuarios del programa o de la institución. Ahora bien, este repertorio de preguntas y cuestiones de relevancia aparecen reflejadas en el instrumento que llamamos cuestionario, que intenta recoger toda la información necesaria e importante para el problema que se investiga. En cuanto a la forma en que se administra puede ser de forma individual o en grupo, presencialmente o mediante el correo. Apenas existe relación entre los sujetos que contestan y la persona que 20

los administra. Mediante el cuestionario podemos describir, clasificar, confirmar, establecer relaciones de lo que opinan, sienten, creen, valoran, piensan los individuos sobre un determinado hecho o fenómeno educativo, además de su comportamiento ante situaciones concretas que se plantean en la vida real. En el proceso de elaboración del cuestionario, se den tener en cuenta una serie de aspectos contextuales de sumo interés para los trabajos evaluativos como son: los objetivos que se pretenden alcanzar, el tipo de contenidos que deseamos obtener, la modalidad de preguntas y respuestas, la redacción clara y concisa de las mismas. Ahora bien, estas directrices generales se deben completar con unas sugerencias prácticas de especial interés como: - El contenido se suele dirigir hacia dos grandes campos, uno configurado por las cuestiones relativas a la identificación de los sujetos desde aquellas variables relevantes para el estudio (personales y contextuales) y otro constituido por las opiniones, hechos, actitudes de los sujetos ante las propuestas del investigador. Hay que combinar la relevancia y la pertinencia de la información con la longitud del cuestionario. - Las preguntas y respuestas, pues la formulación de las primeras condiciona las segundas. La pregunta ha de conseguir la colaboración del encuestado, para ello se debe conocer la intención de la misma y que esté formulada en un lenguaje claro y adaptado a las características de los sujetos, con enunciados concretos y precisos que eviten dudas e interpretaciones erróneas. Las respuestas ofrecidas deben recoger todas las posibilidades, para que el sujeto conteste de forma valorativa o seleccionando aquella que se ajusta a su caso particular. - La forma de recoger la información, debe garantizar la fidelidad y precisión de los datos recogidos ya sea de forma personal o recurriendo a medios tecnológicos. En los envíos masivos se suele contestar en el propio cuestionario o bien en una hoja de codificación diseñada para esta finalidad concreta. Una vez elaborado el cuestionario, se debe proceder a su aplicación piloto en una muestra reducida de sujetos, que nos ofrecerá una serie de informaciones de especial interés, para corregir las preguntas confusas, las de doble respuesta, las que son excesivamente largas, las que no aportan información novedosa, etc. Además de comprobar el tiempo en la contestación y las posibles dudas en cuanto a su presentación y la redacción de orientaciones para rellenar las casillas pertinentes. Pero sin duda, la utilidad principal de los datos aportados por esta aplicación será poder determinar la fiabilidad (se suele utilizar con frecuencia la concordancia entre los elementos similares o estrechamente relacionados, uno de los coeficientes más empleados es el alfa de Cronbach) y la validez (que nos garantiza que las respuestas logran una presencia suficiente y representativa de los objetivos y contenidos de la investigación evaluativa, para ello se recurre a la opinión de expertos, lo que refleja la validez de contenido). Las aportaciones y sugerencias recogidas en la aplicación piloto nos van a permitir una depuración del cuestionario, tanto en los aspectos formales como en los referidos al contenido, para así proceder a la redacción definitiva del mismo que será presentada a la muestra de sujetos previamente seleccionada.

21

En el campo propio de la investigación evaluativa se suele utilizar en los momentos en que se lleva a cabo la puesta en práctica y cuando se tratan de analizar y valorar los resultados alcanzados, puesto que permite recoger una amplia variedad de datos sobre estos dos momentos del proceso, de forma especial de aquellos sujetos que participan en el mismo y que nos ofrecen una información de primera mano sobre los puntos fuertes y débiles de los mismos. 5.1.3. La observación sistemática El observador contempla la realidad sin actuar sobre ella, registra hechos o fenómenos tal y como se están produciendo en un momento determinado. Es conveniente diferenciar entre la observación casual de los fenómenos naturales de la que estamos presentado debidamente planificada y estructurada, con rango científico, que nos suministra una serie de informaciones complementarias a otras fuentes de recogida de información. Para Selltiz y otros (1980) la observación se convierte en una técnica científica cuando sirve a un objetivo de investigación previamente formulado, se planea de forma sistemática, se registra sistemáticamente, se relaciona con proposiciones más generales y se somete a comprobaciones y controles sobre su validez y fiabilidad. En esta línea De Ketele (1995) la define como aquél proceso que requiere atención voluntaria e inteligencia, orientado por un objetivo terminal y organizador, dirigido hacia un objeto con el fin de obtener información valiosa para los objetivos fijados. Así pues, la intencionalidad es una de las características básicas, ello implica determinar con claridad lo que se va a observar, cómo se va a llevar a cabo y quién es el encargado de la tarea. En primer lugar debemos tener perfectamente delimitado el campo de la observación, seleccionando puntos concretos, pues tratar de observar la realidad total es prácticamente imposible, ello se traduce operativamente en lo que llamamos guión de la observación. En segundo lugar se nos plantea cómo observar, bien con presencia directa del observador, bien recurriendo a diversos recursos audiovisuales y de registro de la actividad, se deben cuidar los problemas derivados de la interacción entre el observador y el observado. En tercer lugar tendríamos que definir quién debe llevar a cabo esta tarea, es decir, la persona que lo refleja en el correspondiente registro y toma las anotaciones pertinentes, puede ser una persona ajena o bien alguien dentro del grupo. Los criterios de tipo metodológico que se han de tener en cuenta en el desarrollo de una observación sistemática, según las directrices de Anguera (1993) y Rincón y otros (1995), son los siguientes: - Los objetivos de la observación deben estar definidos con claridad. - La estrategia a seguir, puede ser inductiva o deductiva, según parta de los hechos o fenómenos o bien se apoye en un marco teórico, respectivamente. - El tipo de observación elegido puede ser directo (recoge las conductas manifiestas por lo que predomina lo descriptivo) o indirecto (conductas encubiertas que precisan de la inferencia para su identificación por lo que llevan consigo una carga interpretativa).

22

- El nivel de sistematización, desde el máximo hasta el no-sistematizado, de acuerdo a las necesidades del caso. - El grado de participación del observador, que genera la observación no participante, participante y auto-observación. - Los niveles de descripción de las unidades de conducta, que lleva consigo la elección de uno o varios criterios base para generar unidades moleculares, molares y mixtas. - El contenido de la conducta a observar que puede ser de naturaleza no verbal, espacial, vocal y verbal. - Los sesgos o dificultades específicas que puede plantear en un momento dado del proceso, como la reactividad del observador sobre el observado, la reactividad reciproca, la auto-reactividad, los fallos de procedimiento, etc. - La formación y competencia profesional del observador, que requiere de una serie de habilidades específicas para realizar esta tarea, lo que aumenta la fiabilidad de los datos. Estas sugerencias son de suma importancia cuando planificamos una observación sistemática. Además, unido a la intencionalidad, cabe resaltar la estructuración y la vinculación a unos determinados presupuestos teóricos y ser realizada con orden y método apropiado. También debemos señalar la importancia del control, de forma que se elimine, en el mayor grado posible, la influencia de factores externos que puedan distorsionar la visión de la realidad observada. El esfuerzo para la sistematización de la observación corresponde a los miembros del equipo evaluador, dado que son los que mejor conocen los programas de intervención y el diseño de la evaluación. Por tanto, se requieren observadores expertos, que sean ajenos a la realidad del programa, es decir, es básico que el observador sea no participante, para evitar los efectos de la interacción. En la investigación evaluativa tiene suma importancia el contexto o lugar donde se desarrolla la misma, así se habla de la observación natural (recoge datos donde se está implantando) y la artificial (alejada del medio natural donde se pretende replicar las condiciones del mismo). Existen diferentes formas de registro de la observación, entre las de mayor uso y utilidad en el campo educativo se encuentran el anecdotario que registra comportamientos que se producen en el contexto; las notas de campo recogidas en el escenario de la observación que pueden ser de tipo personal, descriptivas, inferenciales, bien que estén basadas en criterios teóricos y metodológicos; también se suelen emplear las listas de operaciones o rasgos en las que se constata la presencia o ausencia en un momento puntual; también son frecuentes las escalas de estimación que añaden una valoración en intensidad del rasgo a estudiar, pueden ser de tipo numérico, gráfico o descriptivo. Por último destacamos la presencia de las categorías, previamente conceptualizadas por el observador, que nos permiten analizar la inclusión de los distintos elementos de cada una de ellas de modo excluyente. Como señalan los expertos la fiabilidad constituye una condición “sine qua non” de la metodología observacional. En este caso se identifica con el grado de acuerdo producido entre los observadores independientes, es decir, en qué medida las observaciones no tienen errores. Por lo tanto se ocupa de la reducción de los sesgos que se pueden producir, para su cuantificación y expresión recurren a los coeficientes de correlación y porcentajes de acuerdo, éstos dependen del sistema de registro, el intervalo de tiempo, la frecuencia del 23

fenómeno, los cambios en el observador y los procedimientos estadísticos empleados. Mientras que la validez se refiere al grado en que las mediciones obtenidas hacen una descripción real de lo que se pretende evaluar, en otras palabras, cuando se puede afirmar que se ha registrado aquello que se pretendía observar. 5.1.4. Los autoinformes (también se recoge en el tema 13) Los autoinformes nos presentan, en lo que se refiere al grupo de personas implicadas y en comparación con la entrevista, la ventaja de la accesibilidad a un mayor número de elementos con un menor esfuerzo debido a que no es precisa la interacción sujeto a sujeto. Además presenta un grado de especificación que no alcanza la encuesta, es decir, si el objetivo es el de llegar a un amplio número de personas para obtener información sobre aspectos generales, el autoinforme ayuda a recabar información más profunda sobre determinados aspectos del programa, en cambio no se dirige a un número tan elevado de personas. El grupo que mejor puede responder a esta técnica es el de los usuarios, pues han ido percibiendo y viviendo los cambios que se han producido en su vida gracias a esa intervención, así se puede constatar cuáles son los efectos que se producen en el grupo cuando se procede a su implantación y en los usuarios al final del proceso. No obstante, debemos ser conscientes de la subjetividad de estas aportaciones, que nos interesa expresar en términos cuantitativos. Ello se puede solventar a través de indicadores subjetivos sobre una serie de tópicos que se han señalado con anterioridad por el evaluador. No obstante, debemos ser conscientes que el usuario es aquella persona que tiene una necesidad que espera poder superar, por ello, no es extraña su tendencia a informar con un sesgo positivo hacia el programa para no dejar en mal lugar a los responsables y evitar posibles represalias. Así pues, resulta más sencillo mostrar una actitud poco crítica, ya que puede entenderse como un signo de adaptación social de la persona, para paliar esta dificultad se puede recurrir a la confidencialidad y el anonimato. Sería interesante informar a las personas implicadas de la importancia que para el futuro puede tener una buena crítica constructiva. Para la recogida de información se suele utilizar el cuestionario que aporta escalas valorativas en la mayor parte de los elementos que lo configuran, pueden tener un número impar o par de categorías, ello va a depender de la modalidad de las preguntas y de la formación de los colectivos a los que se dirige el autoinforme. En consecuencia parece necesario acudir al autoinforme para recabar información de los usuarios, que resulta complejo obtener por otras vías. Si bien conviene recordar que el rigor en la construcción del cuestionario, el formato de las respuestas y el sistema de codificación y análisis de las respuestas y los datos, unido a la garantía del anonimato y la confidencialidad, nos permitirá alcanzar una información más contrastable y, a la vez, más segura y útil para el evaluador en el campo educativo. 5.1.5. Otras formas de recogida de información

24

En este último apartado referido al enfoque cuantitativo solamente haremos referencia a los datos de archivo que proceden de las denominadas fuentes documentales y a la utilización de los indicadores. Respecto a los datos de archivo nos pueden suministrar información sobre la posición de los implicados antes de iniciar la intervención en alguna de las variables relevantes del estudio, además de la consulta a la documentación escrita del programa que aporte el evaluador. Hemos de tener en cuenta que los documentos son producto de la actividad social y educativa y reflejan los acontecimientos producidos en un momento de su desarrollo histórico. Aunque se reconoce la existencia de dos tipos de documentos: oficiales y personales; en la investigación evaluativa nos interesan los segundos. En cuanto a la utilización de indicadores, es muy recomendable su uso en alguno de los momentos del proceso evaluador en que se aspira a alcanzar la máxima objetividad de los datos. Teniendo en cuenta que el indicador es una medida estadística que permite analizar una realidad social desde un punto de vista diacrónico para reflejar su evolución y desarrollo. Para algunos autores son especialmente útiles en las tareas de seguimiento, control y evaluación operativa de las intervenciones educativas. Se puede establecer una distinción entre los indicadores descriptivos (recolección de datos sin buscar relaciones entre los elementos) y los evaluativos o normativos (reflejan las relaciones producidas en el pasado e intentan predecir si éstas se producirán en el futuro). Naturalmente en el campo de la investigación evaluativa son más utilizados los segundos pues constituyen una herramienta básica en el análisis de necesidades, como medio para comprobar el nivel de cumplimiento de los objetivos del programa y como instrumento de estimación de los efectos finales producidos en los sujetos. Los requisitos exigibles a los indicadores son: independencia, verificabilidad, validez y accesibilidad.

5.2. Técnicas de enfoque cualitativo La utilización de las técnicas cualitativas en la investigación evaluativa ha sido muy posterior a las propuestas de corte cuantitativo, concretamente se podría situar a finales de los setenta y principios de los ochenta del pasado siglo. Estos enfoques surgen como crítica a los modelos clásicos de evaluación en que se hacía especial incidencia sobre los resultados alcanzados. Por ello, se resalta la importancia de la evaluación del proceso, que permitirá aportar modificaciones en el desarrollo de la intervención educativa. El propio Scriven, sin desdeñar la evaluación sumativa o final, pone especial cuidado en la evaluación formativa. Gran parte de los modelos de evaluación de programas, que veremos en el tema 8, inciden en estos aspectos. Realizar un estudio exhaustivo sobre la amplia variedad de técnicas a las que puede recurrir el evaluador excede de los contenidos del tema, por lo tanto, nos limitaremos a señalar, de forma breve, aquellas que tienen un mayor nivel de uso en el campo educativo. Además conviene recordar que alguna de las que vamos a señalar ya han sido comentadas, al menos en sus aspectos generales, en el apartado anterior. 5.2.1. La entrevista abierta o no estructurada La diferencia básica con la estructurada, comentada anteriormente, radica en los objetivos a alcanzar y, de forma especial, en la estructura y el aspecto formal. Su objetivo 25

fundamental consiste en captar el mensaje del entrevistado sin ningún filtro previo. Por lo tanto, permite una mayor libertad a la iniciativa tanto del entrevistador como del entrevistado, la conversación facilita y estimula una expresión más libre y con respuestas no determinadas de antemano, dado que las preguntas que se formulan suelen ser de tipo abierto y el entrevistado debe construir la respuesta. Requiere de una preparación más específica de los entrevistadores, además la información suministrada resulta más difícil de analizar. Dentro de esta propuesta podemos distinguir tres modalidades según el campo concreto de la entrevista y su nivel de directividad: - Entrevista focalizada, es una modalidad muy técnica, que requiere del entrevistador una gran habilidad, experiencia y trato personal. Se parte de un listado de tópicos sobre los cuales se realiza la entrevista. - Entrevista clínica, la diferencia con la anterior está en que se dirige al campo de las motivaciones y sentimientos de los sujetos, con una finalidad eminentemente terapéutica. - Entrevista no dirigida, donde el problema de estudio actúa como catalizador. El entrevistador debe crear una atmósfera facilitadora para que el sujeto pueda expresarse con total libertad, ello le permitirá recoger información tanto sobre los comportamientos observables como sobre los motivos e ideales de la persona. Una vez realizada la entrevista se dispone de un material amplio que debe ser analizado en detalle para extraer los datos más relevantes, el procedimiento al que suele recurrir con mayor frecuencia es el del análisis de contenido que nos servirá tanto para describir los resultados de la entrevista como para formular inferencias que posibiliten llegar a conclusiones de orden superior a partir de los elementos de la comunicación. 5.2.2. Los grupos de discusión Se trata de una técnica que nos permite acceder a imágenes colectivas y simbólicas cargadas de valor, que configuran actitudes, condicionan comportamientos y dan lugar a estados de opinión más o menos permanentes. Para Krueger (1991) se puede definir como un tipo de conversación debidamente planeada y diseñada para obtener información de un campo concreto de interés, en un ambiente permisivo sin directividad. Generalmente los grupos suelen estar compuestos entre seis y diez personas, guiadas por un moderador experto. La discusión que se genera suele ser relajada, confortable y satisfactoria para los participantes, puesto que tienen la oportunidad de exponer sus ideas y comentarios ante los demás. Los miembros de grupo se influyen mutuamente a través de las respuestas que se aportan en el proceso de diálogo y discusión. En el campo de la investigación evaluativa es una técnica muy útil que permite llegar a establecer acuerdos entre los implicados en la misma, especialmente cuando se trata de los usuarios, sobre los efectos provocados por la intervención educativa. Para que su utilización pueda aportar datos de interés en los trabajos es necesario que se den una serie de condiciones: 26

- El número de personas debe oscilar entre seis y diez, que deben ser seleccionadas conforme a unos criterios previamente establecidos por el investigador. - El coordinador ha de tener la suficiente preparación técnica, además de un conocimiento profundo del tema y de la dinámica de grupos. - En el grupo se contempla la figura del observador, que cumple los cometidos de apoyo, registro y observación. - Las sesiones se deben grabar en medios tecnológicos, para un mejor control y análisis, ello sin descartar las notas manuscritas. - La duración recomendada oscila entre los sesenta y noventa minutos como máximo. En el empleo de la técnica podemos establecer tres momentos claramente diferenciados: la preparación, previa a la discusión y donde se seleccionan los participantes, se realiza la convocatoria y el coordinador prepara el tema de debate; el desarrollo donde el coordinador introduce el tema, busca la confrontación de opiniones, establece un plan de trabajo para llegar a posibles consensos y modera la discusión; la interpretación y análisis de la información que se ha recogido, se busca tanto lo que los sujetos han manifestado de forma abierta como aquello que permanece entre líneas o en interrogantes, pero que reflejan la opinión profunda del grupo. 5.2.3. La Observación participante También se denomina observación activa, puesto que consiste en la participación directa del observador que asume diferentes roles en la vida del grupo, en su organización, conversando con todos los componentes, de forma que su presencia no perturbe ni interfiera el desarrollo natural de los acontecimientos. Así pues, se llega a conocer la vida del grupo desde el interior del mismo, ello significa que el observador además de ver lo que está aconteciendo, lo siente y se integra en la situación o en el desarrollo del programa de intervención. Al combinar los roles de observador y participante puede comprender los programas desde un punto de vista interno, a la vez que lo describe para los que están fuera de él. Si el observador pertenece al grupo que se investiga nos encontramos ante una participación natural; ahora bien, si solamente se integra con el objetivo de llevar a cabo la investigación hablaremos de participación artificial. No obstante, en el momento de fijar el nivel de implicación del observador en el grupo, ésta puede ser máxima o mínima. Ello va a depender del propio escenario en que se lleva a cabo, es decir, el grado de implicación está en función de los objetivos fijados por la investigación evaluativa, las características de los participantes y el contexto social en que se desarrolla la actividad. En todo caso, la clave está en saber seleccionar la información más relevante para el trabajo. Otros aspectos a contemplar se refieren a la mayor o menor explicación de la finalidad de la observación a los participantes, el tiempo que se debe permanecer en el escenario natural y el grado de precisión con que se realiza, donde caben diversas opciones como la mera descripción, la focalización sobre un campo delimitado, la selección de conductas concretas y más representativas del comportamiento individual o grupal. En todo caso, es importante cuidar su contextualización a nivel social y

27

educativo, bien referido al propio acontecimiento, al fenómeno observado y al escenario donde tiene lugar el mismo. Para la recogida de información se recurre a los diarios, las notas de campo, el registro de incidentes críticos, las listas de control, etc. Aunque la mejor forma sería mediante el empleo de los recursos audiovisuales, cuya utilización debe ser conocida por el grupo para evitar problemas de carácter ético que inciden sobre la intimidad de las personas. 5.2.4. La técnica Delphi (también se recoge una referencia en el tema 13) La técnica Delphi busca respuestas consensuadas de un grupo de expertos a una serie de cuestiones específicas, por ello se utiliza para determinar el alcance y la pertinencia del problema que origina el programa de intervención. Así se ocupa de las necesidades de los colectivos y de los objetivos que pretenden alcanzar. Los sujetos que participan en el proceso de trabajo, generando ideas y ofreciendo sus aportaciones, no se comunican verbalmente entre sí, por lo que desconocen la identidad de las opiniones expresadas, a excepción del investigador que coordina el grupo, así pues, estamos identificando el carácter meramente nominal del grupo. Esta técnica resulta especialmente recomendable en aquellas situaciones en que los sujetos se encuentren muy dispersos geográficamente y existan problemas de relación entre los miembros del grupo. Además el anonimato de las opiniones evita la influencia de las respuestas de unos sujetos sobre otros, especialmente de los líderes de grupo que pueden condicionar las respuestas de los que les rodean. En lo que se refiere a la composición del grupo la mayor parte de los autores consultados estiman que debe oscilar entre diez y treinta sujetos, aunque en algunos casos se supere esta cifra. Además estos participantes deben poseer un buen nivel de conocimiento y experiencia en el tema que se está analizando, por ello, en el caso concreto de la evaluación de programas se recomienda su uso con los gestores (técnicos y responsables), no con los usuarios, así es común encontrarnos con la denominación de grupo de expertos. Los agentes implicados en la técnica Delphi se pueden agrupar en dos categorías, por un lado está el equipo de trabajo integrado por los directivos y técnicos conocedores a fondo de la problemática abordada en el estudio y de la propia metodología de trabajo y, por otro, los informadores clave, que son los sujetos que ofrecerán su opinión ante las diversas cuestiones planteadas por el equipo de trabajo, es importante mantener un feed-back controlado para motivar y enriquecer las respuestas.

6. POSIBILIDADES Y APLICACIONES AL CAMPO EDUCATIVO La investigación evaluativa, contemplada dentro del campo de los “Métodos de Investigación en Educación”, desempeña un importante cometido en la formación académica del educador social, puesto que le va a permitir llevar a cabo una serie de estudios basados en el análisis de la realidad educativa y vinculados al campo de los programas educativos de intervención en la práctica docente, en la evaluación de las 28

instituciones sociales y educativas y la calidad de sus servicios, además de contemplar las tareas del profesional de la intervención y la necesidad de abordar procesos sistemáticos para su evaluación, tanto desde una perspectiva formativa como sumativa. Estos campos específicos aquí apuntados van a ser objeto de un análisis más minucioso en los siguientes temas, por lo que en estos momentos vamos a centrar la exposición en cuestiones de tipo generalista. Así pues, desde esta perspectiva global entendemos que las posibilidades de esta alternativa metodológica son muy ricas y variadas, si bien, hemos de reconocer que aquellos profesionales que se planteen trabajos en estos campos deberán profundizar en los diferentes apartados implicados en el proceso de la investigación evaluativa, desde el momento en que se plantea el problema y se formulan los objetivos hasta que, pasando por su desarrollo en la práctica, abordamos la parte de la valoración de los resultados y la toma de decisiones de mejora que deberán incidir tanto sobre la intervención como sobre el personal implicado en dicha propuesta. En consecuencia las aplicaciones de la investigación evaluativa, vinculadas al campo educativo se pueden concretar, entre otros, en los siguientes puntos: -

Las intervenciones educativas con sujetos que precisen de programas vinculados a las necesidades educativas especiales y superdotados. El sistema educativo en su conjunto. Los proyectos sociales y educativos vinculados a la actividad profesional. Las instituciones sociales de los diferentes niveles de la sociedad. Los recursos empleados por los profesionales. La formación inicial y permanente del educador social. Las motivaciones y expectativas de los profesionales.

Todas estas consideraciones tratan de reflejar la importancia del tema ante la formación y la futura actividad profesional y académica del educador social, puesto que su tarea, además de aquella vinculada directamente a la orientación e intervención en contextos sociales, puede ser la de asesor especialista en temas de investigación en los centros e instituciones socio-educativas y de formación continua en diferentes esferas de actividad, en aras a lograr unos buenos niveles de calidad en los servicios que se ofrecen a la comunidad.

BIBLIOGRAFÍA BÁSICA DEL TEMA FERNÁNDEZ BALLESTEROS, R.(Ed.) (1996) Evaluación de programas. Una guía práctica en ámbitos sociales, educativos y de salud. Madrid, Síntesis. GARCÍA HOZ, V.(Coord..) (1994) Problemas y métodos de investigación en educación personalizada. Madrid, Rialp. GARCÍA LLAMAS, J.L.; GONZÁLEZ GALÁN, M.A. y BALLESTEROS VELÁZQUEZ, B. (2001) Introducción a la investigación en educación. (2 tomos). Madrid, UNED.

29

MARTÍNEZ MEDIANO, C.(1996) Evaluación de programas educativos. Investigación evaluativa. Modelos de evaluación de programas. Madrid, UNED. MEDINA, A. y VILLAR, L.M(Coords.) (1995) Evaluación de programas, centros y profesores. Madrid, Universitas. MERTENS, D.M.(1998) Research Methods in Education and Psychology. Thousand Oaks (USA), Sage. PÉREZ JUSTE, R.; GARCÍA LLAMAS, J.L. y MARTÍNEZ MEDIANO, C. (Coords.) (1995) Evaluación de programas y centros educativos. Madrid, UNED. ROSSI, P. y FREEMAN, H.(1989) Evaluación. Un enfoque sistémico para programas sociales. México, Trillas. STUFLEBEAM, D.L. y SHINKFIELD, A.J.(1987) Evaluación sistemática: guía teórica y práctica. Madrid, Piados-MEC. WEIS, C.H.(1991) Investigación evaluativa. México, Trillas.

30