Mini curso Análisis Cualitativo de datos para la evaluación de resultados y percepciones de proyectos Sergio Martinic, PUC, Chile [email protected] V Seminário da Rede Brasileira de Monitoramento.Universidade Estadual de Campinas (UNICAMP). 25 Septiembre 2013

Objetivos mini curso • Analizar importancia de análisis cualitativo de datos en evaluación de proyectos y políticas. • Diferencias métodos cuantitativos y cualitativos • Bases conceptuales y procedimientos de método de análisis estructural semántico. • Conceptos claves: categorías y relaciones entre categorías • Interpretar resultados y plantear hipótesis interpretativas • Criterios de rigor análisis de datos cualitativos. •

Módulos temáticos • •

• •

• •

• • •

Modulo 1. Evaluación, paradigmas y análisis de datos cualitativos Evaluación cualitativa; Métodos cualitativos y cuantitativos; conceptos de clasificación y construcción de categorías. Presentación general de métodos de análisis de textos y de observaciones. Modulo 2. Análisis de opiniones y representaciones sociales Se analizarán el objeto de evaluación cualitativa y las bases teóricas del análisis estructural de datos. Conceptos descriptivos (código de base y de calificación) Modulo 3. Códigos, relaciones entre códigos y estructura Presentación de conceptos claves de Análisis Estructural. Códigos (de base y calificación);. Concepto de estructura y tipos de estructura (paralela, jerárquica y cruzada). Modulo 4. Aplicaciones y construcción de interpretaciones. Ejemplos de aplicaciones. Construcción de hipótesis e interpretaciones mayores Criterios de rigor

Modulo 1. Evaluación, paradigmas y análisis de datos cualitativos

Evaluación de impacto

Diseño

Necesidades

Resultados

Aprendizajes

Evaluación ex-ante

Ejecución

Evaluación de procesos Seguimiento

Reformas y evaluación

• Los ciclos de reformas están asociados a enfoques y énfasis en evaluación. • En cada ciclo se privilegian teorías, objetos y métodos particulares. • Los paradigmas cambian desde enfoques lineales (insumos –productos) hacia otros mas sistémicos y centradas en las interacciones entre niveles y componentes.

Cambios evaluación educativa • La evaluación educativa avanza de enfoques deterministas (explicación externa) hacia enfoques que observan aspectos internos de la escuela • De explicaciones basadas solo en contexto social a otra que observa realidades internas (cognición, lenguaje, interacciones). • Medición evaluativa centrada en resultados absolutos a otra centrada en progreso relativo (Valor agregado) • Diseños mixtos y complementarios de evaluación cualitativa/, cuantitativa; externa/interna; resultados/procesos, etc. • Cambios en los paradigmas y enfoque del conocimiento. Desarrollo de observaciones de practicas; saber pedagógico y reflexividad, didácticas; estrategias de comunicación y estilos de interacción.

Puntaje Promedio

Ejemplo relaciones: Aprendizaje y grupo Socioeconómico Lectura 4° EB (Mineduc, Chile, 2011)

Año

Grupo Socioeconómico

Factores de calidad de evaluación 900 escuelas INSUMOS

PROCESOS

Contexto: Realidad del estudiante y familia

Supervisión

RESULTADOS

Relación FamiliaEscuela

Talleres de Profesores

PRACTICAS PEDAGOGICAS

Calidad de los aprendizajes

Gestión escolar Ayudante de Recursos materiales

ESCUELA

Profesores

AULA

ALUMNO

Nuevas relaciones y objetos de evaluación Resultado

Procesos

Contexto/insumos

Alumnos

Calidad y distribución de logros de aprendizaje y otros

Trayectoria escolar, motivación, actitudes individuales , compromiso con la escuela

Entorno, familia y contexto social alumnos

Aulas

Calidad de la enseñanza (niveles de desempeño eva. Docente)

Prácticas pedagógicas; clima de aula

Condiciones de trabajo profesores y alumnos

Establecimientos

Desempeño institucional

Liderazgo director, clima interno y gestión

Políticas, Recursos

Sistema Educativo

Desempeño general del sistema Educativo

Diseño e implementación de políticas; programas y proyectos focalizadas

Contexto demográfico Políticas macro

Modulo 2. Análisis de opiniones y representaciones sociales

Necesidades

• Evaluar no sólo los resultados sino que también los procesos educativos. • No solo perspectiva de quien diseña o ejecuta. Analizar perspectiva y percepción usuarios. • Ampliación del foco y objeto de la evaluación, Concepto de calidad mas amplio. • Nuevos métodos e instrumentos que permitan, evaluar el desempeños; observar prácticas; analizar opiniones, representaciones. • Las preocupaciones señaladas favorecen nuevas relaciones entre los métodos cuantitativos y cualitativos.

Interpretaciones y representaciones sociales

• Son conocimientos prácticos, compartidos y elaborados socialmente • Permiten aprehender lo real y dar sentido a las interacciones sociales • Clasifican, distinguen, ordenan y jerarquizan la practica cotidiana • Son sistemas de referencia que organizan las interpretaciones y sus relaciones

Dimensiones de las representaciones

• Distinciones cognitivas (conceptos, términos, información) • Estructura (organización y relaciones que se establecen entre los términos) • Valorización y normas de las distinciones y organización del sistema de referencia • Dan sentido a la comunicación y practicas de los sujetos

Objetivistas / Subjetivistas • Estructuras • Realidad Externa al sujeto • Estructura • Relaciones Causales • Búsqueda verificación • Deductiva

• Sentidos • Realidad Interna del sujeto • Estructuración • Relaciones probables • Orientado al descubrimiento • Inductiva

Investigación cualitativa • Fundada en opción epistemológica (interpretación y comprensión) • Métodos de generación de datos sensibles al punto de vista del otro, acciones y contextos cotidianos. • Métodos de análisis y explicación que abarcan comprensión de la complejidad, el detalle y el contexto (Vasilachis de Gialdino,2006:25)

Materiales y Métodos de análisis Cuantitativa

Cualitativa

Textos

Análisis de contenido

Análisis de discurso

Entrevistas

Análisis descriptivo

Análisis categorial preguntas abiertas

Observación

Análisis atribuciones

Análisis interacción

Audios y Videos

Análisis de desempeño

Análisis de conversaciones

Basado en Silverman, 2006

Ciclo de investigación

Leo Gürtler* y Günter L. Huber (2007)

Modulo 3. Códigos, relaciones entre códigos y estructura

Análisis cualitativo de datos • Proceso de interpretación y de respuesta a las preguntas e hipótesis de trabajo plantadas. • Proceso teóricamente orientado a través del cual se busca analizar y descubrir relaciones que dan sentido a discursos e interacciones

Análisis de contenido • Es uno de los procedimientos clásicos para analizar el material textual con independencia de su procedencia (Flick, U., 2004). • Opciones: análisis y clasificación del contenido manifiesto o bien análisis de segundo grado que comprende lo implícito (Bourgois, E. et al.1996). • el contenido manifiesto es “una vía de tránsito” hacia otra clasificación de lo dicho o escrito (Pérez Serrano 2005: 141).

Categorías de clasificación • Es una operación básica de orden y distinción del material discursivo que, por lo general, es abundante, complejo y disperso. • Transforman los datos y el texto se reduce a unidades que puedan ser relacionadas, comparadas y agregadas a unidades mayores (Miles y Huberman, 1991). • Implica pasar del texto y sentido literal a categorías y relaciones entre categorías que producen un sentido no explícito. • Hay dos grandes procedimientos para la construcción de categorías: deductivo (deriva las categorías del marco conceptual ) e inductivo (define desde el conocimiento de los sujetos). • la investigación cualitativa no se reduce a la inducción en forma exclusiva (Hammersley y Atkinson, 1995).

Clasificación o codificación • Las categorías clasifican unidades u objetos en un contexto de clases relacionadas de manera diferente (Strauss & Corbin, 2002:113) • La clasificación no depende del objeto en si sino que de su definición y relaciones (Strauss & Corbin, 2002:113) • La clasificación integra o separa unidades en función de los parecidos o diferencias de sus propiedades

ANALISIS CUALITATIVO Tipo análisis

Preguntas

Técnicas

Descripción

Cuáles son las categorías de clasificación?

Códigos Codificación abierta (A/B=T)

Relaciones

Qué relaciones existen entre códigos? Existen estructuras, reglas y principios organizadores?

dominios Axial, estructuras,

Teoría

Actancial, selectiva

Tipos de códigos • 1. descriptivos: identifican características de los segmentos de los registros. • 2. explicativos: temas recurrentes o que tienen el mismo significado en el mismo registro o registros diferentes. • 3. interpretativos: interpretación relacionada con hipótesis inicial

Análisis estructural • Análisis de los sistemas de clasificación y reglas de combinacion objetivados y/o interiorizados por los sujetos • Estos sistemas y principios informan las percepciones, interpretaciones y prácticas de los actores • se reelaboran en los contextos de interacción y en el marco de las relaciones sociales de dichos contextos

Análisis estructural: conceptos claves 1. 2. 3. 4. 5.

Significado. Código de base. Códigos de calificación. Protocolo analítico Estructuras

1. Concepto de significado • Significado asocia un significante (material) y un significado (concepto). • Esta asociación es arbitraria. • La identidad o valor de los signos se constituye por su diferencia y oposición en una cadena asociativa. • El significado solo es comprensible en un contexto social de enunciación.

Relación semántica • En el discurso hay discontinuidades: distinciones que descansan en las oposiciones que les dan origen

• Ej: A / r (S) / B donde: • A y B = términos que clasifican realidades

• (S) = eje semántico • r = relación semántica de los términos

2. Unidad de análisis: los códigos. • Son la estructura mínima de significado a partir del cual se construye la organizacion del texto • Pueden ser palabras, secuencias gestuales, disposiciones de objetos, etc. • El método distingue codigos de base y de calificación • Se construyen por la simultaneidad de principios de disjunción y de conjunción.

Disyunción y conjunción • Disyunción es el principio que constituye el sentido de un término o categoría por la relación que tiene con otra opuesta. • Por ejemplo; alto/bajo; bueno/malo, etc. • Conjunción es el eje o contexto común en el cual se constituye la oposición binaria de base. • Por ej. Alto/bajo=estatura

Fórmula de Código de base A/B; A’ = B; B’ = A; A + B = T Donde: A, B = términos o realidades constituidas. / = relación de oposición o disjunción. A’ , B’ = Terminos o realidades inversas de A y B. T = Totalidad.

Ejemplo de Código de base c1 = A / r (S) / B Futuro / r (tiempo) / presente Entonces: c1 = A + B = T Futuro + Presente = Tiempo. Donde: A = B’ ; Futuro = (No presente) B = A’ ; Presente = (No futuro)

3. Códigos de calificación • Son aquellas apreciaciones o valoraciones que califican o atribuyen propiedades, implícita o explícitamente, a términos o realidades que aparecen como significantes en el texto. • Contienen términos donde el primero de ellos atribuye o califica a una de las realidades del código de base y el segundo al otro término o realidad.

Código de Calificación y de Base T cc1

cA

/

cB

Tc

(término de calificación)

cb

A

/

B

T

(términos objetos signifcantes)

Donde: cA, cB = Calificaciones de los términos A y B A , B = términos o realidades objetos o significantes. cc = códigos de calificación. cb = códigos debase. Tc = totalidad calificativa. T = Totalidad.

4. Protocolo analítico • Es ejercicio a través del cual “se hace hablar” al código construido y las relaciones construidas. • Es un primer nivel de interpretación que se dirige hacia la construcción de principios simbólicos que organizan la opinión expresada en el texto. • También debe explorar las relaciones que se infieren de las posiblidades lógicas y semánticas que abren las oposiciones construidas.

Ejemplo 4: de protocolo analítico • Del ejemplo anterior: “un niño desnutrido tendrá problemas de aprendizaje en el colegio”. • Esto se puede complementar con la siguiente proposición: “un niño desnutrido con problemas de aprendizaje estará fuera del colegio”

5. Las estructuras • Son las relaciones que tienen los códigos entre si. • Esta relación se basa en el principio de implicación recíproca • Las relaciones que se establecen construyen una estructura • Las estructuras pueden ser: paralelas; jerarquizadas y cruzadas.

Estructura paralela •Los términos de dos o mas códigos estan unidos por una relacion de doble implicacion reciproca. •La relacion atribuye propiedades o valor a uno de los términos (A) , al mismo tiempo y de un modo inverso, el segundo término atribuye propiedades o valor al otro término (B) del código de base. A1



A2 y B1



B2

Fórmula de estructura paralela cc1 ; cA1 / cB1 cc2 ; cA2 / cB2

cA1 + cA2 + cAn

=

A

ccn ; cAn / cBn cB1 + cB2 + cBn = Donde: Cp = Calificación paralela cc = Códigos de Calificación. cA, cB = Calificaciones. = Implicación recíproca. A, B = Realidades del código de base. cb = Código de base.

B

; cb

Indice de valorización paralela • La valorización o calificación de uno de los términos es suficiente para deducir la valorización de los otros. • Si uno de los términos tiene valor positivo o negativo valoriza del mismo modo los otros términos con los cuales tiene relación recíproca y el conjunto de categorías inversas estará connotado con el valor opuesto.

Ejemplo “La educación que se recibe en los colegios ahora es pésima y tampoco en igualdad de condiciones, porque el niño que vive en las Condes, en Providencia, en los colegios pagados particulares, recibe una excelente educación, es distinto a un niño que vive en un barrio, porque la educación es totalmente distinta, no hay igualdad de condiciones” (Irene)

Ejemplo de valorización paralela. T (tipos de educación) cA1(-) cB2(+) Pésima / (excelente) cA2

cc1= juicio

cB2 cc= espacio Comunas (Las Condes...)

Barrio

/

cA3 (gratis)/

cB3 pagado

A1 B2 (municipalizados) / Particulares.

cc= costo

cb= Tipos de Colegios

Estructura jerarquizada • Los términos de un código pueden tener un doble status: el inverso de una disyunción y el eje de otra • Un término o mas puede tener el doble status de inverso y de eje a su vez. • A1 / B1 = T1 T2 A2 / B2

Valorización jerarquizada • La valorización de un nivel jerárquico se transmite a todos los niveles jerárquicos inferiores t1 A1 / B1 (+) (-+) (++) A2 / B2

Estructura cruzada Construcción de relaciones cruzadas entre dos o más ejes de calificación Formula Productos axiales Px;

(A=cA1+cA2) / (B=cA1+cB2) / C=cA2+cB1) / (D=cB2+cB1) Donde: Px= producto axial. A, B, C, D = Realidades nuevas. cA, cB= Términos o realidades de ejes de calificación.

Ejemplo. Texto 1: (La educación) “es tener roce. Salir de la población. Crear personalidad, sabe desenvolverse mejor, para conversar tanta cosa, porque ha muchas personas que no tienen educación, sin embargo el roce les sirve bastante” (Olga) Texto 2: “A nosotras nos sirve el roce, la conversación, la relación con la demás gente. Pero ¿qué pasa?... O sea si no tiene una mínima educación (...) esa persona se tranca, se retrae, y eso se ve, es mucho más calladita, mucho más tímida” (Yolanda) Texto 3: “sin educación el ser humano es cero a la izquierda” (Eliana)

...Condensación descriptiva de calificaciones Ec1 = cA1 = Con Educación: /crear personalidad1/; /Saber desenvolverse2/; /para conversar/; /relacionarse con la demas gente4/. cB1= Sin educación: /...se tranca1/; /se retrae2/; /es mucho más calladita3/; /más tímida4/.

...Condensación descriptiva de calificaciones Ec2 = cA2= (Interior) término construido para expresar el opuesto de /salir de la población/ cB2 = Exterior, término que describe la calificación /salir de a población/. Códigos a relacionar: Ec1: cA1 Con educación / Sin Educación = Tc1 Tipos de personas. Ec2: cA2 (interior) / cB2 = Tc2 Espacio

Cruce de Ec1 y Ec2 (+) cA1 Con Educación

(-) cA2 (Interior)

A (x) (+-)

B “Ser alguien” (++)

D C “con roce” “cero a la izquierda” (-+) (--) Sin Educación cB1 (-)

(+) cB2 Exterior

Eje existencial y espacio (+) Ser AlguienA1

(-) A2

(+) B2

Interior, en la poblacion

Exterior,fue ra de la poblacion

Cero a la izquierda B1 (-)

Modulo 4. Aplicaciones y construcción de interpretaciones

Modelo de acción simbólica • Los discursos generan un movimiento que compromete los sentidos e interacciones de los sujetos • Este movimiento tiene una organización simbólica • Actores, categorías y códigos de los discursos desempeñan roles y acciones • Los actores son actantes (asumen distintos roles a la vez)

Modelo de acción simbólica Destinador+ Destinatario+ Ayudantes (+) Sujeto + Sujeto -

Objeto + Objeto Oponentes (-) Destinador Destinatario -

Modelo de acción simbólica Destinador+ Derecho + Igualdad

Sujeto + Sujeto -

Ayudantes (+) Buenas escuelas Objeto + ser alguien Objeto - cero a la izq. Oponentes (-) Malas escuelas

Destinador Injusticia -

Criterios de rigor

Criterios convencionales (Lecompte y Goetz, 1982)

• Fiabilidad: alude a la posibilidad de replicar un estudio por parte de otro investigador y obtener los mismos resultados. • Interna (descansa en constructo teórico) y Externa (descansa en contexto) • Validez: Grado en que los constructos y conclusiones corresponden con la realidad. • Interna implica que investigador e investigado atribuyen el mismo significado a categorías y conceptos. Externa refiere a la comparabilidad de los resultados con otros estudios.

Discusión • Paradigma de base no permite aplicar los mismos criterios de rigor de metodología cuantitativa. • En ciencias sociales no existe la posibilidad de predicción y control. • Investigador e investigado se influyen mutuamente. • La comprensión es distinta de la explicación. • Los valores y la interpretación condicionan todo el proceso de investigación.

Criterios Propios o alternativos Guba y Lincoln (1985)

• Valor de verdad alude a la confianza en la veracidad de los descubrimientos realizados en la investigación. Se logra con: contactos extensos, observaciones continuas, verificar datos y triangulación de fuentes informativas. • Transferibilidad grado en que los sujetos analizados son representativos del universo al cual pueden extenderse los resultados obtenidos. Se logra con muestreo teórico.

Criterios Propios o alternativos (2)

• Consistencia o dependencia. Posibilidad de obtener los mismos resultados al replicar el estudio en sujetos y contextos similares. Para ello usar: triangulación; método paso a paso, etc. • Neutralidad y confirmabilidad. Independencia de descubrimientos frente a opiniones y preferencias de investigadores. Se recomienda: Triangulación

Triangulación

• Los resultados de investigaciones sociales difícilmente son convergentes y por ello hay que buscar consensos interpretativos. • Campbell y Fiske (1959) proponen el concepto aludiendo al uso de distintos métodos para el mismo objeto. • Denzin (1970) amplía el uso a: de fuentes; técnicas, investigadores y teorías.

Dilemas éticos • Aluden a: obtención de información; procesamiento y análisis y comunicación de resultados. • Obtención de información: consentimiento de los sujetos; respeto de privacidad y límites; protección de grupos vulnerables. • Procesamiento y análisis: procedimientos rigurosos en la clasificación; uso de teorías en interpretación y discusión de datos; conclusiones acotadas. • Comunicación de resultados: cuidado sobre consecuencias de resultados en grupos y actividades sociales.