TESIS DOCTORAL

Utilidad de los Métodos de Pretest para la Evaluación de los Cuestionarios en la Investigación mediante Encuesta Autor: Miguel Castillo Díaz Director: Dr. José Luís Padilla García Co-directora: Dra. Juana Gómez Benito

Tesis presentada en el Programa de Doctorado: “Análisis Psicológico de los Problemas Sociales”

Investigación desarrollada gracias a la concesión de una beca predoctoral de Formación del Profesorado Universitario por el Ministerio de Educación y Ciencia. REFERENCIA: AP2005-4018

Departamento de Psicología Social y Metodología de las Ciencias del Comportamiento. UNIVERSIDAD DE GRANADA Granada, 2009.

Editor: Editorial de la Universidad de Granada Autor: Miguel Castillo Díaz D.L.: GR 1489-2010 ISBN: 978-84-693-0728-1

AGRADECIMIENTOS Recuerdo perfectamente la decisión que tomé hace ya muchos años, incluso recuerdo el momento y el lugar. Tras un día de clase en el segundo curso de la licenciatura de Psicología, bajaba por la Calle Doctor Oloriz, cuando me dí cuenta que la carrera no iba a ser suficiente para adquirir todos los conocimientos que yo quería tener sobre la psicología. Allí, hace unos 9 años, decidí que después de terminar la licenciatura en Psicología, seguiría estudiando para obtener el título de Doctor. Tras esa decisión se sucedieron una serie de acontecimientos que facilitaron el haber llegado hoy hasta aquí. El acontecimiento más importante fue cuando José Luís apareció en mi vida dando clase de Psicometría y Elaboración de Test. Jamás pude imaginar que aquel profesor, al que los alumnos rápidamente le sacamos un “parecido razonable” con Javier Cámara, iba a convertirse en una persona tan importante en los siguientes años. José Luís me propuso colaborar, por aquel entonces, en el informe de autoevaluación de la Facultad de Psicología. Aquella colaboración marcó el inicio de mi interés por la investigación. Después, conseguí unas tres becas durante la carrera que José Luís me tutorizó y que fueron alimentando ese gusanillo por los estudios y la investigación. Tras todo esto llegaron más colaboraciones, estudios, congresos, las tutorías en la UNED, la beca predoctoral, estancias, las clases en la Universidad de Granada, etc. Quiero agradecerte José Luís la dedicación tan grande que has tenido conmigo, el interés que siempre has mostrado en mi formación y en mi evolución y sobre todo, te quiero agradecer la enorme confianza que siempre has depositado en mí. Durante todo este tiempo he estado trabajando con Andrés, Alba e Isa, a los que también quiero agradecer su compañía y el aporte que cada uno ha hecho a la tesis. Sobre todo a Isa, prácticamente hemos sido los únicos becarios del área de metodología y hemos compartido muchas horas de trabajo, entrevistas, viajes interminables, buenos desayunos, entregas de proyectos el último día a última hora, reuniones (por decir algo) indescriptibles, etc., como diría el “matas”: “en menudas plazas hemos toreado”. Muchas gracias por haber estado ahí Isabelita, y por tu gran amistad.

3

He tenido una base, guía y apoyo incondicional en mi familia. Quiero agradecerles, sobre a todo a mis padres, el haber estado ahí para escucharme y haberme motivado a seguir, a seguir y a seguir. Muchas gracias por todo lo que me habeis dado. Bueno, queda una persona a la que tengo muchísimo que agradecer, aunque ella diría que no, jeje. Cansado de andar entre vibraciones bajas, crucé la sierra de Parapanda y fui a buscarla. La busqué porque quería dar luz a mi vida y ella me dio el mejor regalo del mundo. Se convirtió en mi Imo y consiguió que me encontrara conmigo mismo. Pilarcilla, gracias por tu alegría, tu transparencia, tu inocencia, tu amor, tu compromiso, tu autenticidad y por haber estado conmigo en todos y cada uno de los momentos de la tesis.

4

Índice de Contenidos INTRODUCCIÓN ..................................................................................................................... 8 CAPÍTULO I. MARCO TEÓRICO. ANTECENDENTES..................................................... 18 1. Introducción ................................................................................................................. 19 2. Desarrollo de los Nuevos Métodos de Pretest de Cuestionarios.................................. 19 3. Origen del Movimiento: Cognitive Aspects of Survey Methodology ......................... 22 4. El Modelo del Proceso Pregunta-Respuesta................................................................. 24 5. Aplicación del Movimiento CASM ............................................................................. 29 6. Referencias ................................................................................................................... 30 CAPÍTULO II. DESCRIPCIÓN DE LOS NUEVOS MÉTODOS DE PRETEST DE CUESTIONARIOS .................................................................................................................. 36 1. Introducción ................................................................................................................. 37 2. Latencia de Respuesta .................................................................................................. 38 3. Respondent Debriefings ............................................................................................... 39 4. Análisis de Viñetas....................................................................................................... 39 5. Experimentos................................................................................................................ 40 6. Codificación del Comportamiento ............................................................................... 41 6.1. Esquemas de Codificación ..................................................................................... 42 6.2. Análisis de los Datos .............................................................................................. 48 7. La Entrevista Cognitiva................................................................................................ 49 7.1. La Validez del Informe Verbal ............................................................................... 50 7.2. Paradigmas de Aplicación ..................................................................................... 53 7.3. Contextualización y Procedimiento ....................................................................... 59 7.4. Análisis de los Datos .............................................................................................. 63 7.5. Errores en los Resultados ...................................................................................... 68 7.6. Limitaciones de la Entrevista Cognitiva ................................................................ 71 8. Referencias ................................................................................................................... 72 CAPÍTULO III. ESTADO ACTUAL DEL USO DE LOS MÉTODOS DE PRETEST DE CUESTIONARIOS .................................................................................................................. 80 1. Introducción ................................................................................................................. 81 2. Estudio 1: Búsqueda Indexada ..................................................................................... 82 2.1. Método.................................................................................................................... 82 2.2. Resultados .............................................................................................................. 84 2.3. Discusión................................................................................................................ 88 3. Estudio 2: Búsqueda Indexada + Búsqueda Dirigida................................................... 88 3.1. Método.................................................................................................................... 89 3.2. Resultados .............................................................................................................. 90 3.3. Discusión................................................................................................................ 94 4. Conclusiones ................................................................................................................ 95 5. Referencias ................................................................................................................... 96 CAPÍTULO IV. PROCESOS DE RESPUESTA DE INFORMANTES DIRECTOS VS. INFORMANTES PROXY....................................................................................................... 98 1. Introducción ................................................................................................................. 99 2. Método ........................................................................................................................ 102 2.1. Participantes ........................................................................................................ 102 2.2. Materiales............................................................................................................. 103 2.3. Procedimiento ...................................................................................................... 106 2.4. Esquema de Análisis de las Entrevistas Cognitivas............................................. 107 3. Resultados ................................................................................................................... 109

5

3.1. Convergencia de las respuestas a las preguntas target....................................... 109 3.2. Convergencia de los procesos de respuesta......................................................... 110 3.3. Identificación de las diferencias en los procesos de respuesta............................ 112 3.4. Procesos de respuesta en función del tipo de pregunta ....................................... 115 3. Discusión.................................................................................................................... 117 5. Referencias .................................................................................................................. 119 6. Anexo .......................................................................................................................... 123 CAPÍTULO V. ERRORES DE RESPUESTA EN UNA ESCALA PSICOLÓGICA .......... 136 1. Introducción ............................................................................................................... 137 2. Método ........................................................................................................................ 140 2.1. Participantes ........................................................................................................ 140 2.1. Materiales........................................................................................................... 142 2.2. Procedimiento .................................................................................................... 143 2.3. Esquemas de Análisis ......................................................................................... 144 3. Resultados .................................................................................................................. 147 3.1. Codificación del Comportamiento ..................................................................... 148 3.2. Entrevista Cognitiva........................................................................................... 150 4. Discusión.................................................................................................................... 154 5. Referencias .................................................................................................................. 157 6. Anexo .......................................................................................................................... 160 CONCLUSIONES, LIMITACIONES Y LÍNEAS DE INVESTIGACIÓN ......................... 164 1. Conclusiones Generales ............................................................................................. 165 2. Limitaciones ............................................................................................................... 168 2.1. Estudios bibliométricos ........................................................................................ 169 2.2. Procesos de respuesta informantes proxy vs. informantes directos..................... 170 2.3. Errores de respuesta en una escala psicológica.................................................. 172 3. Futuras líneas de investigación .................................................................................. 175

6

7

INTRODUCCIÓN

8

Introducción Ya seamos investigadores sociales, geólogos o enfermeros, aplicando la encuesta de población activa, midiendo la dureza de los minerales o la tensión arterial del paciente, debemos asegurar que los instrumentos de medida que estamos utilizando sean válidos, fiables, sensibles y carentes de sesgo. Al igual que el enfermero es capaz de utilizar el esfingomanómetro para acceder a una medida válida de la tensión arterial del paciente, o el geólogo utiliza la escala de Mohs para comprobar sin sesgo alguno la dureza de un mineral frente a otro, el investigador social debe obtener un índice de población activa válido y fiable. En otras palabras, el investigador social debe asegurar que: (a) las preguntas de la encuesta miden las conductas o conceptos que realmente él quiere medir; (b) los datos obtenidos con la encuesta representan los valores “verdaderos” de esas variables y carecen de algún tipo de variabilidad no debida a dichos valores “verdaderos”; (c) las preguntas de la encuesta son lo suficientemente sensibles como para medir diferencias o cambios reales en la persona; y (d) su estudio cubre todas las dimensiones que implica el objeto de medición (Fowler, 1995). Durante la primera clase de una asignatura del área de metodología en el grado de Psicología, pedí a cinco alumnos que estaban sentados en la primera fila del aula que contestaran a la siguiente pregunta: “¿Está satisfecho con la ayuda que recibe de su familia cuando tiene un problema? Casi Nunca, A Veces o Casi Siempre”. Esta pregunta fue incluida en una encuesta de salud que se realizó nivel nacional en el año 2007. Con el fin de ilustrar a los alumnos una de las problemáticas de la medición por encuesta, a continuación les pregunté qué habían entendido por la palabra “familia”; es decir, les pedí que me explicaran qué habían entendido ellos por “familia” y a qué personas incluían en la misma. La variación en el concepto de familia entre estos cinco alumnos fue considerable. Dos estudiantes afirmaron que su familia estaba compuesta por las personas que vivían en su casa; estos eran sus padres y sus hermanos. Otro alumno expuso que su familia eran las personas que vivían en su casa, y además sus abuelos, sus tíos y primos maternos con los que mantenía un contacto frecuente. Un cuarto alumno explicó que su familia solamente se componía de su madre. El quinto incluyó en su concepto de familia a sus amigos, excluyendo a cualquier pariente (“para mí, mi familia son mis amigos…lo que yo considero familia son tres amigos que siempre estamos juntos”). Imagínese el lector que los cinco alumnos hubieran contestado, que de hecho lo hicieron, la misma respuesta: “casi siempre”, ¿sería lícito comparar estas cinco respuestas o establecerlas al mismo nivel, dadas las diferentes interpretaciones que cada alumno hace del 9

Introducción concepto “familia”? ¿Estaría esta hipotética medición por encuesta cargada de error? Esta situación artificial creada en clase ejemplifica una de las fuentes de error con las que históricamente ha tenido que lidiar la investigación por encuesta. A continuación, se expone de forma ampliada las fuentes de error en la medición por encuesta por su relevancia en los objetivos y contenidos de la tesis.

Fuentes de error en las encuestas Antes de comenzar a tratar los errores en las encuestas, es necesario, en primer lugar, situar a la encuesta dentro del contexto de investigación científica y social. El uso de la encuesta ha sido predominante desde la segunda mitad del siglo XX, tanto en las ciencias sociales, como en el campo de la salud y la economía, e incluso en las disciplinas representadas por la ciencia “pura” (Converse & Presser, 1986). El “supuesto” subyacente a toda la historia y evolución de la investigación por encuesta ha sido la precisión de la información que podemos obtener simplemente preguntando a una muestra de personas (encuestados) y, posteriormente, usar esta información para estimar en qué medida se puede generalizar a la población (Stone, Turkkan, & Bachrach, 1999). La pregunta es obvia, ¿podemos obtener información útil simplemente preguntando por ella? No obstante, la respuesta no es evidente, y en algunos puntos de la historia ha sido científicamente puesta en tela de juicio (Willis, 2005). La primera clasificación de las fuentes de error en las encuestas, dividió a las mismas en errores de muestreo y errores de no muestreo basándose en los diferentes usos que se hacía de los datos de las encuestas (Groves, 1989). Tal y como especificó Groves (1989), había dos grupos fundamentales de usuarios de los datos de las encuestas, estos eran los describers y los modelers. Por un lado, los describers estaban interesados en conocer alguna propiedad de un conjunto específico de personas (p. ej., la tasa de desempleo de una población en Marzo de 1989). Por otro lado, la motivación de los modelers en el uso de la encuesta venía determinada por las hipótesis propuestas sobre las causas de ciertos fenómenos sociales (p. ej., ¿poseer un amplio repertorio de habilidades reduce el riesgo de desempleo?). En base a estos dos diferentes propósitos en el uso de los datos de las encuestas, los dos grupos de usuarios se interesaron por distintas debilidades y fortalezas de la metodología de 10

Introducción encuesta. Los describers focalizaron sus esfuerzos en comprobar si la muestra que se utilizaba en la encuesta era representativa de la población objetivo de la que querían extraer ciertas características, mientras que los modelers se enfocaron en si las medidas de la encuesta podían captar los conceptos implicados en sus teorías. De este modo, un grupo de profesionales de la investigación por encuesta, formado principalmente por estadísticos, abordó los errores de muestreo buscando obtener una mayor representatividad de la muestra utilizada, por ejemplo, aumentando el tamaño de la misma, ajustando las probabilidades de selección de diferentes grupos o utilizando cluster con el fin de aumentar la eficiencia del muestreo. Otro grupo de profesionales, en este caso formado principalmente por teóricos de las ciencias sociales o del comportamiento humano, investigaron los errores de no muestreo. Por ejemplo, buscando la mejor forma de redactar las preguntas de las encuestas para eliminar ciertos problemas de medición, contactando con las personas seleccionadas para aumentar la cooperación, y reducir la no respuesta, o entrenando a los encuestadores para obtener muestras de conducta consistentes de los encuestados. Basándose en esta primera división de Groves sobre las fuentes de error en los datos de las encuestas, se han desarrollado diferentes clasificaciones. En este caso, y partiendo de una amplia aproximación, se va a presentar la clasificación acuñada por Willis (2005) que contempla la perspectiva de un estadístico (Groves, 1991) y de un diseñador de encuestas (Oppenheim, 1966). Esta clasificación divide los errores asociados a los procesos de encuesta en siete categorías principales. La Figura I.1 muestra dicha clasificación. Los diseñadores de cuestionarios normalmente no se dedican a los errores de muestreo o los errores de cobertura, siendo estos problemas generalmente tratados por estadísticos. Además, aunque se puede (y debería) considerar por qué las personas no quieren participar en las encuestas o por qué un ítem se deja sin contestar, los diseñadores de cuestionarios apenas abordan la problemática de los errores de no respuesta. De forma similar, tampoco se esfuerzan en comprobar exactamente qué es lo que se está haciendo con los datos después de ser recogidos, con la importante excepción de que sí asesoran sobre cómo pueden aparecer los errores de interpretación. Los diseñadores de cuestionarios principalmente enfocan sus esfuerzos, en primer lugar, en el estudio de los errores de respuesta y, en segundo lugar, en los errores del entrevistador.

11

Introducción

Figura I. 1. Principales Fuentes de Error en las Encuestas 1. Errores de no-observación: ¿Estamos encuestando a las personas correctas? a. Error de Cobertura: Ciertas personas o unidades pueden no ser incluidas en la encuesta. Por ejemplo, las encuestas telefónicas no cubren a las personas que no tienen teléfono. b. Error de Muestreo: Debido a que se realiza una selección de la muestra en lugar de preguntar a toda la población, podríamos seleccionar a individuos que no son representativos de la población.

c. Errores de No Respuesta: Si alguna persona que pertenece a la muestra no contesta la encuesta (porque no sea localizada o renuncia a participar, etc.) o alguna o pregunta, esta situación produce un sesgo.

2. Errores de observación: ¿Estamos obteniendo la respuesta correcta? a. Error del Entrevistador: Los entrevistadores pueden leer de forma incorrecta la pregunta, cometer errores en el registro de la respuesta, etc.

b. Error de Respuesta: Las características de las preguntas y el procesamiento que lleva a cabo el encuestado de dichas preguntas pueden llevar a respuestas incorrectas.

3. Errores de post-observación: ¿Estamos tratando de forma correcta los datos? a. Error de Procesamiento: Los datos pueden ser analizados o procesados de forma incorrecta.

b. Error de Interpretación: ¿Se llevan a cabo inferencias adecuadas basadas en los resultados obtenidos?

Fuente: Willis (2005) Un error de respuesta, a simple vista, es aquel que representa la discrepancia entre una teórica puntuación “verdadera” y la respuesta que el encuestado ofrece (p. ej., si durante el último año ha ido al médico de familia cinco veces y sólo dice que ha ido tres) (Willis, 2005). Estos problemas, debidos a ciertas características incluidas en el texto de las preguntas de la encuesta y al procesamiento que cada participante realiza de dicha pregunta, son los que estaban ocurriendo en el ejemplo utilizado al comienzo de la introducción sobre la interpretación del concepto de “familia”. En ese ejemplo cuatro de los cinco alumnos estaban realizando una interpretación distinta de un concepto clave (familia) en el texto de la pregunta. De este modo, el valor “verdadero” que se pretende extraer de cada alumno en la variable a medir (apoyo familiar) sería difícilmente comparable con el resto. Este tipo de error 12

Introducción denominado como “errores de respuesta”, también ha sido tratado desde otras disciplinas comunes, por ejemplo, desde la Psicometría. La concepción del “error de respuesta”, que llevan a cabo los profesionales de la investigación por encuesta, posee un claro paralelismo con la definición más común de “error de medida” en Psicometría. Esa necesidad de acceso a los errores de respuesta y eliminación de los mismos con el fin de obtener los niveles “verdaderos” de los participantes en las variables a medir en la investigación social, se corresponde claramente con la necesidad de acceder a la clásica puntuación verdadera que el participante posee de un atributo psicológico (Guilford, 1954). Con ciertos matices, se puede establecer que estos errores de respuesta presentados en la Figura I. 1 se corresponden con los errores de medida establecidos por la Teoría Clásica de Test en la medición psicológica. Los errores de respuesta con frecuencia se pasan por alto ya que son difícilmente cuantificables (Groves, 1991). Por ejemplo, si los resultados de una encuesta aparecen en algún medio de comunicación se suelen establecer afirmaciones, tales como: “el nivel de error general está alrededor del 3%”. Sin embargo, este nivel de “error general” es realmente una medida del error de muestreo. Los niveles de otras fuentes de error, principalmente de los errores de respuesta, son desconocidos y podrían tener tales dimensiones que incluso llegarían a absorber por completo el error debido a una equivocada selección de la muestra. Hay una amplia variedad de razones acerca de por qué las preguntas de los cuestionarios producen errores de respuesta. Existe la posibilidad de que los encuestados no tengan la información que se les pide, que no puedan recordarla, que no quieran hablar sobre esta temática, que estén malinterpretando ciertos conceptos de la pregunta o la pregunta por completo y ofrezcan respuestas erróneas, etc. Acceder a los errores de respuesta y evitarlos es básico para la utilización de las encuestas y para la calidad de sus resultados, ya que si la información que ofrece el encuestado no se ajusta a los niveles “verdaderos” que dicho encuestado posee en las variables a medir, todos los esfuerzos enfocados a seleccionar una muestra representativa, a encuestar a todos los individuos de dicha muestra, a que todas las preguntas de los cuestionarios sean cubiertas, a que los datos se procesen de forma correcta y se apliquen los mejores métodos de análisis… estarían carentes de utilidad y de valor alguno. De acuerdo con Willis (2005): “los errores de respuesta son el mayor impedimento para la calidad de los resultados de la encuesta” y continúa con que “el diseño de cuestionarios, que estén lo 13

Introducción suficientemente libres de este tipo de error, conlleva un proceso complejo que requiere del uso de principios sistemáticos tanto para el diseño del cuestionario como para su evaluación” (p.15).

Objetivo y Estructura En base a todo lo anteriormente expuesto, el objetivo general de la tesis es mostrar cómo se puede acceder, identificar y, por tanto, reducir los errores de respuesta mediante los métodos de pretest de cuestionarios. Se expondrá la utilidad de estos métodos para optimizar: a) los datos extraídos de los cuestionarios usados en las encuestas, y b) los datos extraídos de las escalas psicológicas usadas en las encuestas. La tesis se estructura en cinco capítulos, dos primeros de contenido teórico y tres restantes de contenido empírico. La estructura es la siguiente: 1. Capítulo I. Antecedentes: El Capítulo I tiene como objetivos: introducir los antecedentes que dieron origen al desarrollo de los métodos de pretest e introducir el marco teórico subyacente a los métodos de pretest cognitivos. 2. Capítulo II. Descripción de los métodos: Este capítulo muestra al lector una amplia revisión de los distintos métodos de pretest de cuestionarios, centrándose en aquellos utilizados en las investigaciones que componen la tesis, concretamente, en la entrevista cognitiva y en la codificación del comportamiento. En otras palabras, este segundo capítulo pretende exponer una visión general de los métodos de pretest y una detallada descripción de la entrevista cognitiva y la codificación del comportamiento. 3. Capítulo III. Estado actual de los métodos de pretest cognitivos: Esta primera investigación se ha situado como punto de partida y conexión entre la primera parte teórica y la segunda parte empírica de la tesis. El capítulo trata sobre el estado actual de los métodos de pretest cognitivo. Como por ejemplo, qué cantidad de profesionales están implicados en el área y dónde trabajan dichos profesionales, cuáles son los principales centros de producción de 14

Introducción dichos métodos, cuál ha sido su evolución temporal, qué patrones de colaboración existe entre los distintos profesionales, etc. Este conocimiento será de gran ayuda, tanto a la hora de contextualizar el uso de los métodos de pretest cognitivos, como para interpretar todas las circunstancias que rodean al uso, aplicación y resultados de estos métodos. 4. Capítulo IV. Procesos de respuesta de informantes directos vs informantes proxy: El Capítulo IV ilustra una aplicación de la entrevista cognitiva para optimizar los datos obtenidos por las encuestas que utilizan informantes proxy e informantes directos. Dicho capítulo muestra cómo a través de la entrevista cognitiva se puede obtener información sobre las posibles diferencias en los procesos de respuesta que llevan a cabo informantes directos e informantes proxy y, con ello, arrojar luz a la pregunta sobre cómo se podría evitar que los informantes proxy ofrezcan respuestas distintas de las que darían los informantes directos, reduciendo con ello los potenciales errores de respuesta presentes en las encuestas que ambos tipos de informantes. 5. Capítulo V. Errores de respuesta en las escalas psicológicas incluidas en las encuestas: Este estudio trata sobre el uso de la entrevista cognitiva y la codificación del comportamiento para evaluar la información aportada por una escala psicológica incluida en una encuesta de salud. El Capítulo V evidencia cómo estos métodos de pretest se pueden aplicar no sólo para acceder a los errores de respuesta de los cuestionarios de las encuestas, sino también para acceder a dichos errores en los datos de las escalas psicológicas insertadas en las encuestas. Además, se mostrará cómo a través de la entrevista cognitiva se pueden extraer evidencias de validez del ajuste entre el constructo que la escala psicológica pretende medir y las estrategias de respuesta llevadas a cabo por los participantes. Dada la terminología usada lo largo de la tesis es importante aclarar la diferencia entre los métodos de pretest de cuestionarios y los estudios pilotos, también conocidos como field pretesting o field studies. La denominación de métodos de pretest de cuestionarios hace alusión a los métodos de evaluación de los cuestionarios durante las fases de desarrollo del mismo. El uso de estos métodos de evaluación es el objeto de estudio de la tesis. Mientras que 15

Introducción los estudios pilotos hacen referencia a una primera administración de la encuesta a una muestra representativa cuando se dispone de cuestionarios completamente desarrollados. El objetivo de los estudios pilotos se centra en el análisis de la distribución de los datos de la encuesta en dicha muestra.

16

17

CAPÍTULO I. MARCO TEÓRICO. ANTECENDENTES

18

Marco teórico. Antecedentes

1. Introducción Durante los últimos 20 años, los métodos de pretest y evaluación de cuestionarios han cambiado drásticamente. Por una parte, se han desarrollado y aplicado nuevos métodos y, por otra parte, otros más antiguos han sido adaptados para nuevos usos. Algunos de estos cambios se deben a la aplicación tanto de la teoría como de los métodos de la ciencia cognitiva. Mientras que otros se deben a una creciente concienciación de los beneficios que se podrían obtener aplicando métodos de pretests más rigurosos. En esta línea, los investigadores comenzaron a evaluar las fortalezas y debilidades de los distintos métodos de pretest existentes, y a examinar la fiabilidad y la validez de los resultados de dichos métodos. Esta evolución ha sido el foco de interés de muchas comunicaciones en congresos y capítulos de libros. Sin embargo, no ha habido un congreso y un libro dedicado de forma exclusiva a la evaluación y pretest de encuestas hasta el International Conference on Questionnaire Development, Evaluation and Testing Methods celebrado en 2002, y la publicación del correspondiente monográfico. En la revisión del estado actual de los métodos de pretest se puede apreciar una paradoja. Por una parte, los métodos de pretest son el único medio para evaluar, por adelantado, si un cuestionario causa problemas para el entrevistado o para el entrevistador. Por ello, tanto los manuales sobre investigación como los investigadores experimentados declaran que es indispensable aplicar los pretests. Sin embargo, la mayoría de los libros de texto ofrecen mínima o ninguna información sobre los métodos de pretests. Así mismo, los informes publicados sobre encuestas normalmente tampoco ofrecen información sobre si los cuestionarios fueron evaluados y, en el caso de que sí lo hicieran, no dan información sobre cómo y con qué resultados. A esto hay que añadir que hasta hace poco apenas había investigación sobre la metodología de los pretests (Presser et al., 2004).

2. Desarrollo de los Nuevos Métodos de Pretest de Cuestionarios La primera referencia de los pretest en una revista académica data del año 1940. En ese año, Katz (1940) explicó: “el American Institute of Public Opinion and Fortune evalúa las

19

Capítulo I preguntas de los cuestionarios con el fin de evitar frases ininteligibles para el público o cuestiones desconocidas para el hombre de la calle” (p. 279). Katz en esta afirmación está mostrando su clara intención de eliminar los errores de respuesta. No se puede establecer con seguridad debido a la ausencia de documentación, pero los indicios apuntan a que dentro de la historia de la investigación por encuesta ha habido una forma clásica de pretest; denominado como pretest clásico, pretest convencional o incluso como debriefing. El pretest clásico consiste fundamentalmente en llevar a cabo un ensayo de la administración de la encuesta, en el cual los entrevistadores aplican la encuesta como lo harían en la situación real. Una vez completado un cierto cupo de encuestas por cada entrevistador, se lleva a cabo un debriefing en el que los entrevistadores relatan su experiencia con el cuestionario y ofrecen su punto de vista sobre los problemas del cuestionario. Algunos profesionales de la investigación por encuesta han defendido y depositado su confianza en esta forma tradicional de pretest, afirmando, por ejemplo, que: “no se necesitan más de 12-25 entrevistas para revelar las mayores dificultades y debilidades que posee el cuestionario durante el pretest” (Sheatsley, 1983, p. 226) o como especificó Sudman (1983): “unas 20-25 son suficientes para descubrir los principales errores de un cuestionario” (p. 181). Esta confianza depositada en la forma clásica de pretest probablemente se basa en la experiencia común de que un número reducido de entrevistas convencionales revelan numerosos problemas, por ejemplo, preguntas que contienen suposiciones injustificadas, frases mal expresadas o falta de categorías de respuesta. No obstante, no existe evidencia científica que justifique el supuesto de que este tipo de pretest puede identificar los problemas más importantes en un cuestionario (Presser et al., 2004). Es decir, no existe evidencia científica que exponga la utilidad de estos pretest tradicionales para acceder a los errores de respuesta en las encuestas. Estos pretest tradicionales, principalmente, ofrecían información sobre problemas durante la administración del cuestionario y problemas sobre la edición del mismo. El método de pretest clásico se basa en la suposición de que los problemas del cuestionario se mostrarán: a través de las respuestas que las propias preguntas provocan y de la frecuencia de estas respuestas (p. ej., si hay un gran número de respuestas “no sabe” u omisiones) y a través de otros indicios observables tras la formulación de la pregunta (p. ej., 20

Marco teórico. Antecedentes duda o malestar en el encuestado). Posteriormente el entrevistador puede describir estos problemas durante el debriefing. Sin embargo, como Cannell y Kahn (1953) apuntaron: “no hay pruebas exactas que verifiquen estas características; la ayuda de los entrevistadores experimentados, en este punto, solamente sirve para obtener evaluaciones subjetivas del cuestionario” (p.353). De forma similar, Moser y Kalton (1971) expusieron que “casi toda la evidencia útil de la adecuación de un cuestionario se obtiene del informe individual del entrevistador sobre cómo han ido las entrevistas, qué dificultades se han encontrado y qué alteraciones deberían realizarse” (p. 50). Moser y Kalton en su afirmación recalcan el excesivo peso depositado en la percepción del entrevistador durante el pretest clásico. Aunque los entrevistadores estuvieran ampliamente entrenados en el reconocimiento de problemas con las preguntas, la forma de pretest clásico aún seguiría sin poder obtener información de la mayoría de los problemas del cuestionario (Presser et al., 2004). Esto sucede debido a que ciertos tipos de problemas no son observables a través de la conducta del encuestado, incluso los encuestados pueden no ser conscientes de dichos problemas. Por ejemplo, los encuestados pueden malinterpretar el objetivo de una pregunta cerrada sin ofrecer ninguna evidencia de que lo están haciendo; ya que la forma de pretest clásico es siempre “no declarada” para el encuestado en lugar de ser un pretest “participante”. Es decir, los encuestados no son informados acerca del objetivo del pretest ni tampoco se les pregunta directamente sobre las interpretaciones que están realizando de las preguntas o los problemas que están surgiendo con el cuestionario (Converse & Presser, 1986). Como resultado, el pretest clásico parece estar mejor diseñado para identificar problemas con el cuestionario desde el punto de vista del entrevistador que es el único que conoce el objetivo del mismo. Además, cuando en un pretest clásico los entrevistadores realizan una descripción de los problemas que los encuestados han tenido con las preguntas del cuestionario, no hay reglas para la evaluación de dichos problemas o para determinar qué problemas deberían ser tratados. Los investigadores normalmente se basan en su experiencia e intuición para juzgar la problemática de la situación y decidir cómo revisar las preguntas defectuosas (Presset et al., 2004). Durante las últimas décadas, este cúmulo de desventajas que estaban mostrando los pretest clásicos ha provocado la aparición de dos cambios interrelacionados:

21

Capítulo I 1) Ha habido un cambio sustancial en los objetivos de los pretests. Desde un enfoque exclusivo en la identificación y corrección de los problemas encontrados por los entrevistadores y los encuestados, se ha pasado a un gran interés por la mejora de la calidad de los datos, a fin de que las mediciones obtenidas se ajusten a los objetivos de la encuesta. 2) Se han desarrollado o adaptado nuevas formas de pretests desde otras disciplinas. Por ejemplo, las entrevistas cognitivas, la codificación del comportamiento, la latencia de respuesta, el análisis de viñetas, experimentos, debriefings enfocados en el encuestado y la modelización estadística (Presser et al., 2004). El desarrollo de todos estos nuevos métodos de pretest suscita cuestiones acerca de cómo podrían ser combinados para optimizar los resultados del pretests y si, de hecho, estas nuevas formas de pretests mejoran la calidad de los resultados posteriores de las encuestas, accediendo y limitando los errores de respuesta. Veamos desde dónde han surgido la mayoría de estas nuevas formas de pretest.

3. Origen del Movimiento: Cognitive Aspects of Survey Methodology A comienzos de los años 80, el estudio de los errores en las encuestas se vio afectado por los avances en un campo emergente, creado por la combinación interdisciplinar de la metodología de encuesta y la psicología cognitiva, denominado Cognitive Aspects of Survey Methodology, o CASM (Jabine, Straf, Tanur, & Tourangeau, 1984). El movimiento CASM ha llegado a dominar el campo del diseño de cuestionarios, su desarrollo, investigación y evaluación. El principio básico del movimiento CASM es que las respuestas a las preguntas de los cuestionarios requieren de una serie de complejos procesos cognitivos, en contraposición a una simple secuencia de estímulo-respuesta en la que se realiza una pregunta y el encuestado expone una respuesta. CASM fue propuesto como un marco de trabajo que suplantaría (o incluso suplanta) el punto de vista tradicional del diseño de cuestionarios, enfatizando la vital importancia de la cognición en el proceso de respuesta en las encuestas (Willis, 2005). Los investigadores reconocieron que, en ese momento, las reglas del diseño de cuestionarios eran insuficientes.

22

Marco teórico. Antecedentes El mayor problema residía en el hecho de que el diseño de cuestionarios careciera de una consistente teoría subyacente. La “revolución cognitiva” de los años 70, en la que la cognición fue aplicada a una amplia variedad de campos, dio el impulso necesario para crear un cuerpo teórico relevante. De ahí que, la relación cognición y diseño de los cuestionarios tuviera implicaciones tanto teóricas como prácticas y pudiera incluso dirigir la creación de una disciplina científica de elaboración de cuestionarios (Herrmann, 1999; Jobe & Mingay, 1991; Sirken & Schechter, 1999; Tanur, 1999). Siendo justos, la apreciación de que responder las preguntas de las encuestas requiere procesos de pensamiento, realmente no se originaron con CASM. Tal y como apuntó Willis en 2005, el punto de vista cognitivo aplicado a las encuestas, remonta su origen hacia la mitad del siglo XX, antes de que la psicología cognitiva tuviera una influencia preponderante sobre las ciencias sociales. Por ejemplo, teorías sobre los procesos de respuesta aplicados a las encuestas, que eran cognitivas por naturaleza pero no por denominación, fueron introducidas independientemente por investigadores de la Universidad de Illinois (Lansing, Ginsburg & Braaten, 1961), investigadores de la Universidad de Michigan (Cannell, Marquis & Laurent, 1977; Cannell, Miller & Oksenberg, 1981), en Inglaterra por Oppenheim (1966) y en el US Census Bureau por Martin (1983). Aunque CASM podría haberse originado antes, se asume que el movimiento comenzó a establecerse a raíz de los dos siguientes eventos: el Advanced Research Seminar sobre Cognitive Aspects of Survey Methodology en los Estados Unidos de América en 1983, denominado actualmente como CASM I (Jabine et al., 1984) y el congreso sobre Social Information Processing and Survey Methodology celebrado en 1984 en Alemania (Hippler, Schwartz & Sudman, 1987). Quizás uno de los cambios más obvios que el movimiento CASM ha producido, es la forma en la que los investigadores de encuestas ven los errores de respuesta. Antes de este movimiento, las investigaciones sobre encuestas tenían un carácter mecanicista: se catalogaban los problemas, pero el origen de los mismos y las relaciones entre los distintos tipos de problemas no estaban claras. Por ejemplo, los informes de “calidad” de varias encuestas nacionales proporcionaban una amplia y detallada información de las distintas fuentes potenciales de error, pero no hacían ningún esfuerzo a la hora de desarrollar hipótesis sobre las causas de esos problemas (ver, p. ej., Brooks & Blair, 1978, y Jabine, 1990). Desde 23

Capítulo I la aparición del movimiento CASM, los investigadores han ligado los errores de respuesta a los procesos psicológicos de los entrevistados (p. ej., Strack & Martin, 1987; Tourangeau, 1984), al carácter de la interacción entre el entrevistador y el encuestado (Schaeffer, 1991; Schober, 1999; Suchman & Jordan, 1990) y a los procesos motivacionales implicados en esa interacción entre el entrevistador y el encuestado (Krosnick, 1991; 1999). Ahora las discusiones de los problemas en las encuestas se establecen en términos de los componentes mentales de los procesos de respuesta subyacentes a dichos problemas (p. ej., Groves, 1989). Los modelos cognitivos de los procesos de respuesta han proporcionado un nuevo paradigma para la comprensión, o al menos la clasificación, de los diferentes errores de respuesta en las encuestas (Tourangeau, Rips, & Rasinski, 2000).

4. El Modelo del Proceso Pregunta-Respuesta Una de las aportaciones más influyentes del CASM I fue la introducción del modelo del proceso pregunta-respuesta o también denominado modelo cognitivo de 4 fases propuesto por Tourangeau (1984). La figura I. 2 ilustra las fases de dicho modelo. El modelo presentado en la Figura I. 2 se compone de cuatro fases que el encuestado debe completar para ofrecer una respuesta; a saber, debe comprender el significado de la pregunta, recuperar información de la memoria a largo plazo, realizar un juicio o evaluación sobre la información recuperada y ofrecer una respuesta. A continuación se detallan estos 4 pasos: o Interpretación y Comprensión: En esta primera fase se lleva a cabo la interpretación y comprensión de los distintos conceptos que aparecen en el texto de la pregunta así como la pregunta en su conjunto. Un aspecto clave de esta primera fase es si el encuestado está interpretando la pregunta realizada tal y como los autores de la encuesta esperaban que se interpretara. Esto es muy importante, ya que si los encuestados están realizando una interpretación de la pregunta no acorde con la interpretación prevista, los resultados obtenidos y, por consiguiente, las conclusiones de las respuestas de los encuestados serán erróneas. Peor aún, si cada encuestado interpreta la pregunta de una forma distinta las comparaciones entre las respuestas de los encuestados no serán válidas (ver el ejemplo de la introducción). Por otra parte, si el cuestionario se

24

Marco teórico. Antecedentes encuentra en fases iniciales de desarrollo, los autores podrían no tener clara la interpretación prevista para las preguntas. De este modo, la indagación en esta fase de interpretación y compresión de la pregunta, podría servir como exploración de las distintas interpretaciones que realicen los participantes y como guía para ajustar hacia una interpretación común. Claramente, el objetivo del investigador debe ser diseñar preguntas que sean interpretadas por todos los encuestados de la misma forma y además que coincida con la interpretación prevista por los autores de la encuesta (Collins, 2003). Figura I. 2: Modelo del Proceso Pregunta-Respuesta P 1. Interpretación y Comprensión ƒ Interpretación de la Pregunta: Interpretación del objetivo de la pregunta ƒ Compresión de conceptos: Conceptos, expresiones, frases…

2. Recuperación de información ƒ Información a recuperar ƒ Estrategia para recuperar la información: Estimación, todo el repertorio, etc.

3. Juicio ƒ Integración de la información: Motivacion ƒ Evaluación de la información: Deseabilidad social

4. Comunicación de la Respuesta ƒ Ajuste a las opciones de respuesta ƒ Selección de opciones de respuesta

R Fuente: Tourangeau (1984).

25

Capítulo I o Recuperación de Información: Una vez que el encuestado ha comprendido la pregunta, debe recuperar información relevante de su memoria a largo plazo. Existen varias formas de recuperar información, por ejemplo, recuperar recuerdos de forma individual, hacer una estimación de toda la información almacenada o recuperar todo el repertorio de eventos e información almacenada. Ciertas características de la pregunta, y de la información a recuperar, pueden afectar por completo a la fase de recuperación de la información (Jobe, Tourangeau, & Smith, 1993). En este sentido, existe un amplio número de factores por los que el encuestado puede tener problemas para recordar un evento. Por ejemplo, el concepto o evento a recuperar puede no haberse almacenado nunca en la memoria a largo plazo; puede que sea irrecuperable, ya que el contexto de recuerdo sea distinto al contexto en el que se codificó y almacenó; puede ser difícilmente distinguible de otros similares o que dicho concepto o evento sea bloqueado por la interferencia de otros similares (Tourangeau, 1984). A la hora de diseñar las preguntas del cuestionario es importante tener en cuenta y evaluar con qué facilidad pueden los encuestados recuperar la información requerida, a qué nivel de detalle y si el uso del contexto facilita las estrategias de recuperación de información de los encuestados. o Juicio: La realización de juicios juega un papel muy importante en el proceso del modelo pregunta-respuesta. En primer lugar, el encuestado debe integrar toda la información recuperada en la fase anterior. La motivación que posea el encuestado es clave para que realice el suficiente esfuerzo mental. En segundo lugar, el encuestado debe evaluar la información ya integrada; dicha evaluación podría verse afectada por aspectos como la deseabilidad o sensibilidad social que posea la pregunta del cuestionario. Además, el encuestado puede valerse de heurísticos para responder a las preguntas; estos heurísticos son muy usados en las preguntas sobre la frecuencia de comportamientos (Collins, 2003).

o Comunicación de la respuesta: Esta es la última fase del proceso preguntarespuesta. A su vez se compone de dos pasos. En primer lugar, una vez 26

Marco teórico. Antecedentes formado el juicio en la fase anterior, el encuestado debe ajustar su posible respuesta a las opciones preestablecidas por los autores del cuestionario. La elección que hagan los investigadores de las alternativas de respuesta puede afectar a la forma en la que el encuestado decide responder a la pregunta del cuestionario y, por consiguiente, puede afectar a los resultados de la encuesta (Schwarz & Hippler, 1991). En segundo lugar, el encuestado comunica o selecciona una de las opciones de respuesta. En este último paso existe la posibilidad de que el encuestado edite la respuesta para ajustarse al contexto en el que se está llevando a cabo la entrevista. Posteriormente, se han introducido distintas variaciones de este modelo cognitivo (ver Jobe & Herrmann, 1996). Todas ellas mantienen la idea principal de las distintas fases de procesamiento cognitivo que evocan las preguntas de los cuestionarios. Son bastantes similares excepto por dos características: a) Función de la Fase de Comunicación de la Respuesta: En el modelo del proceso pregunta-respuesta de Tourangeau (1984), la evaluación de la adecuación y plausibilidad de la información seleccionada en la fase de juicio, se realiza en la fase de la comunicación de la respuesta; ajustándola, por ejemplo, a las alternativas de respuesta establecidas. Sin embargo, estas variantes del modelo proponen que el entrevistado lleva a cabo de forma consciente esa evaluación de la adecuación y plausibilidad de la información en la fase de juicio, y además se realiza sobre toda la información recuperada. b) Secuencilidad o Linealidad del Modelo: Más allá de las diferencias terminológicas, algunos modelos (p. ej. el modelo introducido por Willis, Royston, & Bercini, 1991, ahora conocido como el Modelo de Procesamiento Flexible) explícitamente eliminan la noción de la estricta secuencialidad del proceso cognitivo. Concretamente más que representar una serie algorítmica de operaciones, los entrevistados pueden establecer un proceso de toma de decisiones en fases mucho más tempranas y antes de recuperar información. Por ejemplo, cuando se pregunta el número de veces que te han puesto una multa por exceso de velocidad, puedo decidir cortar el proceso de decisión y ofrecer una respuesta como “¡no es de su incumbencia!” incluso antes de tener 27

Capítulo I que recuperar información de la memoria. Esta visión está en consonancia consistente con varias observaciones procedentes de distintos autores, aludiendo que el proceso de pregunta-respuesta puede estar sujeto a variables sociales y contextuales y, por tanto, no puede ser totalmente plasmado en un modelo serial (Ahola, 2004; Collins & Becher, 2001; Snijkers, 2002). Por ejemplo, Collins (2003) establece que en realidad el proceso preguntarespuesta es circular en lugar de lineal; implica un gran número de iteraciones e interacciones entre las distintas fases del modelo, con una gran característica circular. Por ejemplo, ella establece que en la fase de juicio (que desde mi punto de vista es la que aporta esta característica circular) los encuestados pueden valorar si han comprendido la pregunta, si la pregunta tiene que ver con su situación actual, si se les está preguntando por información que ellos realmente poseen, con qué nivel de detalle se les está solicitando esta información, si necesitan modificar su respuesta para adaptarla a la pregunta formulada, etc. Como el lector puede intuir este modelo recoge pormenorizadamente los pasos que durante el procesamiento cognitivo de una pregunta deben darse. No obstante, apenas incluye ciertos aspectos motivacionales que pueden llevar al encuestado a ejecutar todos y cada uno de estos pasos o simplemente a no realizar ninguno de ellos y, por ejemplo, ante una pregunta de respuesta cerrada elegir la respuesta al azar. Krosnick (1999) estableció un continuo de “optimización vs. satisfacción” que indica el grado de motivación con el que el encuestado lleva a cabo los cuatro pasos del modelo del proceso pregunta-respuesta. Por una parte, en el extremo de “optimización” se encontrarían los encuestados que ejecutan los cuatro pasos del modelo de forma completa, exhaustiva, con esfuerzo y con una gran implicación. Por otra parte, en el extremo de la “satisfacción” se sitúan los encuestados que dedican poco esfuerzo a la fase de interpretación y comunicación de la respuesta, no llevan a cabo ninguna recuperación de información y, por tanto, tampoco realizan ningún juicio de la información recuperada.

28

Marco teórico. Antecedentes 5. Aplicación del Movimiento CASM La investigación de CASM se basa en estudios controlados de los factores que pueden influir en la interpretación y las respuestas de las preguntas de las encuestas. Los resultados de tales investigaciones son, por tanto, objetivos, replicables y proporcionan un rico bagaje sobre los factores psicológicos de las respuestas a las encuestas. Consecuentemente, el objetivo de CASM es la evolución de la teoría, de forma que enriquezca nuestra comprensión de los procesos de respuesta a las encuestas (Willis, 2005). Por ejemplo, en los proceedings de CASM I, Loftus (1984) consideró cómo los encuestados responden a preguntas sobre eventos autobiográficos pasados, por ejemplo, las visitas al médico. ¿Se basan en un orden desde el presente hacia atrás para recordar la información y contestar o comienzan en el pasado y van hacia delante? Loftus propuso que tal aspecto cognitivo podría ser estudiado a través de un método de informe verbal, en particular, usando una entrevista think-aloud, como fue descrito por Ericsson y Simon (1980, 1984). Su aplicación al proceso de respuesta es sencilla, al menos procedimentalmente: se realiza la pregunta acerca de recordar las visitas al médico, y no sólo se pide al sujeto que conteste sino que también vocalice todos sus pensamientos; haciendo esto, podemos determinar en qué orden recuerda las visitas al médico y si aparecen problemas durante la elaboración de la respuesta. Loftus (1984) haciendo uso del thinking aloud para evaluar esta pregunta de la encuesta concluyó que: “al menos respondiendo a estas preguntas, los sujetos tienden a recuperar esta información biográfica, predominantemente hacia delante, es decir, desde el pasado hacia el presente” (p. 64). Loftus en 1984 estaba demostrando cómo el uso de simples herramientas cognitivas durante una entrevista podría facilitar la indagación en el proceso pregunta-respuesta del encuestado. Como afirma Collins (2003), este es el valor de las teorías que buscan explicar los procesos de respuesta a las preguntas de la encuesta; el valor que reside en la aplicación al diseño e implementación de los cuestionarios con el objetivo de reducir los errores de respuesta. Varios métodos de pretest, en este caso denominados como métodos cognitivos de pretest por su indagación en el proceso pregunta-respuesta, han sido desarrollados y aplicados a la evaluación de cuestionarios (Collins, 2003). Estos métodos de pretest cognitivos incluyen la entrevista cognitiva, el parafraseo, el card sorts, el análisis de viñetas, las evaluaciones de la confianza en la respuesta y la latencia de respuesta (Czaja, 1998; Jobe & Mingay, 1991). La entrevista cognitiva es ciertamente una de las manifestaciones más concretas y exitosas del movimiento CASM, en términos de la amplitud con la que se ha asentado y la aplicación a 29

Capítulo I través de diversas áreas, campos e investigadores (Blair & Presser, 1993; Sirken & Schechter, 1999).

6. Referencias Ahola, A. (2004). Cognitive model of the question-answering process and development of pretesting. Proceedings of the 4th Conference on Questionaire Evalulation Standards, Zentrum fur Umfragen, Methoden und Analicen (ZUMA), 26-33. Blair, J. & Presser, S. (1993). Survey procedures for conducting cognitive interviews to pretest questionnaires: A review of theory and practice. Proceedings of the Section on Survey Research Methods, American Statistical Association, 370-375. Brooks, C. & Blair, B. (1978). An error profile: Employment as measured by the Current Population Survey. Statistical Policy Working Paper 3. Washington, DC: Office of Federal Statistical Policy and Standards. Cannell, C. & Kahn, R. (1953). The collection of data by interviewing. En L. Festinger y D. Katz (eds.). Research Methods in the Behavioral Sciences. Nueva York: Dryden. Cannell, C., Marquis, K.H., & Laurent, A. (1977). A summary of studies of interviewing methodology. Vital and Health Statistics, Serie 2. N. 69 (DHEW Publication No. HRA 771343). Washington, DC: US Coverment Printing Office. Cannell, C., Miller, P.V., & Oksenberg, L. (1981). Research on interviewing techniques. En S. Leinhardt (Ed.), Sociological methodology (pp. 389-437). San Francisco: Jossey-Bass. Collins, D. (2003). Pretesting survey instruments: An overview of cognitive methods. Quality of Life Research, 12, 229-238. Collins, D. & Becher, H. (2001). Question testing and archiving of results to make best use of limited resources. Proceedings of the QUEST 2001 Conference, U.S. Census Bureau, 36-44.

30

Marco teórico. Antecedentes

Converse, J. & Presser, S. (1986). Survey Questions: Handcrafting the Standardized Questionnaire. Thousand Oaks, CA: Sage. Czaja, R. (1998). Questionnaire pretesting come of age. Marketing Bulletin, 9, 52-66. Ericsson, K.A. & Simon, H.A. (1980). Verbal reports as data. Psychological Review, 87, 215251. Ericsson, K.A. & Simon, H.A. (1984). Protocol analysis: Verbal reports as data. Cambridge: MIT Press. Fowler, F.J. (1995). Improving Survey Questions: Design and Evaluation. Applied Social Research Methods Series: 38. Thousand Oaks: Sage. Groves, R.M.(1989). Survey errors and survey costs. Nueva York: John Wiley & Sons. Groves, R.M.(1991). Measurement errors across the disciplines. En P. Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz, & S. Sudman (Eds.), Measurement errors in surveys (pp. 125). Nueva York: John Wiley & Sons. Guilford, J.G. (1954). Psychometric Methods. Nueva York: McGraw-Hill. Herrmann, D.J. (1999). Potential contributions of the CASM movement beyond questionnaire design: Cognitive technology and survey methodology. En M. Sirken, D. Herrmann, S. Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and survey research (pp. 267-275). Nueva York: John Wiley & Sons. Hippler, H., Schwartz, N., & Sudman, S. (1987). Social information processing and survey methodology. Nueva York: Springer-Verlag. Jabine, T.B. (1990). Survey of Income and Program Participation (SIPP): Quality profile. Washington, DC: U.S. Department of Commerce, Bureau of the Census.

31

Capítulo I Jabine, T.B, Straf, M.L., Tanur, J.M., & Tourangeau, R. (1984). Cognitive aspects of survey methodology: Building a bridge between disciplines. Washingon, DC: National Academy Press. Jobe, J.B. & Herrmann, D.J. (1996). Implications of models of survey cognition for memory theory. En D. Herrmann, C. McEvoy, C. Herzog, P. Hertel, & M. Jonson (Eds.), Basic and Applied Memory Research: Vol. 2. Practical application (pp. 193-205). Hillsdale, NJ: Erlbaum. Jobe, J.B. & Mingay, D.J. (1991). Cognition and survey measurement: History and overview. Applied Cognitive Psychology, 5, 175-192. Jobe, J.B., Tourangeau, R., & Smith, A.F. (1993). Contributions of survey research to the understanding of memory. Applied Cognitive Psychology, 7, 567-589. Katz, D. (1940). Three criteria: knowledge, conviction and significance. Public Opinion Quarterly, 4, 277-284. Krosnick, J.A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology, 5 , 213-256. Krosnick, J.A. (1999). Survey Research. Annual Review of Psychology, 50, 537-567. Lansing, J.B., Ginsburg, G.P., & Braaten, K. (1961). An investigation of response error. Urbana: University of Illinois, Bureau of Economic and Business Research. Loftus, E. (1984). Protocol analysis of responses to survey recall questions. En T. Jabine, M. Straf, J. Tanur, & R. Tourangeau (Eds.), Cognitive aspects of survey design: Building a bridge between disciplines (pp. 61-64). Washington, DC: National Academy Press. Martin, E. (1983). Surveys as social indicators: Problems in monitoring trends. En P.H. Rossi, J.D. Wright, & A.B. Anderson (Eds.), Handbook of survey research (pp.677-743). Nueva York: Academic Press.

32

Marco teórico. Antecedentes Moser, C. & Kalton, G. (1971). Survey Methods in Social Investigation, 2nd ed. Londres: Heineman. Oppenheim, A.N. (1966). Questionnaire design and attitude measurement. Nueva York: Basic Books. Presser, S., Rothgeb, J., Couper, M.P., Lessler, J.T., Martin, E., Martin, J., & Singer, E. (2004). Methods for Testing and Evaluating Survey Questions. Nueva Jersey: John Wiley & Sons. Schaeffer, N.C. (1991). Hardly ever or constantly? Group comparisons using vague quantifiers. Public Opinion Quarterly, 55, 395-423. Schwarz, N. & Hippler, H.J. (1991). Response alternatives: The impact of their choice and presentation order. En P.P. Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz & S. Sudman (Eds.), Measurement Errors in Surveys (pp.41-56). Nueva York: John Wiley & Sons Schober, M. (1999). Making sense of questions: An interactional approach. En M. Sirken, D. Herrmann, S. Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and survey research (pp. 77-93). Nueva York: John Wiley & Sons. Sheatsley, P. (1983). Questionnaire construction and item writing. En P. Rossi, J. Wright, & A. Anderson (eds.), Handbook of Survey Research. San Diego, CA: Academic Press. Sirken, M. & Schechter, S. (1999). Interdisciplinary survey methods research. En M. Sirken, D. Herrmann, S. Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and survey research (pp. 1-10). Nueva York: John Wiley & Sons. Snijkers, G. (2002). Cognitive laboratory experiences: On pretesting computerised questionnaires and data quality. Unpublished doctoral dissertation, Universidad de Utrecht, Holanda. Stone, A.A., Turkkan, J.S., & Bachran, C.E. (1999). The science of self-report: Implications for research and practice. Mahwah, NJ: Lawrence Erlbaum. 33

Capítulo I

Strack, F. & Martin, L. (1987). Thinking, judhing, and communicating: A process account of context effects in attitude surveys. En H. Hippler, N. Schwarz, & Sudman (Eds.), Social information processing and survey methodology (pp. 123-148). Nueva York: Springer-Verlag. Suchman, L. & Jordan, B. (1990). Interactional troubles in face-to-face survey interviews. Journal of the American Statistical Association, 85, 232-241. Sudman, S. (1983). Applied sampling. En P. Rossi, J. Wright, & A. Anderson (Eds.), Handbook of Survey Research. San Diego, CA: Academic Press. Tanur, J.M. (1999). Looking backwards and forwards the CASM movement. En M. Sirken, D. Herrmann, S. Schechter, N. Schwarz, J. Tanur, & R. Tourangeau (Eds.), Cognitive and survey research (pp. 73-100). Nueva York: John Wiley & Sons. Tourangeau, R. (1984). Cognitive science and survey methods: A cognitive perspective. En T. Jabine, M. Straf, J. Tanur & R. Tourangeau (Eds.), Cognitive aspects of survey design: Building a bridge between disciplines (pp. 73-100). Washington, DC: National Academy Press. Tourangeau, R., Rips, L.J. & Rasinski, K. (2000). The psychology of survey response. Cambridge: Cambridge University Press. Willis, G.B. (2005). Cognitive Interviewing: A Tool for Improving Questionnaire Design. Thousands Oaks, CA: Sage Willis, G.B., Royston, P.N., & Bercini, D. (1991). The Use of Verbal Report Methods in the Development and Testing of Survey Questionnaires. Applied Cognitive Psychology, 5, 251267.

34

35

CAPÍTULO II. DESCRIPCIÓN DE LOS NUEVOS MÉTODOS DE PRETEST DE CUESTIONARIOS

36

Nuevos métodos de pretest de cuestionarios

1. Introducción En el capítulo anterior se remarcaron las grandes desventajas del método de pretest clásico que impulsaron el desarrollo dos cambios relacionados. Por una parte, se cambió la meta del pretest pasando de enfocarse en los problemas experimentados por el entrevistador y el encuestado, a dirigirse hacia el aumento de la calidad de los datos de la encuesta, de forma que, las mediciones aportadas por dichas encuestas respondieran a los objetivos de medición. Por otra parte, se desarrollaron nuevos métodos de pretest y otros ya existentes se adaptaron a este nuevo uso (Presser et al., 2004). En consecuencia, podemos considerar que existen dos grupos de métodos de pretest. Un primer grupo compuesto por métodos de pretest ya existentes en otras áreas de investigación que han sido utilizados para la evaluación de cuestionarios. Otro segundo grupo conformado por nuevos métodos de pretest que principalmente se han desarrollado como aplicación del movimiento CASM, y que se pueden denominar cognitivos por su exploración de los componentes individuales del proceso pregunta-respuesta: interpretación y comprensión, recuperación de información, juicio y comunicación de la respuesta (Collins, 2003); siendo la entrevista cognitiva la principal manifestación de este segundo grupo de métodos. Habiendo establecido el objetivo de la tesis como la identificación de los errores de respuesta a través de los métodos de pretest de cuestionarios, no se va a entrar en la discusión sobre la existencia de estos dos posibles grupos de métodos, qué métodos se incluirían en cada uno de estos grupos ni tampoco cuáles serían denominados como métodos cognitivos y cuáles no. En este sentido se hará una revisión de los métodos de pretest más utilizados en la evaluación de los cuestionarios y se profundizará en los que se han utilizado para alcanzar el objetivo de la tesis doctoral; estos son: la codificación del comportamiento y la entrevista cognitiva. A continuación se hará una revisión de los siguientes métodos de pretest: la latencia de respuesta, respondent debriefing, el análisis de viñetas, los experimentos, la codificación del comportamiento y la entrevista cognitiva.

37

Capítulo II 2. Latencia de Respuesta La latencia de respuesta se utiliza para medir la precisión de las respuestas de los encuestados y a su vez, de forma indirecta, para evaluar las propias preguntas. Draisma y Dijkstra (2004) especifican que la latencia se refiere a la demora, al tiempo que transcurre, entre que el entrevistador termina de leer la pregunta y el encuestado da la respuesta. Estos autores afirman que demoras largas son indicativas de dudas en el encuestado y de errores en las respuestas. Además comparan los resultados de la latencia de respuesta con otros indicadores de dudas o incertidumbre en el encuestado. Draisma y Dijkstra (2004) se basan en las aportaciones de la psicología cognitiva que asume que la latencia de respuesta es a menudo un indicador de la dificultad de una tarea (Luce, 1986). Como se puede intuir, una mayor latencia de respuesta implica una mayor dificultad de la tarea. Estos autores además establecen que la dificultad de una pregunta puede ser una causa muy importante de los errores de respuesta, así que a mayor latencia de respuesta, mayor dificultad en la pregunta y mayor probabilidad de ocurrencia de una respuesta incorrecta. De esta forma con la latencia de respuesta se obtiene un indicador de la dificultad de la pregunta que a su vez se convierte en un indicador o identificador de posibles errores de respuesta. La latencia de respuesta comenzó a usarse como una medida de ejecución de tareas experimentales en el área de la psicología cognitiva. Aaker, Bagozzi y Carman (1980) y LaBarbera y MacLachlan (1979) fueron los primeros autores en aplicar el método de la latencia de respuesta en el contexto de la medición por encuesta. Ellos utilizaron la latencia de respuesta para comparar pares de productos en un estudio de marketing. Asumieron que una vez que se daba una respuesta ante dos marcas de productos, las respuestas más rápidas de la marca escogida eran indicativas de una mayor preferencia por dicha marca. No obstante, el trabajo más relevante, en la aplicación de la latencia de respuesta a la evaluación de las preguntas de las encuestas, fue el realizado por John Basili y sus co-autores. Basili y Fletcher (1991) usaron la latencia de respuesta para ordenar varios tipos de preguntas actitudinales. El grupo de preguntas que tenía una latencia de respuesta corta estaba compuesto por preguntas simples mientras que aquellas con una latencia mayor se correspondían con preguntas más complejas. Además estas preguntas más complejas, especialmente aquellas en las que había habido problemas durante su elaboración, parecían necesitar más tiempo para ser contestadas (Basili, 1996). En otro estudio, Basili y Scott (1996) utilizaron la latencia de respuesta como

38

Nuevos métodos de pretest de cuestionarios un indicador de problemas con las preguntas, comprobando que preguntas pobremente formuladas ofrecían una latencia mayor que versiones modificadas y ajustadas de estas mismas preguntas.

3. Respondent Debriefings El

respondent debriefing es un método participante, en el que se le informa al

encuestado del objetivo del mismo. A diferencia de los debriefing tradicionales que se recomendaban como un complemento de la forma tradicional de pretest (Kornhauser, 1951) en la que el entrevistador era quien aportaba la información de los problemas con las preguntas del cuestionario, este tipo de debriefing llevado a cabo de una forma estandarizada, puede revelar las interpretaciones y las reacciones que los encuestados realizan de las preguntas. En este método de pretest una vez que los participantes han contestado las preguntas de la encuesta, se les pide información sobre cómo han contestado a las preguntas o cómo las han interpretado, si ha habido algún problema con las mismas, etc. Belson (1981) usó este método de pretest administrando a una muestra de participantes las preguntas de la encuesta y realizando al día siguiente, una entrevista con el fin de identificar problemas con la interpretación de las preguntas. Empleó lo que él llamó doble entrevista. Martin (2004), por su parte, mostró cómo estos debriefings pueden ser utilizados para obtener evidencias acerca de en qué medida las preguntas generan omisiones o malas interpretaciones de los encuestados.

4. Análisis de Viñetas El uso de las viñetas tiene una larga historia en la investigación social. Podemos remontarnos hasta los trabajos de Piaget (1932/1965) en los que utilizó pequeñas historias para estudiar el razonamiento moral en niños. Las viñetas son pequeñas historias o escenarios que describen hipotéticas situaciones que son presentadas a los participantes para que las evalúen y/o comenten. Este método de análisis de viñetas es especialmente útil para explorar temas sensibles para los participantes, ya que se basa en la presentación de escenarios hipotéticos (Finch, 1987). El análisis de viñetas puede servir para: explorar los pensamientos

39

Capítulo II de las personas sobre distintos conceptos, para comprobar si las interpretaciones de dichos conceptos son consistentes con las interpretaciones previstas, para analizar la dimensionalidad de los conceptos; y para diagnosticar otros problemas en la redacción de las preguntas (Presser et al., 2004). Un buen ejemplo de aplicación en la evaluación y desarrollo de los cuestionarios fueron los trabajos de Gerber (1990, 1994). Esta autora llevó a cabo un estudio exploratorio mediante entrevistas para examinar cómo las personas piensan acerca de su residencia, el lenguaje que utilizan para describirla y los factores que tienen en cuenta a la hora de hablar sobre esta temática en las encuestas.

5. Experimentos La evolución que en las últimas tres décadas ha experimentado el área de la investigación por encuesta, ha generado un cuerpo de métodos y técnicas de evaluación de cuestionarios que indudablemente ha mejorado la calidad de las encuestas. Estos métodos se han enfocado en la identificación y revisión de las preguntas que son difíciles de entender o difíciles de contestar consiguiendo una mejora en las mediciones de las encuestas. Sin embargo, como especifica Fowler (2004), existen límites para estas técnicas; pues, dichas técnicas son capaces de identificar las causas de potenciales problemas que pueden afectar a la calidad de los datos, pero no proporcionan información acerca de en qué medida esos potenciales problemas podrían afectar a la calidad de los datos. Es más, cuando se modifican las preguntas de los cuestionarios, con el fin de evitar los problemas identificados mediante la aplicación de una de las técnicas, no se proporciona información sobre si ha aumentado o no la calidad de los datos con respecto a la versión original. En este sentido los experimentos de campo juegan un papel fundamental a la hora de cubrir este hueco. El concepto subyacente a los experimentos es bastante simple. Se seleccionan dos muestras “comparables” de participantes y se les administra diferentes versiones de las preguntas de la encuesta diseñada con un objetivo de medición común. Fowler (2004) propone tres formas distintas de comparar las dos versiones de las preguntas:

40

Nuevos métodos de pretest de cuestionarios 1. Distribución de Respuestas: Esta es la comparación más simple. Si la distribución de respuestas de las dos versiones de preguntas son idénticas se puede concluir que las preguntas también son idénticas. 2. Validez: De igual modo se puede comparar la validez de las dos preguntas. Por supuesto, previamente se debe haber especificado algún tipo de criterio o estándar con el que evaluar las respuestas de los participantes y poder concluir qué pregunta presenta mayor validez. 3. Usabilidad: A menudo el pretest cognitivo de los cuestionarios puede identificar preguntas cuya redacción sea confusa o compleja. Uno de los objetivos de la evaluación es reelaborar las preguntas de modo que resulten más fáciles de usar para los entrevistadores y de entender por los encuestados. En este sentido los experimentos de campo también pueden aportar información sobre ello. Un ejemplo de la utilización de experimentos de campo en el pretest de encuestas es el que aplicó Fowler en 1992. En este caso el pretest cognitivo de un cuestionario no aportó información clara sobre si incluir o no, pasear como una forma de hacer ejercicio. Se elaboró una versión de la pregunta en la que explícitamente se especificaba que se sí podía incluir pasear como una forma de hacer ejercicio. La prueba experimental mostró que la inclusión explícita de pasear como forma de hacer ejercicio, incrementó la tasa en la que los participantes informaban que hacían ejercicio. De manera que los investigadores concluyeron que esta última versión de la pregunta tenía mayor validez.

6. Codificación del Comportamiento La codificación del comportamiento fue desarrollada por Charles Cannell y sus colegas en los años 60 en el University of Michigan Survey Research Center. Puede ser utilizada tanto para evaluar preguntas como para evaluar entrevistadores. En sus primeras aplicaciones se enfocó, casi por completo, en la evaluación de los entrevistadores, de modo que no tuvo un impacto inmediato en las prácticas de los pretest (Presser et al. 2004). A finales de los 70 y comienzos de los 80, algunos investigadores europeos utilizaron la

41

Capítulo II codificación del comportamiento para estudiar preguntas, sin embargo, su aplicación en la fase de pretest no llegó hasta finales de los 80 en Estados Unidos (Oksenberg, Cannell, & Kalton, 1991). La codificación del comportamiento implica la monitorización de las entrevistas, a través de las transcripciones o las grabaciones en audio y vídeo, de un conjunto de conductas verbales tanto del entrevistador como del entrevistado durante la interacción entre ambos. Dentro de dicha interacción se va codificando la conducta realizada por el entrevistador y por el encuestado. Generalmente, se codifica la conducta realizada por el entrevistador y el entrevistado en cada una de las preguntas del cuestionario. Cuando ciertas conductas (p. ej. el entrevistador no lee la pregunta completamente o el encuestado solicita una aclaración) tienen una alta frecuencia de aparición, se considera que la pregunta debe ser revisada. En un amplio sentido, la codificación del comportamiento busca identificar las desviaciones de la secuencia ideal de conductas entre el entrevistador y el entrevistado. El objetivo fundamental es descubrir cómo estas desviaciones están relacionas, por una parte, con la calidad de los datos y, por otra parte, con las características del entrevistador, del entrevistado y del diseño del cuestionario (Ongena & Dijkstra, 2006).

6.1.

Esquemas de Codificación A continuación, se van a explicar dos esquemas de codificación. El primero de ellos,

fue desarrollado por Oksenberg, Cannell y Kalton (1991). Este esquema de codificación ha sido aplicado con mayor frecuencia por los profesionales del área y es el que hemos utilizado en la investigación del Capítulo V. Este primer esquema es bastante sencillo y muy enfocado a cubrir los objetivos del estudio. El segundo de ellos, fue utilizado por van der Zouwen y Smit (2004). La razón de incluirlo es que estos autores elaboraron un esquema de codificación muy detallado y, por tanto, creo que es muy útil desde un punto de vista explicativo. Además, contemplaba las fases del modelo del proceso pregunta-respuesta propuesto por Tourangeau (1984).

42

Nuevos métodos de pretest de cuestionarios Esquema de Oksenberg, Cannell y Kalton (1991) Oksenberg et al. (1991) tenían como meta elaborar un esquema de codificación que fuera fácilmente aplicable a lo largo del pretest. Encontraron que había una gran cantidad de información acerca de la conducta del entrevistador y el entrevistado superflua. Por ello, desarrollaron un esquema de codificación que se ceñía a la exactitud con la que el entrevistador leía la pregunta y a la conducta del entrevistado tras esa lectura. La Tabla II. 1 muestra una breve descripción de este esquema de codificación.

Tabla II. 1. Esquema de Análisis de la Codificación del Comportamiento Conducta

Código

Lee la pregunta exactamente como está

Exacto Entrevistador leyendo la pregunta

escrita Lee la pregunta cambiando ciertas

Cambios ligeros

R. Adecuada R. No Ajustada

pregunta

palabras sin alterar el significado de la pregunta

Cambios grandes

Entrevistado contestando la

Significado

R. Inválida

Cambia el significado de la pregunta/No lee completamente la pregunta La respuesta se ajusta al objetivo de la pregunta (secuencia ideal) La respuesta es adecuada pero no coincide con ninguna de las alternativas ofrecidas La respuesta no está relacionada con la pregunta

R. No sé

El entrevistado no sabe la respuesta

R. Limitada

La respuesta indica duda o incertidumbre

Interrupción Aclaración

El entrevistado interrumpe la lectura de la pregunta El entrevistado solicita una aclaración

En función del tipo de conducta que tenga lugar, se pueden especificar distintas secuencias. Generalmente, las secuencias se clasifican en “paradigmáticas”, “no paradigmáticas problemáticas” y “no paradigmáticas no problemáticas”. Una secuencia “paradigmática” es una secuencia ideal, en la que el entrevistador realiza la pregunta tal y 43

Capítulo II como está establecido, el entrevistado ofrece una respuesta adecuada y el entrevistador reconoce esa respuesta como adecuada (Ongena & Dijkstra, 2006). Ahora, una secuencia “no paradigmática” se clasifica como “problemática” o “no problemática” si el investigador considera que la conducta está afectando de forma problemática a los datos. Es decir, una conducta se puede establecer como problemática si realmente tiene una influencia en los datos. Si el investigador cree que la conducta en sí misma, no es la ideal, pero no afecta a los datos se clasificaría como “no problemática” (ver esquema de análisis del Capítulo V).

Esquema de van der Zouwen y Smit (2004) El esquema de codificación de van der Zouwen y Smit (2004) (ver Figura II.1) se divide en las cinco fases siguientes: 1. Selección y formulación de la pregunta. El proceso de pregunta-respuesta para una pregunta de un cuestionario comienza con la decisión del entrevistador sobre si formular esa pregunta, al correspondiente encuestado en el momento requerido. En el caso de que no se formulara la pregunta, se asignaría el código WS (word skip) indicando que la secuencia de interacción no comenzó. La omisión de la pregunta, en principio, llevaría a dejar en blanco la matriz de datos, es decir, no asignar ninguna alternativa de respuesta. Sin embargo, en algunas ocasiones el entrevistador asigna una alternativa de respuesta a pesar de que la pregunta no haya sido formulada (flecha 1). Esta conducta se codificaría como CE (coding error). Es posible que el entrevistador formule la pregunta de forma que cambie sustancialmente el contenido del texto de la pregunta del cuestionario. Esta reformulación (RQ, reformulation) implica que el entrevistado responda a una pregunta diferente de la prevista, con una alta probabilidad asociada de que ofrezca información no relevante o no comparable. Este efecto también podría ocurrir cuando se produce la omisión (OM, omission) de una parte de la pregunta, ya sea del propio texto o de las alternativas de respuesta.

44

Nuevos métodos de pretest de cuestionarios Figura II. 1. Ejemplo Esquema de Codificación RQ OM

1. SELECCIÓN Y FORMULACIÓN

WS MQ

2. PROCESAMIENTO COGNITIVO Ayuda

No pregunta

1. 2. 3. 4.

2

Compresión Recuperación de información Juicio Respuesta

Entrevistador

RE

3º persona

PT CA CH

1 3. EVALUACIÓN DE LA RESPUESTA Adecuada

Inadecuada

4. REPARACIÓN 3

Adecuada

R. Inadecuada: RF IA DK MM

Inadecuada AR IR MR

5. ASIGNACIÓN DE ALTERNATIVA No Alternativa

Sí Alternativa

Alternativa se ajusta a la respuesta

Alternativa no se ajusta a la respuesta CE

Códigos WS: wrong skip; RQ: reformulation; OM: omission; MQ: misinterpretation; RE: request for elucidation; PT: participation 3rd person; CA: comment to answer; CH: check of answer; IA: irrelevant answer; RF: refusal; DK: don’t know answer; MM: mismatch; AR: adequate repair; MR: missing repair; CE: coding error; IR: inadequate repair; Adaptado de Van der Zouwen y Smit (2004)

2. Procesamiento Cognitivo Una vez que el entrevistador ha formulado la pregunta, el encuestado pone en marcha un proceso cognitivo con el fin de ofrecer una respuesta. En línea con el

45

Capítulo II modelo presentado en el capítulo anterior, este procesamiento se divide en las 4 fases que aparecen en la Figura II. 1. Dicho procesamiento no es directamente observable. No obstante, como explican van der Zouwen y Smit (2004) durante la entrevista parte de este procesamiento puede llegar a ser indirectamente observable. Esto sucede cuando el encuestado solicita ayuda al entrevistador o a una tercera persona que esté presente en la entrevista. Esta conducta puede indicar qué parte de la pregunta ocasiona problemas, convirtiéndose estas interacciones y comentarios en medios de información muy útiles a la hora de evaluar la pregunta. En el caso de que el encuestado solicite una repetición o aclaración al entrevistador se aplicaría el código RE (request for elucidation). Si una tercera persona interrumpiera el proceso de respuesta, por ejemplo, ofreciendo la información solicitada, se codificaría con PT (participation of 3rd person). Si el encuestado parafraseaba la pregunta mostrando que no ha comprendido de forma correcta el objetivo de la pregunta, se aplicaría el código MQ (misinterpretation). Por último dentro de esta fase, algunas veces el encuestado comenta las razones de su respuesta o elección; en esas ocasiones se utilizaría el código CA (comment on answer). 3. Evaluación de la respuesta Tras la respuesta del encuestado el entrevistador debe evaluar dicha respuesta. En el caso de que se utilizara un formato de pregunta de respuesta cerrada, el entrevistador tiene que comprobar la adecuación de la respuesta dada por el encuestado, con las distintas alternativas de respuesta previstas para la pregunta. Sin embargo, una respuesta adecuada no siempre es una respuesta correcta. El entrevistador puede tener dudas sobre si la respuesta es correcta o no y decidir comprobarlo (CH, check) repitiendo la pregunta (flecha 2). En el caso de que la respuesta fuera adecuada, el entrevistador marcaría la opción correspondiente y finalizaría la secuencia de interacción. Por el contrario, si la respuesta es inadecuada (de acuerdo con los autores), puede ser de cuatro tipos diferentes: a) se niega a dar una respuesta (RF, refusal); b) la respuesta es irrelevante con respecto a la temática de la pregunta (IA, irrelevant answer); c) la respuesta es “no sabe” (DK, don’t know) y d) la respuesta es relevante con respecto a la temática de la pregunta pero no se ajusta a ninguna de las alternativas previstas (MM, mismatch).

46

Nuevos métodos de pretest de cuestionarios 4. Reparación Si el encuestado ofrece una respuesta inadecuada se espera que el entrevistador intente solucionar la situación y en colaboración con el encuestado “reparar” la respuesta, con el fin de obtener una respuesta adecuada (flecha 3). En esta situación, las habilidades del entrevistador juegan un papel crucial para solucionar el problema sin sesgar al encuestado hacia una respuesta u otra. En el caso de que la respuesta fuera lo suficientemente “reparada” se aplicaría el código AR (adequate repair). Sin embargo, puede ocurrir que la situación no se haya solucionado satisfactoriamente y el entrevistador en el intento de “reparar” la respuesta haya sesgado o dirigido al encuestado hacia una alternativa de respuesta. De modo que sería una “reparación inadecuada”, para ello se utilizó el código IR (inadequate repair). Por supuesto, también puede ocurrir que el entrevistador pese a oír una respuesta inadecuada no realice ningún intento de solucionar la reparación y marque una alternativa que no se ajusta con la respuesta ofrecida. A esta última secuencia de conductas se aplicó el código MR (missing repair). 5. Asignación de respuesta Esta es la última fase en el esquema de codificación usado por van der Zouwen y Smit (2004). En la fase de asignación de respuesta no designaron ningún código específico a una secuencia de conductas sino que el único código posible (CE, coding error) venía designado por los comportamientos en las fases anteriores. En base a estos 16 códigos utilizados para analizar la interacción entre el entrevistador y el encuestado, van der Zouwen y Smit (2004) establecieron tres tipos de secuencias. Estas son las siguientes: a) “Secuencias Paradigmáticas”, aquellas en las que el entrevistador selecciona y formula la pregunta de forma adecuada, el encuestado también ofrece una respuesta adecuada y se selecciona una alternativa que se ajusta a la respuesta; b) “Secuencias Inadecuadas”, cuando ha ocurrido alguna desviación de la secuencia paradigmática pero dicha situación ha sido satisfactoriamente resuelta (código AR, adequate repair) o cuando han ocurrido secuencias como RE (request for elucidation), CH (check) o CA (comment to answer); c) “Secuencias Problemáticas”, en este tipo de secuencias sucedieron importantes

47

Capítulo II desviaciones con respecto a la secuencia paradigmática que no fueron resueltas (MR, missing repair) o que no fueron satisfactoriamente resueltas (IR, inadequate repair).

6.2.

Análisis de los Datos Una vez que los investigadores han establecido los códigos de conducta y qué códigos

forman las secuencias, como por ejemplo la clasificación de van der Zouwen y Smit (2004), se procede con la administración de las preguntas de la encuesta. Estas sesiones de administración de las preguntas de la encuesta suelen ser grabadas en audio y/o vídeo para su posterior análisis. Se extraen las frecuencias tanto de los códigos como de las secuencias (“paradigmáticas”, “problemáticas”, etc.). El análisis de frecuencias proporciona información sobre las preguntas que están presentando dificultades para los encuestados. Por ejemplo, si en el estudio de van der Zouwen y Smit (2004), una pregunta muestra una alta tasa de secuencias “problemáticas” o de códigos “inadequate repair” está indicando que los encuestados no son capaces de dar respuestas ajustadas al objetivo de la pregunta, y pese al intento del entrevistador de “reparar” la situación, tampoco son capaces de ajustarse a la pregunta. Existen aplicaciones informáticas específicamente diseñadas para realizar este tipo de análisis. Por ejemplo, el software Sequence Viewer versión 4.4a (Dijkstra, 2008) ejecuta el análisis de la codificación del comportamiento utilizando las transcripciones de las interacciones entre el entrevistador y el encuestado. Este software ha sido usado en uno de los estudios empíricos de la tesis. Por último, hay una amplia variedad de criterios para decidir cuándo la distribución de frecuencias de las secuencias indica que la pregunta debe ser revisada. Van der Zouwen y Smit, en el estudio que se ha utilizado de ejemplo, incluyeron una revisión de criterios utilizados en diversos estudios desde el año 1969 hasta el 2004. Este estudió mostró que el criterio más utilizado es: revisar la pregunta del cuestionario cuando se ha obtenido un porcentaje menor del 85% de respuestas categorizadas como adecuadas o paradigmáticas.

48

Nuevos métodos de pretest de cuestionarios 7. La Entrevista Cognitiva La entrevista cognitiva posee un gran número de denominaciones distintas en la literatura: protocolos retrospectivos y concurrentes (Groves, 1996), entrevistas en profundidad (Snijkers, 2002), entrevistas expansivas (Forsyth & Lessler, 1991), entrevistas intensivas (Belson, 1981; Fowler, 1992, 1995), entrevistas intensivas cara-a-cara (Campanelli, Martin & Rothgeb, 1991), entrevistas think-aloud (Forsyth & Lessler, 1991; DeMaio & Rothgeb, 1996), think alouds (Sudman, Bradburn, & Schwarz, 1996) o entrevistas cognitivas (Presser & Blair, 1994; Presser et al. 2004; Campanelli, 1997; Willis, 2004; Willis, 2005; Beatty & Willis, 2007; Castillo, Padilla, Gómez y Andrés, en prensa). Como se ha venido haciendo en capítulos anteriores, el término “entrevista cognitiva” será el empleado a lo largo de la tesis. La entrevista cognitiva ha emergido como uno de los métodos predominantes para la identificación y corrección de problemas con las preguntas de las encuestas (Beatty & Willis, 2007). Numerosos institutos de investigación por encuesta, agencias estatales y centros privados de investigación han incorporado la entrevista cognitiva como un procedimiento habitual en el desarrollo de cuestionarios, y algunas organizaciones han creado laboratorios de diseño de cuestionarios para facilitar el uso de la entrevista cognitiva (p. ej. Census Bureau, National Center for Health Statistics, Bureau of Labor Statistics, Westat, RTI Internacional y Abt Associates). No obstante, a pesar de todos estos avances y desarrollos en el uso de la entrevista cognitiva, hoy en día no existe una definición comúnmente aceptada sobre la misma que incluya en qué consiste y cuál es el método adecuado de aplicación (Presser et al. 2004). Con el objetivo de incluir en esta tesis una definición de referencia, se va a utilizar la propuesta por Beatty y Willis en 2007 que parece reflejar el mayor consenso entre los profesionales del área:

“la entrevista cognitiva implica la administración de un borrador de preguntas de la encuesta mientras se recoge información verbal adicional sobre las respuestas a las preguntas de la encuesta, dicha información es usada para evaluar la calidad de las respuestas o para ayudar a determinar si la pregunta está generando la información que el autor de la encuesta pretendía” (p. 288).

49

Capítulo II Mas allá de esta definición general, la entrevista cognitiva potencialmente incluye una serie de actividades basadas en las distintas suposiciones sobre el tipo de datos que se esta obteniendo y el rol del entrevistador en el proceso. Por ejemplo, el material verbal generado por las entrevistas podría consistir en: 1) las elaboraciones de los encuestados acerca de como ellos construyen sus respuestas, 2) las explicaciones sobre cuál ha sido su interpretación de la pregunta, 3) la información sobre los distintos problemas que hayan tenido contestando a las preguntas; o 4) cualquier otra información que arroje luz sobre la amplia variedad de aspectos que rodea el proceso pregunta-respuesta (Beatty & Willis, 2007). Desde un punto de vista mucho más práctico, la entrevista cognitiva puede ser conceptualizada como una modificación y expansión del proceso normal de entrevista en la encuesta (Willis, 1994; Willis, DeMaio & Harris-Kojetin, 1999). La entrevista se lleva a cabo por entrevistadores cognitivos especialmente entrenados en la indagación del proceso pregunta-respuesta, en lugar de por los tradicionales encuestadores. Dichos entrevistadores pueden usar un protocolo semi-estructurado o dirigir la entrevista de una forma más abierta, basándose en las distintas cuestiones que surjan en el transcurso de la interacción entre el entrevistador y el encuestado.

7.1.

La Validez del Informe Verbal La perspectiva cognitiva de la evaluación de cuestionarios ha estado fuertemente

ligada al trabajo de Ericsson y Simon (1980) en Psychological Review, al posterior libro y a su revisión (1984, 1993). Ericsson y Simon estuvieron, en un principio, interesados en la evaluación de la utilidad de los informes verbales para obtener información de los procesos de pensamiento de las personas, en contraposición a la larga tradición de escepticismo, marcada por el conductismo, sobre la habilidad de las personas a la hora de hablar de sus motivaciones, procesos de conciencia y procesos cognitivos en general (Lashley, 1923). Después de una amplia y extensa revisión, Ericsson y Simon presentaron un modelo de procesamiento cognitivo (siguiendo a Newell y Simon, 1972). La hipótesis principal en la que se basa el modelo es que la información se almacena en distintas memorias con distintas capacidades de almacenamiento y distintas características de acceso, estas son:

50

Nuevos métodos de pretest de cuestionarios 1) Varios almacenes sensoriales de corta duración (p. ej. memorias icónicas o eoicas). 2) Una memoria a corto plazo (MCP) de capacidad limitada y/o duración intermedia. 3) Una memoria a largo plazo (MLP) de gran capacidad y almacenamiento relativamente permanente. El modelo del procesamiento de la información establece, de forma sencilla, que la información recientemente adquirida a través de la interacción con el entorno, se mantiene en la MCP durante un tiempo limitado. Mientras la información se encuentra en la MCP se puede procesar para ser utilizada en el mismo momento (p. ej. para producir informes verbales) o puede pasar a almacenarse en la MLP. Tras un periodo de tiempo limitado la información en la MCP se pierde. Por otra parte, la información, que tiempo atrás había sido almacenada en la MLP, tiene que ser transferida a la MCP para poder ser utilizada y poder informar sobre la misma. Ericsson y Simon (1980) asumen que cualquier verbalización o informe verbal acerca de un proceso cognitivo tendría que basarse en un subconjunto de información que se encuentre en alguna de estas dos memorias. En esta línea, concluyeron que provenga de donde provenga la información, para que una persona exprese sus pensamientos la información se debe encontrar en ese momento en la MCP, de lo contrario no podría hacerlo. En lo que concierne al ámbito de la metodología de encuestas, el aspecto clave del modelo es dónde se almacena la información: la información contenida en la MCP durante el transcurso de una tarea de solución de problemas o cualquier otra actividad cognitiva puede ser verbalizada sin que este acto interfiera en el proceso cognitivo puesto en marcha. Ericsson y Simon (1980) afirmaron que los informes verbales son verídicos no sólo porque contienen información pertinente que se encuentra disponible en la MCP, sino porque también, el acto de verbalizar esta información demanda poca actividad cognitiva adicional y, por tanto, no interfiere en el proceso de pensamiento sobre el que se está informando. Los profesionales de la investigación por encuesta no estaban interesados en el uso de los métodos de informe verbal sobre tareas cognitivas en el contexto de los experimentos psicológicos, sino en su aplicación en la evaluación cognitiva de las preguntas de las encuestas. En la medida en que Ericsson y Simon defienden el uso general de los métodos de 51

Capítulo II informe verbal, los entrevistadores cognitivos asumen que el uso de estos métodos en la evaluación de las preguntas de los cuestionarios representa una aplicación natural (Willis, 2004). Desde el trabajo inicial de Ericsson y Simon, los métodos de informe verbal se han extendido al área de la comprensión de los textos escritos (Magliano & Graesser, 1991; Trabasso & Suh, 1993). Sin embargo, no todos los procesos de pensamiento son accesibles, existen ciertos procesos de pensamiento automáticos en los que las personas tienen muy poco o nada que decir sobre la información procesada (Schneider & Shiffrin, 1977). Conrad y Blair (2009) ejemplifican esta restricción de la validez de los informes verbales exponiendo dos tareas cognitivas distintas, una automática y otra no automática: a) Cuando una persona planifica un movimiento en ajedrez se anticipa una serie de movimientos posibles, se almacena temporalmente el estado de la tabla de ajedrez en la MCP, las consecuencias de cada uno de los movimientos, etc. Además, la persona es capaz de explicar los procesos de pensamiento que han tenido lugar antes de realizar al movimiento de la figura de ajedrez. b) Cuando una persona tiene que recordar una contraseña o un correo electrónico simplemente la información aparece en su MCP desde su MLP, y tiene muy poco que explicar sobre este proceso de pensamiento. Si se le pidiera a esa persona que comentara cómo ha llevado a cabo esa tarea cognitiva probablemente diría: “simplemente he recordado la contraseña”. Ambas situaciones son aplicables a la entrevista cognitiva. En la medida en que las preguntas de la encuesta impliquen un procesamiento cognitivo automático, los participantes de la entrevista apenas podrán ofrecer información sobre dicho procesamiento cognitivo y, por tanto, la entrevista cognitiva tendrá poca utilidad en la indagación de los procesos de respuesta en este tipo de preguntas. En cambio, si el procesamiento cognitivo es no automático, es elaborado, la entrevista cognitiva adquirirá una enorme utilidad para indagar en los procesos de pensamiento del encuestado. Veamos a continuación cómo se han usado estos métodos de informe verbal en la evaluación de las pregunta de las encuestas. 52

Nuevos métodos de pretest de cuestionarios 7.2.

Paradigmas de Aplicación Todas las formas de aplicación de las entrevistas cognitivas consisten en dos tareas

principales: a) La administración de las preguntas de la encuesta a potenciales encuestados. b) Recoger información verbal acerca de los distintos procesos de respuesta que llevan a cabo los encuestados. Tradicionalmente existen dos grandes formas de implementar las entrevistas cognitivas. En una de ellas, el entrevistador tiene el rol de facilitar la verbalización de pensamientos del participante e intervenir tan poco como sea posible en la generación de esta información verbal. En la otra, el entrevistador guía la interacción de forma proactiva, realizando preguntas y pruebas de indagación. Ambas formas han dado lugar a lo que se puede considerar como dos paradigmas distintos de aplicación. La primera aplicación seguiría el Paradigma Thinking-aloud mientras que la segunda se corresponde con el Paradigma Probing Based.

El Paradigma Thinking-aloud El paradigma thinking-aloud fue la aplicación original de la entrevista cognitiva. En esta aplicación se anima al participante a que verbalice sus pensamientos mientras va contestando a las preguntas de la encuesta. Loftus en el congreso CASM I fue la primera persona que mostró la utilización de esta técnica para indagar en los procesos cognitivos del participante, mientras contestaba a una pregunta autobiográfica, en relación a cuántas veces había visitado al médico. Este paradigma de aplicación se consideró como una derivación directa del trabajo de Ericsson y Simon (1980, 1984) sobre la validez del informe verbal. Es decir, se asumió que el método think-aloud proporciona información real sobre los procesos cognitivos que tienen lugar en la MCP del entrevistado. Trabajos cercanos a la fecha de esta primera aplicación (p. ej. Royston, Bercini, Sirken & Mingay, 1986) sugieren que, las primeras formas de entrevistas cognitivas, están fuertemente basadas, si no exclusivamente,

53

Capítulo II en el método think-aloud. La aplicación del think-aloud fue el método predominante y no es de extrañar que también se convirtiera en el paradigma original de las entrevistas cognitivas. En algún momento, emergió un paradigma de aplicación de la entrevista cognitiva como alternativa al uso de un think-aloud puro. En concreto, se defendía el uso de preguntas o pruebas directas al participante, en lugar de ir animándolo a que hablara de sus pensamientos. Existen varios precedentes que podían haber marcado el desarrollo de esta nueva aplicación. Por ejemplo, Streett (1983) había descrito las preguntas “marcos de referencia” sobre cómo los encuestados interpretan distintos términos o conceptos. Converse y Presser (1986) propusieron los “pretest participantes” en los que explícitamente se informaba a los participantes del carácter evaluativo de la entrevista y que se les iba a pedir que explicaran sus respuestas.

El Paradigma Probing Based El método probing based implica una técnica de informe verbal que se ha ido consolidando, y con la que los investigadores cognitivos están mucho más de acuerdo (Willis et al., 1999). Desde este paradigma se lleva a cabo una entrevista en la que el entrevistador administra las preguntas de la encuesta a evaluar (preguntas target) y el participante responde a dichas preguntas. Posteriormente, el entrevistador indaga en la información que el participante tiene en su MCP, a través de preguntas específicas o pruebas. Este paradigma ha ido evolucionando gradualmente (Beatty & Willis, 2007). Aunque algunas primeras descripciones de la entrevista cognitiva (Bercini, 1992; Forsyth & Lessler, 1991; Royston, 1989) se enfocaron en el think-aloud como el paradigma dominante de la entrevista cognitiva, otras (Royston & Bercini, 1987; Willis, Royston, & Bercini, 1991) sugirieron que tanto think-aloud como probing based podrían ser alternativas perfectamente viables. Más tarde, Willis (1994) propuso con énfasis el uso de probing based, principalmente basando su defensa en la observación de que la técnica think-aloud parece ser difícil y desbordante para muchos participantes. En esta misma línea DeMaio y Rothgeb (1996) propusieron que las entrevistas cognitivas podrían incluir una serie de actividades previamente establecidas, tales como, pruebas sobre la comprensión de ciertos términos o

54

Nuevos métodos de pretest de cuestionarios solicitar a los participantes que parafraseen alguna pregunta, en ausencia del uso del thinkaloud. Artículos posteriores demuestran que esta tendencia hacia el uso del probing based siguió creciendo. Por ejemplo, Gerber y Wellens en 1997 afirmaron que la entrevista cognitiva parecía haber evolucionado de su forma original “incluyendo más pruebas, y muchas de ellas sobre la interpretación de los participantes que las que originalmente se habían previsto” (p. 35). O’Muircheartaigh continúa en 1999 estableciendo que la práctica de la entrevista cognitiva había divergido sustancialmente del paradigma original propuesto por Ericsson y Simon. Para finalizar con esta línea argumental, se incluye la puntualización que Willis et al. realizaron en 1999, exponiendo que a menudo la entrevista cognitiva es denominada como “entrevistas think-aloud”, no obstante, dicha denominación debería usarse con moderación ya que la forma think-aloud de aplicación de la entrevista cognitiva no es necesariamente la forma dominante de implementación de la entrevista cognitiva. A continuación, la Tabla II. 2 ilustra algunas categorías de las pruebas “clásicas” en el diseño probing based de la entrevista cognitiva y ejemplos de cada una de ellas. Esta tabla sólo muestra un pequeño ejemplo de las distintas pruebas que pueden utilizarse durante la entrevista cognitiva. No obstante, la aplicación de la entrevista cognitiva de acuerdo a un diseño probing based es bastante variado y complejo. Tal y como puede observarse en la Tabla II. 2 las pruebas parecen estar basadas en el sentido común, y por ello, los entrevistadores suelen estar muy dispuestos a aplicarlas. Sin embargo, desde un punto de vista teórico, la utilidad de estas pruebas con el objetivo de evaluar las preguntas de la encuesta se basa en tres puntos claves (Willis, 2005): 1. Las características de las preguntas de las encuestas (p. ej., longitud, terminología utilizada, etc.) deberían afectar al procesamiento de información en varios puntos: en las fases de comprensión, recuperación de información, juicio y respuesta de los encuestados. 2. Se podría aplicar esta técnica de pruebas verbales para, literalmente, “probar” el sistema de procesamiento. Es decir, se le aplican estas pruebas al participante con el fin de indagar en alguna de las fases del proceso preguntarespuesta, tales como, comprensión o recuperación de información. 55

Capítulo II

Tabla II.2. Típicas Pruebas Cognitivas Prueba Cognitiva

Ejemplo ¿En qué estaba pensando mientras respondía a la

Prueba General

pregunta? ¿Qué información le ha venido a la cabeza mientras respondía?

Prueba sobre Comprensión de conceptos Prueba de Parafraseo

¿Qué ha entendido por el termino “familia”? ¿Podría repetir la pregunta con sus propias palabras? ¿Con qué seguridad afirma que… “su seguro

Juicios de Confianza

médico cubre el tratamiento del alcohol y las drogas”?

Prueba sobre Recuperación de Información

¿En qué se ha basado para decir que… “fue al médico cinco veces durante el año pasado”? ¿Ha sido fácil o difícil responder a la pregunta?

Prueba Especifica

Me he dado cuenta que ha dudado al responder, ¿me podría decir qué ha sucedido?

3. La respuesta del participante a estas pruebas, podría ser usada para evaluar el procesamiento de estas fases. En particular, para evaluar si la pregunta de la encuesta esta siendo procesada como se esperaba.

Procedimiento de Aplicación Aquellos entrevistadores que utilizan la aplicación probing based, en contraposición a la utilización del think-aloud, deben decidir cuándo aplicar dichas pruebas. Es decir, cuándo introducir dichas pruebas durante la entrevista. Existen fundamentalmente dos opciones, introducir las pruebas como una parte integrada en la administración de las preguntas del cuestionario a evaluar, denominadas preguntas “target” (Willis, 2005), o esperar a que se administren todas las preguntas target y como una actividad separada se realizan las pruebas. El primer procedimiento se denomina concurrent probing o immediate restropective probing (Willis et. al 1991); mientras que el segundo se denomina delayed retrospective probing, retrospective probing o subject debriefing (Willis, 2005). En el marco de esta tesis doctoral, 56

Nuevos métodos de pretest de cuestionarios se utilizará el término diseño concurrente para referirse al primer procedimiento, y diseño retrospectivo para referirse al segundo procedimiento. En el diseño concurrente las pruebas se llevan a cabo de una forma interactiva y conversacional en la que el entrevistador cognitivo y el participante se turnan para ir preguntando y contestando tanto las preguntas target como las pruebas cognitivas. Actualmente, el diseño concurrente es el más utilizado, prueba de ello es el estudio que realizaron DeMaio y Landreth (2004) sobre tres laboratorios cognitivos determinando que aproximadamente el 95% de las pruebas fueron administradas de forma concurrente. En la Figura II. 2 se expone una secuencia típica en la aplicación concurrente de la entrevista cognitiva, junto a un extracto de trascripción de una entrevista cognitiva real. Podría parecer más efectivo esperar a que se administraran todas las preguntas target y posteriormente realizar las pruebas cognitivas, evitando de este modo efectos de reactividad en el participante debido a la acumulación de pruebas durante la entrevista. Sin embargo, la mayoría de los entrevistadores cognitivos coinciden con Ericsson y Simon (1980, 1984) en que la información debería estar fresca en la mente del participante (en su memoria a corto plazo) para poder ser evaluada correctamente. En otras palabras, si se aplican las pruebas cognitivas muy tarde, se corre el riesgo de que los participantes no recuerden qué estaban pensando cuando contestaban a cada una de las preguntas target. Sería más conveniente utilizar el diseño retrospectivo bajo ciertas circunstancias: (a) cuando se evalúan preguntas de encuestas auto-administradas, especialmente cuando el objetivo de la evaluación es determinar la capacidad del participante para utilizar un instrumento de medida auto-administrado, (b) en las últimas fases del desarrollo de las preguntas cuando los diseñadores quieren simular las condiciones reales de la administración de la encuesta sin la interrupción de las pruebas, y (c) cuando junto a la entrevista cognitiva se aplica otro método de pretest, por ejemplo, la codificación del comportamiento, y se necesita obtener una secuencia de conductas sobre la interacción del entrevistador y el participante sin la interrupción de las pruebas cognitivas (ver capítulo V).

57

Capítulo II Figura II. 2. Ejemplo de diseño concurrente Secuencia

Extracto de la Entrevista Cognitiva P.1 ¿Tiene dificultad importante para hablar de manera comprensible y

1. El entrevistador

decir frases con sentido sin ayudas?

administra la

SI

pregunta target

NO

2. El participante

“Sin ayuda de otra persona, sí, por supuesto, yo me considero bien al hablar

contesta a la pregunta

sin ayuda de nadie”

3. El entrevistador marca la alternativa

“Entonces…la respuesta sería, NO”

de respuesta 4. El entrevistador realiza la prueba cognitiva

¿Qué significa esta pregunta para Vd. y por qué ha contestado así?

(prueba general en este caso) “Porque yo creo que en esta facultad que yo tengo ahora mismo, es la que 5. El participante contesta a la prueba

tengo sana. Entonces me veo muy desarrollada a la hora de poder…no a lo mejor el decir cosas que uno quiere…pero creo que sí, que saber escucharlo y decirlo, me veo preparada porque no me veo con ninguna dificultad en ese sentido, de adentro interior”

6. La secuencia 3 y 4

¿Qué significan para Vd. las palabras “hablar de manera comprensible”?

se suele repetir varias

“Yo el concepto es saber escuchar y comprender a la persona con la que estás

veces

hablando” P.2 ¿Tiene dificultad importante para comprender el significado de lo

7. El entrevistador

que le dicen otras personas sin ayudas?

administra la siguiente pregunta

SI

target

NO

58

Nuevos métodos de pretest de cuestionarios 7.3.

Contextualización y Procedimiento La aplicación de la entrevista cognitiva, como método de pretest, supone una fase en

la amplia secuencia de desarrollo de la encuesta. Es importante no cometer el error de aplicar la entrevista cognitiva demasiado pronto o demasiado tarde en dicho proceso. Si se aplicara demasiado pronto aspectos como, la concreción de objetivos de la encuesta o la búsqueda y localización de encuestas similares podrían interferir en el proceso de evaluación del cuestionario. Por otra parte, si se aplicara demasiado tarde no se dispondría de suficiente tiempo para realizar los cambios y ajustes necesarios tras los resultados de la entrevista cognitiva (Beatty, 2004). La entrevista cognitiva se debe aplicar una vez que se dispone de un borrador del cuestionario. En base a este borrador del cuestionario se seleccionarán las preguntas a ser evaluadas mediante la entrevista cognitiva, es decir las preguntas target. La selección de dichas preguntas se puede llevar a cabo de varias formas. Por una parte, los autores de la encuesta pueden decidir cuáles son las preguntas que necesitarían ser evaluadas. Por ejemplo, aquellas que han resultado más complejas durante las fases iniciales de la elaboración del cuestionario. Por otra parte, los autores de la encuesta con el asesoramiento de entrevistadores cognitivos pueden decidir qué preguntas pueden ser las más problemáticas e identificar las potenciales fuentes de error de respuesta que pudieran poseer. Por supuesto, sin mencionar que para obtener un borrador del cuestionario, previamente y de forma general, se tuvo que establecer los objetivos de la investigación, llevar a cabo un juicio de expertos, revisión bibliográfica o cualquier método similar para la concreción y desarrollo de conceptos o constructos a implementar en el cuestionario, y por último, operativizar dichos conceptos y constructos hasta poder ser representados en preguntas dentro de la encuesta. La Figura II. 3 muestra el procedimiento de la entrevista cognitiva una vez que se ha obtenido el borrador del cuestionario. Antes de comenzar con la entrevista y una vez seleccionadas las preguntas target, se debe preparar y/o adaptar el cuestionario para su administración en la entrevista cognitiva. Así mismo, se deben desarrollar las correspondientes pruebas cognitivas para indagar en el proceso pregunta-respuesta y, por tanto, obtener evidencias de esas potenciales fuentes de error de respuesta.

59

Capítulo II

Figura II. 3. Procedimiento de la Entrevista Cognitiva Borrador del Cuestionario Disponible para ser Evaluado

Preparación de la Entrevista

Reclutamiento

Elección de las preguntas target

Determinar las características de los participantes

Preparación del cuestionario para la entrevista cognitiva

Desarrollar e implementar una estrategia de reclutamiento (anuncios, bola de nieve…)

Desarrollo de las pruebas Desarrollo del Protocolo de entrevista (instrucciones + preguntas target + pruebas)

Reclutar y citar a los participantes

Realizar entre 15-20 entrevistas cognitivas Análisis de los datos de las entrevistas (grabaciones, transcripciones, notas…)

Proceso de

Informe de Resultados

Entrevista Reunión con el cliente o autores de la encuesta para las posibles modificaciones

Cognitiva

El cuestionario es revisado por los diseñadores

SI

¿Se necesita llevar a cabo otra ronda de evaluación? NO

Fase del Pretest de Campo Administración de la Encuesta

Dichas pruebas junto con instrucciones sobre el objetivo de la entrevista cognitiva, su desarrollo, y función del entrevistador y el participante suelen ser implementadas en un protocolo o guión de entrevista. A veces, las preguntas target, también se insertan en dicho protocolo y, otras veces, se crea un documento independiente con dichas preguntas.

60

Nuevos métodos de pretest de cuestionarios A su vez y como una parte muy importante del procedimiento se deben reclutar a los participantes de la entrevista cognitiva. Actualmente, el ámbito de los participantes “adecuados” para la entrevista cognitiva y cuestiones tales como la representatividad de los participantes, su capacidad de comunicación verbal, la utilización de los mismos participantes en varios pretest cognitivos, etc. se está convirtiendo en un foco de atención por los profesionales del área; por ejemplo, Willis (2005) dedica varias páginas de su libro a ilustrar quiénes son los participantes adecuados para la entrevista y cómo podrían ser reclutados. Basándonos en la experiencia acumulada en la realización de entrevistas cognitivas podemos apuntar que la característica más importante que deben poseer los participantes no es tanto la representatividad de la población objetivo sino la posesión de ciertas características que hagan “saltar” los problemas con las preguntas. Dada la finalidad de la entrevista cognitiva, que es identificar las causas de los errores de respuesta en las encuestas, se deben seleccionar potenciales participantes que se espera muestren esos errores de respuesta durante la administración de las preguntas target en la entrevista cognitiva. Por ejemplo, si se va a evaluar las preguntas de una encuesta de discapacidad, cuyo objetivo final sea identificar mediante las respuestas a las preguntas qué personas se consideran con discapacidad y cuales no. Los participantes de la entrevista cognitiva deberían ser personas que se encuentren en el margen de la discapacidad; es decir, podrían ser personas con ciertos problemas de movilidad, con cierto grado de limitación visual, etc. y que en teoría, mostrarían mayores dificultades a la hora de contestar a las preguntas. En este sentido, los potenciales errores de respuesta en las preguntas se harían evidentes, “saltarían”, con mayor facilidad. Realizando una analogía con la disciplina de la Ingeniería Informática, cuando los informáticos quieren “testear” un nuevo software lo prueban en las condiciones límites para asegurar su futuro rendimiento. En nuestra disciplina, las condiciones o situaciones límites son aquellos participantes que mostrarían mayores problemas en la compresión de las preguntas target. Una vez especificadas las características de los participantes, se lleva a cabo la estrategia de captación más adecuada, ya sea con anuncios, realizando muestreos tipo bola de nieve, delegando esta tarea en una organización de estudios de campo, etc. Con los materiales y los participantes disponibles comienza el propio proceso de la entrevista cognitiva. Se suelen llevar a cabo alrededor de 15-20 entrevistas, dirigidas por entrevistadores entrenados y cualificados, en un laboratorio cognitivo, idealmente provisto de sistemas de grabación de audio y vídeo, con el fin de poder observar y analizar las entrevistas cuantas veces se requiera. 61

Capítulo II La realización de las entrevistas cognitivas en un laboratorio cognitivo es una práctica no extendida y ni compartida por todos los profesionales del área. Prueba de ello, es que existen ciertos grupos de investigación, en su mayoría europeos, que defienden la aplicación de la entrevista cognitiva en el mismo contexto en el que posteriormente se aplicaría la encuesta, es decir, en los hogares. No obstante, nuestro grupo de investigación comparte la perspectiva americana acerca de realizar la entrevista cognitiva en una situación más controlada evitando las interrupciones que podrían surgir al realizarla en los hogares, aunque a pesar de ello se pueda perder cierta validez “ecológica” de los datos. El número de entrevistas cognitivas puede ser variable por distintas razones. En primer lugar, en función de la temática de la encuesta y, por lo tanto, de las preguntas target se pueden necesitar más o menos entrevistas para la obtención de evidencias empíricas de los potenciales errores de respuesta en dichas preguntas. En segundo lugar, la realización de entrevistas cognitivas conlleva un alto coste económico y temporal, de modo que, los recursos económicos, humanos y temporales disponibles son un factor muy determinante del número de entrevistas cognitivas. Los datos de la entrevista cognitiva se pueden obtener a través de las grabaciones de la entrevista y a través de las notas tomadas por el entrevistador durante la entrevista cognitiva. Con respecto a esta última aproximación DeMaio y Landreth (2004) aportaron evidencias sobre una reducción de la capacidad de la entrevista cognitiva a la hora de identificar problemas con las preguntas del cuestionario, ya que supone una demanda cognitiva excesiva para el entrevistador: administrar el cuestionario, aplicar y guiar las pruebas para la indagación en el proceso pregunta-respuesta del participante y además tomar notas de los resultados principales de forma comprensible e inteligible. El análisis de estos datos se suele trasladar a un informe de resultados en el que se detallan información sobre los procesos de respuesta de los participantes en cada una de las preguntas target, además de evidencias sobre los problemas de las preguntas evaluadas y sobre las fuentes de error de dichas preguntas, y recomendaciones para evitar estos errores de respuesta. Basado en los resultados de las entrevistas cognitivas se realizan las modificaciones oportunas al cuestionario. Si fuera necesario, se llevaría a cabo otra ronda de entrevistas cognitivas con la nueva versión del cuestionario o de lo contrario comenzaría la fase del pretest de campo y finalmente la administración de la versión final de la encuesta.

62

Nuevos métodos de pretest de cuestionarios 7.4.

Análisis de los Datos El análisis de los resultados de la entrevista cognitiva implica un gran esfuerzo a nivel

de interpretación y juicio de los informes verbales de los participantes. Miller en 2007 estableció un sistema piramidal invertido compuesto por tres niveles de análisis que idealmente los resultados de las entrevistas cognitivas debían alcanzar. Este sistema piramidal se puede observar en el Diagrama II. 1.

Diagrama II. 1. Niveles de Análisis

1.

Procesos de Respuesta a la Pregunta (descripción individual)

2.

Patrones de los Procesos de Respuesta

3.

Diferentes Patrones entre Grupos (descripción trans-cultural)

Análisis Individual

Comparación de las Entrevistas

Comparación de los Grupos de Entrevistas

El sistema desarrollado por Miller (2007) se basa en la generalización de los resultados de la entrevista cognitiva. El sistema parte de la cúspide de la pirámide, como el nivel más elemental de análisis, y se va abriendo hasta la base, donde se sitúa el mayor nivel que pueden alcanzar los resultados de la entrevista cognitiva. El primer nivel de análisis sucede en el transcurso de la entrevista, específicamente, cuando el entrevistador intenta recabar información sobre el proceso de respuesta del entrevistado ante una pregunta de la encuesta: cómo ha interpretado la pregunta, en qué información se ha basado para dar esa respuesta, etc. El entrevistador debe comportarse como un analista durante la entrevista, evaluando la información que el participante le va ofreciendo e indagando si existen ciertas incongruencias en las explicaciones del entrevistado o si

63

Capítulo II necesita más información para identificar problemas con la pregunta de la encuesta. Además el entrevistador debe evaluar la calidad de la información que está recabando durante la entrevista cognitiva. Si esta información no es útil para cubrir el objetivo de la entrevista, el entrevistador debe cambiar y adaptar la técnica de indagación. En este nivel de análisis se pueden identificar problemas con las preguntas de la encuesta de forma exclusivamente individual. El segundo nivel de análisis tiene lugar cuando se examinan todas las entrevistas realizadas con el fin de extraer patrones sobre el modo en el que los participantes interpretan y procesan las preguntas. Es decir, a través de la comparación de todas las entrevistas se intentan extraer patrones de los procesos de respuesta a las preguntas, y además, conocer la consistencia de estos patrones. Este nivel de análisis es, también, muy importante a la hora de saber en qué medida los participantes están realizando la misma interpretación de ciertos conceptos claves en el texto de la pregunta. Por ejemplo, si ante una cláusula temporal como “en los últimos 12 meses” o “en las últimas dos semanas” los entrevistados usan, de forma consistente, esta cláusula para responder a la pregunta. Este nivel de análisis es fundamental para entender el procesamiento cognitivo general que subyace a las respuestas de los entrevistados. El último nivel ideal de análisis implica la comparación de los patrones de procesamiento cognitivo entre distintos grupos de participantes. Esta comparación entre diversos grupos de participantes es esencial para comprobar si los problemas con las preguntas de la encuesta son específicos a un grupo o comunes entre grupos con distintas características. Este nivel es particularmente necesario en el contexto de la medición por encuesta en estudios trans-culturales. Los datos de la entrevista cognitiva se pueden analizar de tres formas distintas. En función de las características de cada uno de los tres métodos de análisis, se podrá alcanzar un nivel u otro de los propuestos por Miller (2007). Estas son: 1. Revisión y documentación de las entrevistas de forma individual. Este método de análisis requiere la trascripción y análisis individual de cada entrevista. Se analiza de forma detallada cada una de las entrevistas, extrayendo resultados por cada uno de los participantes. Proporciona una revisión completa de la evaluación de cada pregunta, 64

Nuevos métodos de pretest de cuestionarios representando la forma más detallada de análisis. No obstante, una revisión y análisis tan pormenorizado dificulta llegar a conclusiones generales sobre los problemas de las preguntas de las encuestas. Esta situación se ejemplifica con la famosa frase: “los árboles impiden ver el bosque”. Esta forma de análisis sólo alcanzaría el primer nivel propuesto por Miller (2007). 2. Compilación de resultados a lo largo de las entrevistas. Este método de análisis combina los resultados de todas las entrevistas. Normalmente, el análisis se estructura en base a cada una o grupo de preguntas target. Es decir, en cada pregunta target se comparan todos los comentarios de los entrevistadores o informes verbales de los participantes y, por último, se obtienen conclusiones acerca de los problemas y los errores de respuesta en dicha pregunta. Se puede extraer tanto información de carácter cualitativo como cuantitativo. Por una parte, se extrae información cualitativa en el sentido de que permite ver qué tipo de problemas surgen en cada pregunta o cuáles son los errores de respuesta presentes en las preguntas y, además, si son consistentes a lo largo de las entrevistas. Por otra parte, se obtiene información cuantitativa en el sentido de que se puede cuantificar la severidad del problema en función de su frecuencia de aparición entre los participantes. Sin embargo, algunos centros de investigación, como por ejemplo, el National Centre for Social Research, a pesar de utilizar esta estrategia de análisis, sólo extraen los resultados a un nivel cualitativo. Los investigadores de este centro de investigación asumen que la entrevista cognitiva es una herramienta de obtención de datos de naturaleza cualitativa siendo no admisible la cuantificación. El método de compilación de resultados a lo largo de las entrevistas se sitúa en el segundo nivel del sistema piramidal. Posteriormente, si el patrón de procesamiento de respuesta obtenido se comparara con otros grupos se estaría llegando al último nivel del sistema de Miller (2007). 3. Esquema de codificación. Esta forma de análisis de los datos de la entrevista cognitiva se asemeja a la utilizada en la codificación del comportamiento. En primer lugar, se establece un sistema de códigos que se asociará al informe verbal del participante. Generalmente, se asignan códigos conceptuales a las porciones de información verbal

65

Capítulo II que son muestra de problemas con las preguntas del cuestionario. Por ejemplo, Presser y Blair (1994) crearon el esquema de codificación que aparece en la Figura II. 4. Figura II. 4. Ejemplo Esquema de Codificación ƒ

Código1: El entrevistador tiene un problema leyendo la pregunta o marcando la alternativa de respuesta.

ƒ

Código2: El participante tiene dificultad para comprender el significado de la pregunta.

ƒ

Código3: El participante tiene dificultad para recordar la pregunta.

ƒ

Código4: El participante tiene dificultad para entender el significado de algunas palabras o conceptos dentro de la pregunta.

ƒ

Código5: Distintos participantes llevan a cabo distintas interpretaciones de la misma pregunta.

ƒ

Código6: El participante tiene dificultad recuperando información o exponiendo su respuesta.

En relación al modelo del proceso pregunta-respuesta (Tourangeau, 1984), el esquema de codificación de Presser y Blair está muy desproporcionado. De las seis categorías, expuestas en la Figura II. 4, cuatro de ellas, desde el Código2 hasta el Código5, implican la fase de comprensión del modelo. Mientras que para la fase de recuperación de información, juicio y comunicación de respuesta sólo se ha designado una categoría, el Código6. Presser y Blair encontraron que las categorías entre el Código2 y el Código5 (problemas semánticos) fueron las más frecuentes en los resultados de las entrevistas cognitivas. Willis et al. (1999) y de forma independiente Conrad y Blair (1996) desarrollaron esquemas de codificación similares, que posteriormente Collins (2007) los denominó esquemas de codificación estandarizados. Estos esquemas de codificación estandarizados reflejan el modelo del proceso pregunta-respuesta dominante, ajustándose totalmente al modelo de 4 fases del proceso preguntarespuesta (Tourangeau, 1984). Estos esquemas de codificación estandarizados proponen la identificación de los siguientes tipos de problemas:

66

Nuevos métodos de pretest de cuestionarios (1) Comprensión, que refleja cuando el participante no comprende el objetivo de la pregunta o lo que se le está preguntado. (2) Recuperación de la información, el participante tiene problemas para recuperar la información o recordar la información necesaria para contestar a la pregunta. (3) Juicio, que incluye los problemas en la fase de evaluación de esa información recuperada. (4) Categoría de Respuesta, cuando el participante tiene un problema a la hora de dar su respuesta. Por ejemplo, cuando ofrece una respuesta que no se corresponde con ninguna de las opciones de respuesta establecidas en la pregunta. El resultado de estos elaborados sistemas de análisis de los datos de la entrevista cognitiva es un informe en el que se indica la frecuencia de aparición de cada código conceptual o categoría en todas las entrevistas. Estos sistemas de análisis, basados en esquemas de codificación, han sido utilizados en mayor medida para alcanzar objetivos de investigación y comprobación de hipótesis de investigación que para objetivos aplicados de revisión, mejora y modificación de las preguntas de los cuestionarios (Rothgeb, Willis, & Forsyth, 2001). Las principales variaciones entre los distintos esquemas de codificación utilizados, generalmente, se basan en el número de códigos y en la asociación de dichos códigos con informes verbales o conductas del entrevistador y el participante. Es decir, en el grado en el que se enfocan en distintos momentos del procesamiento cognitivo que tiene lugar durante la entrevista (DeMaio & Landreth, 2004). Al igual que ocurre con el método anterior, este método se situaría en el segundo nivel de análisis del sistema de Miller (2007), pudiendo alcanzar el tercer nivel si se establecen comparaciones de los resultados de los esquemas de análisis entre distintos grupos. Independientemente del método utilizado para analizar las entrevistas cognitivas y del nivel al que se sitúe cada método, los resultados que se pueden obtener a través de las

67

Capítulo II entrevistas cognitivas principalmente se clasifican en cinco tipos distintos. De acuerdo con Willis (2005), estas cinco categorías de resultados son las siguientes: 1. Recomendaciones específicas en el texto de las preguntas (defectos de las preguntas basados en problemas cognitivos, lógicos/estructurales o culturales). Esta categoría constituye el resultado más acorde con el objetivo principal de la entrevista cognitiva, como es, proporcionar información que sea usada para realizar recomendaciones y cambios en las preguntas de los cuestionarios. 2. Re-especificación de objetivos. Necesidad de una especificación mayor del objetivo de la pregunta o el modo en el que la pregunta intenta cubrir dicho objetivo. 3. Problemas relativos al orden (preguntas, secciones, etc.) y otras interacciones entre las preguntas de la encuesta. Aunque la entrevista cognitiva está enfocada en la evaluación de preguntas de forma individual, a menudo, los resultados transcienden a otros niveles, como los efectos de orden de las preguntas o interacciones entre dichas preguntas. 4. Problemas relativos a la reducción de la longitud o carga del instrumento. Esta categoría de resultados incluye evidencias sobre los problemas, que pueden generar en los entrevistados, la longitud o la carga de la encuesta. Concluyendo en una propuesta de reducción de la encuesta evaluada. 5. Limitaciones sobre qué debe ser estudiado a través de la encuesta. No todo lo que se pretende medir en una encuesta es necesariamente medible. Los resultados de la entrevista cognitiva pueden ofrecer información sobre la complejidad del objeto de medición a través de los informes verbales de los participantes.

7.5.

Errores en los Resultados La entrevista cognitiva puede llevar a conclusiones incompletas, erróneas o

incorrectas. Existen distintos tipos de error ligados al uso de este método de pretest. Por ejemplo, la entrevista cognitiva puede identificar problemas que posteriormente no ocurran en

68

Nuevos métodos de pretest de cuestionarios la aplicación “real” de la encuesta o, por el contrario, puede no identificar problemas que posteriormente sí ocurran en la administración de la encuesta. Además, los resultados podrían ser inconsistentes cuando se llevan a cabo por grupos independientes de investigadores. Los dos primeros errores en los resultados de las entrevistas cognitivas hacen referencia a la validez del método, y serían clasificados como errores de comisión y errores de omisión, respectivamente; mientras que el último tipo de error haría referencia a la fiabilidad del método (Beatty & Willis, 2007). Con respecto a los errores de comisión, los profesionales del área admiten que la entrevista cognitiva identifica problemas que posteriormente ocurrirán en las encuestas. Se han llevado a cabo, al menos, dos estudios que verificaron cómo los resultados de las entrevistas cognitivas fueron ratificados por los datos de campo y, por tanto, carecían de errores de comisión (Beatty, Fowler, & Cosenza, 2006; Willis & Schechter, 1997). En ambos estudios administraron, en dos grupos independientes, las preguntas originales de la encuesta, y estas mismas preguntas con las modificaciones realizadas tras la entrevista cognitiva. Los resultados mostraron un mayor ajuste estadístico de las preguntas modificadas tras la entrevista cognitiva. En relación a los errores de omisión, no sería razonable pensar que la entrevista cognitiva pueda identificar y resolver todos los problemas del cuestionario. La utilidad del método se basa en la suposición de que, los problemas más relevantes se harán evidentes en la mayoría de los grupos de participantes apropiados, en función de la temática de la encuesta (Beatty & Willis, 2007). La frecuencia de aparición de estos errores de omisión y de comisión ha sido relacionada con el tipo de diseño de aplicación de la entrevista cognitiva en el estudio de Conrad y Blair (2009). Aquellos entrevistadores que llevaron a cabo la entrevista cognitiva de una forma mucho más abierta, menos estructurada y con una aplicación de pruebas cognitivas dependiente de los informes verbales que iban aportando los participantes, identificaron un gran número de problemas con las preguntas de las encuestas que resultaron ser en muchos casos falsas alarmas (errores de comisión). De forma contraria, aquellos entrevistadores que aplicaron la entrevista cognitiva bajo un diseño más cerrado y ceñido a pruebas cognitivas previamente establecidas, obtuvieron un menor número de errores de comisión pero

69

Capítulo II igualmente identificaron una menor cantidad de problemas reales con las preguntas de la encuesta, por tanto, obteniendo más errores de omisión. Por último, siempre existe la posibilidad de que grupos independientes de entrevistadores cognitivos no obtengan las mismas conclusiones en relación a la misma pregunta del cuestionario (ver DeMaio & Landreth, 2004; Forsyth, Rothgeb, & Willis, 2004). Especialmente si un grupo está trabajando bajo un paradigma “investigador” y otro grupo está trabajando bajo un paradigma “aplicado” (Beatty & Willis, 2007). No obstante, cuando los resultados no coinciden no quiere decir que sean contradictorios. Esta falta de coincidencia puede ser indicativa de que los resultados de la entrevista cognitiva no han sido extraídos completamente y se necesita de una revisión más exhaustiva. Por ejemplo, la no coincidencia podría indicar un mal procesamiento y razonamiento de los analistas de la entrevista cognitiva o que las entrevistas no han indagado correctamente en los procesos de respuesta asociados a las preguntas (Beatty & Willis, 2007). En la primera situación se necesitaría de una nueva revisión de los datos mientras que en la segunda se debería realizar una segunda ronda de entrevistas. De cualquier forma, tal y como especifican Conrad y Blair (2009), en la medida en que las respuestas a las preguntas de las encuestas deberían ser independientes del entrevistador que realice la pregunta, la detección de problemas mediante las entrevistas cognitivas debería ser también independiente de la persona que analice los informes verbales de los participantes. Estos autores sugieren que el uso de varios revisores, que alcanzaran un consenso en relación a los problemas identificados, podría mitigar esta debilidad de la entrevista cognitiva. Así como, en base a los resultados hallados en su estudio, sugieren que el aumento del número de informes verbales en cada una de las preguntas mejoraría la identificación de aquellas preguntas que necesitan una revisión posterior. En definitiva, parafraseando a Conrad y Blair (2009), toda actividad de medición conlleva un error inherente y la entrevista cognitiva no es una excepción. La clave radica en diseñar, en cada caso, la aplicación de la entrevista cognitiva, de tal forma que, maximice la identificación de problemas con las preguntas de las encuestas y minimice el error inherente a la técnica.

70

Nuevos métodos de pretest de cuestionarios 7.6.

Limitaciones de la Entrevista Cognitiva La entrevista cognitiva no es la panacea para la identificación de errores de respuesta

en las preguntas de las encuestas; por supuesto, posee una serie de limitaciones que deben ser tenidas en cuenta. De acuerdo, con Willis (2005), las principales limitaciones son cuatro: 1. Los participantes de la entrevista cognitiva no son los encuestados. Los participantes de las entrevistas cognitivas son, por definición, auto-seleccionados y, por tanto, poco representativos de la población objetivo de la encuesta. 2. El contexto del laboratorio cognitivo es diferente del contexto en el que se aplica la encuesta. Las condiciones físicas y sociales no son una réplica de las condiciones de campo. 3. Los entrevistadores cognitivos no son (generalmente) los encuestadores. La entrevista de campo y la entrevista cognitiva requieren distintos tipos de habilidad y prioridad, y en general, la entrevista cognitiva no es útil para detectar errores de medición atribuibles al encuestador (Von Thurn & Moore, 1994). De todas formas, no es una limitación inherente al proceso de la entrevista cognitiva, ya que se puede tratar este tipo de problemas si se atiende a los mismos. 4. La muestra utilizada en la entrevista cognitiva es muy pequeña. Debido a esto, a veces se discute su capacidad de inferencia. No obstante, se deben tener en cuenta tres aspectos antes de limitar la capacidad de inferencia de la entrevista cognitiva: (a) el objetivo de la entrevista cognitiva no es la estimación estadística, de modo que no es necesario conseguir muestras lo suficientemente grandes como para dar precisión y relevancia a algún contraste estadístico; (b) la naturaleza de la entrevista cognitiva es cualitativa más que cuantitativa, no se evalúan las preguntas de las encuestas simplemente contando el número de entrevistas en las que ha ocurrido problemas, la cuantificación de las entrevistas cognitivas sólo se usa para tener una idea del tamaño del problema que está sucediendo; y (c) la aparente superioridad cuantitativa en los prestest de campo puede ser ilusoria. Willis demostró en un estudio en 1989 cómo, debido a las preguntas filtro y los routings que poseen las encuestas, en un pretest de campo de unos 300 hogares solamente 12 personas contestaron a una sección muy 71

Capítulo II importante, como es el uso de dispositivos de ayudas (perros-guía, sillas de ruedas, etc.). Esta sección recibió muy poca atención en el debriefing posterior al estudio de campo, mientras que en la entrevista cognitiva previa al estudio de campo se habían reclutado participantes con las características específicas para contestar a esas preguntas y, en consecuencia, evaluarlas. Como resultado la proporción de muestra efectiva fue sustancialmente mayor en el pretest cognitivo que en el pretest de campo.

8. Referencias Aaker, D., Bagozzi, R. & Carman, J. (1980). On using response latency to measure preferences. Journal of Marketing Research, 17, 237-244. Basili, J. (1996). The how and why of response latency measurement in telephone surveys. En N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for determining cognitive and communicative processes in survey research (pp. 319-346). San Francisco: Jossey-Bass. Basili, J. & Fletcher, J. (1991). Response-time measurement in survey research: a method for CATI and a new look at nonattitudes. Public Opinion Quarterly, 55, 331-346. Basili, J. & Scott, B. (1996). Response latency as a signal to question problems in survey research. Public Opinion Quarterly, 60, 390-399. Beatty, P., Fowler, F.J. & Cosenza, C. (2006). Do Questionnaire Design Recommendations Lead to Measurable Improvements? Some Experiments with Alternate Versions of Complex Survey Questions. Proceedings del Q2006 European Conference on Quality in Survey Statistics.

Disponible

online

en:

http://www.statisctics.gov.uk/events/q2006/dowloads/T04_Beatty.doc. Beatty, P. (2004). The Dynamics of Cognitive Interviewing. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 45-66). Nueva Jersey: John Wiley & Sons.

72

Nuevos métodos de pretest de cuestionarios

Beatty, P. & Willis, G.B. (2007). Research synthesis: The practice of cognitive interviewing. Public Opinion Quarterly, 71, 287-311. Belson, W. (1981). The Design and Understanding of Survey Questions. Aldershot, Reino Unido: Gower. Campanelli, P. (1997). Testing Survey Questions: New Directions in Cognitive Interviewing. Bulletin de Methodologie Sociologique, 55, 5-17. Campanelli, P.E., Martin, E. & Rothgeb, J. (1991). The Use of Respondent and Interviewer Debriefing Studies as a Way to study Response Error in Survey Data. The Statistician, 40, 253-264. Castillo, M., Padilla, J.L., Gómez, J. y Andrés, A. (en prensa). Mapa de productividad de los métodos de pretest cognitivos para optimizar las preguntas de las encuestas. Psicothema. Collins, D. (2003). Pretesting survey instruments: An overview of cognitive methods. Quality of Life Research, 12, 229-238. Collins, D. (2007). Analysing and interpreting cognitive interviewing data: A qualitative approach. Proceedings del QUEST 2007 (pp. 64-73), Abril, Ottawa. Conrad, F.G. & Blair, J. (1996). From impressions to data: Increasing the objectivity of cognitive interviews. Proceedings of the Section on Survey Research Methods, American Statistical Association, 1-9. Conrad, F.G. & Blair, J. (2009). Sources of error in cognitive interviews. Public Opinion Quarterly, 77, 32-55. Converse, J.M. & Presser, S. (1986). Survey Questions: Handcrafting the Standardized Survey Questionnaire. Newbury Park, CA: Sage.

73

Capítulo II DeMaio, T.J. & Landreth, A. (2004). Do different cognitive interview techniques produce different results? En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 89-108). Nueva Jersey: John Wiley & Sons. DeMaio, T.J. & Rothgeb, J.M. (1996). Cognitive interviewing techniques: In the lab and in the field. En N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for determining cognitive and communicative processes in survey research (pp. 177-195). San Francisco: Jossey-Bass. Dijkstra, W. (2008). Sequence Viewer (version 4.4a). Free University of Amsterdam, Países Bajos. Draisma, S. & Dijkstra, W. (2004). Response Latency and (Para) Linguistic Expressions as Indicators of Response Error. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 131148). Nueva Jersey: John Wiley & Sons. Ericsson, K.A & Simon, H.A. (1980). Verbal reports as data. Psychological Review, 87, 215251. Ericsson, K.A & Simon, H.A. (1984). Protocol analysis: Verbal reports as data. Cambridge: MIT Press. Ericsson, K.A. & Simon, H.A. (1993). Protocol analysis: Verbal reports as data. 2ª edición. Cambridge: MIT Press. Finch, J. (1987). Research note: the vignette technique in survey research. Sociology, 21, 105114. Forsyth, B.H., Rothgeb, J. & Willis, G.B. (2004). Does Questionnaire Pretesting Make a Difference? An Empirical Test. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 525-546). Nueva Jersey: John Wiley & Sons. 74

Nuevos métodos de pretest de cuestionarios

Forsyth, B.H. & Lessler, J.T. (1991). Cognitive Laboratory Methods: A Taxonomy. En P.P. Biemer, R.M. Groves, L.E. Lyberg, N.A. Mathiowetz, & S. Sudman (Eds.), Measurement Error in Surveys (pp. 393-418). Nueva York: John Wiley & Sons Fowler, F.J. (1992). How unclear terms affect survey data. Public Opinion Quarterly, 56, 218-231. Fowler, F.J. (1995). Improving Survey Questions. Thousand Oaks, CA: Sage. Fowler, F.J. (2004). The Case for More Split-Sample Experiments in Developing Survey Instruments. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer. Methods for Testing and Evaluating Survey Questions (pp. 173-188). Nueva Jersey: John Wiley & Sons. Gerber, E.R. (1990). Calculating residence: a cognitive approach to household membership judgements among low income Blacks. Report para el U.S. Census Bureau. Washington, DC: US. Census Bureau. Gerber, E.R. (1994). The Language of Residence: Respondent Understandings and Census Rules. Center for Survey Methods Research, U.S. Census Bureau. Gerber, E.R. & Wellens, T.R. (1997). Perspectives on Pretesting: ‘Cognition’ in the Cognitive Interview? Bulletin de Methodologie Sociologique, 11, 18-39. Groves, R.M. (1996). How do we know what we think they think is really what they think. En N. Schwarz & S. Sudman (Eds.), Answering questions: Methodology for determining cognitive and communicative processes in survey research (pp. 389-402). San Francisco: Jossey-Bass. Kornhauser, A. (1951). Constructing questionnaires and interview schedules. En M. Jahoda, M. Deutsch & S. Cook (Eds.), Research Methods in Social Relations: Part two. Nueva York: Dryden.

75

Capítulo II LaBarbera, P. & MacLachlan, J. (1979). Response latency in telephone interviews. Journal of Advertising Research, 19, 49-55. Lashley, K. (1923). The behavioristic interpretation of consciousness II. Psychological Bulletin, 30, 329-353. Loftus, E. (1984). Protocol analysis of responses to survey recall questions. En T. Jabine, M. Straf, J. Tanur & R. Tourangeau (Eds.), Cognitive aspects of survey design: Building a bridge between disciplines (pp. 61-64). Washington, DC: National Academy Press. Luce, R. (1986). Response Times: Their Role in Inferring Elementary Mental Organization. Nueva York: Oxford University Press. Magliano, J. & Graesser, A. (1991). A three-pronged method for studying inference generation in literary text. Poetics, 20, 193-232. Martin, E. (2004). Vignettes and Respondent Debriefing for Questionnaire Design and Evaluation. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 149-170). Nueva Jersey: John Wiley & Sons. Miller, K. (2007). Design and Analysis of Cognitive Interviews for Cross-National Testing. Congreso de la European Survey Research Association. Praga, Checoslovaquia. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 149-171). Nueva Jersey: John Wiley & Sons. Newell, A. & Simon, H. (1972). Human Problem Solving. Englewood Cliffs, NJ: Prentice Hall. Oksenberg, L., Cannell, C. & Kalton, G. (1991). New strategies for prestesting survey questions. Journal of Official Statistics, 7, 349-356.

76

Nuevos métodos de pretest de cuestionarios Ongenga, I.P. & Dikstra, W. (2006). Methods of Behavior Coding of Survey Interviews. Journal of Official Statistics, 22, 419-451. O’Muircheartaigh, C. (1999). CASM: Successes, Failures, and Potential. En M. Sirken, D. Herrmann, S. Schechter, N. Schwarz, J. Tanur & R. Tourangeau (Eds.), Cognitive and survey research (pp. 39-62). Nueva York: John Wiley & Sons. Piaget, J. (1932/1965). The Moral Judgment of the Child. Nueva York: Free Press. Presser, S. & Blair, J. (1994). Survey Pretesting: Do different Methods produce different Results? Sociological Methodology, 24, 73-104. Presser, S., Rothgeb, J., Couper, M.P., Lessler, J.T., Martin, E., Martin, J. & Singer, E. (2004). Methods for Testing and Evaluating Survey Questions. Nueva Jersey: John Wiley & Sons. Rothgeb, J. Willis, G.B. & Forsyth, B. (2001). Questionnaire pretesting methods: Do different techniques and different organizations produce similar results? Proceedings of the Section on Survey Research Methods, American Statistical Association [CD-ROM]. Royston, P.N. (1989). Using Intensive Interviews to Evaluate Questions. En F.J. Fowler (Ed.), Conference Proceedings: Health Survey Research Methods. Rockville, MD: National Center for Health Services Research. Royston, P.N. & Bercini, D. (1987). Questionnaire Design Research in a Laboratory Setting: Results of Testing Cancer Risk Factor Questions. Proceedings of the Section on Survey Research Methods, 829-833. Alexandria, VA: American Statistical Association. Royston, P. N., Bercini, D., Sirken, M. & Mingay, D.D. (1986). Questionnaire Design Research Laboratory. Proceedings of the Section on Survey Research Methods, 703-707. Alexandria, VA: American Statistical Association. Schneider, W. & Shiffrin, R.M. (1977). Controlled and Automatic Human Information Processing: 1. Detectcion, Search, and Attention. Psychological Review, 84, 1-66. 77

Capítulo II

Snijkers, G. (2002). Cognitive laboratory experiences: on pretesting computarised questionnaires and data quality. Tesis doctoral, Universidad de Utrecht, Países Bajos. Streett, A.R. (1983). Investigating Respondent’s Interpretations of Survey Questions. En T.J. DeMaio (Ed.), Approaches to Developing Questionnaires. Statistical Policy Working Paper 10. Washington DC: Statistical Policy Office, U.S. Office and Management and Budget. Sudman, S., Bradburn, N. & Schwarz, N. (1996). Thinking about answers. The application of cognitive processes to survey methodology. San Francisco: Jossey-Bass. Tourangeau, R. (1984). Cognitive science and survey methods: A cognitive perspective. En T. Jabine, M. Straf, J. Tanur, & R. Tourangeau (Eds.), Cognitive aspects of survey design: Building a bridge between disciplines (pp. 73-100). Washington, DC: National Academy Press. Trabasso, T. & Suh, S. (1993). Understanding text: achieving explanatory coherence through on–line inferences and mental operations in working memory. Discourse Processing, 16, 334. Van der Zouwen, J. & Smit, J. (2004). Evaluationg Survey Questions by Analyzing Patterns of Behavior Codes and Question-Answer Sequences: A diagnostic Approach. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin, & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 109-130). Nueva Jersey: John Wiley & Sons. Von Thurn, D. & Moore, J. (1994). Results from a cognitive exploration of the 1993 American Housing Survey. Proceedings of the Section on Survey Research Methods, American Statistical Association, 1210-1214. Willis, G.B. (1989). Evaluation of 1990 NHIS pretest findings. Unpublished manuscript, National Center for Health Statistics, Hyattsville, MD.

78

Nuevos métodos de pretest de cuestionarios Willis, G.B. (1994). Cognitive Interviewing and Questionnaire Design: A training Manual. Cognitive Methods Staff Working Paper Series, 7. Hyattsville, MD: National Cancer for Health Statistics. Willis, G.B. (2004). Cognitive Interviewing Revisited: A useful Technique, in Theory? En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 23-44). Nueva Jersey: John Wiley & Sons. Willis, G.B. (2005). Cognitive Interviewing: A Tool for Improving Questionnaire Design. Thousands Oaks, CA: Sage Willis, G.B., DeMaio, T.J. & Harris-Kojetin, B. (1999). Is the bandwagon headed to the methodological promised land? Evaluating the validity of cognitive interviewing techniques. En M. Sirken, D. Herrmann, S. Schechter, N. Schwarz, J. Tanur & R. Tourangeau (Eds.), Cognitive and survey research (pp. 133-153). Nueva York: John Wiley & Sons. Willis, G.B., Schechter, S. & Whitaker, K. (1999). A comparison of cognitive interviewing, expert review, and behavior coding: What do the tell us? Proceedings de la Section on Survey Research Methods, American Statistical Association, 28-37. Willis, G.B., Royston, P.N. & Bercini, D. (1991). The Use of Verbal Report Methods in the Development and Testing of Survey Questionnaires. Applied Cognitive Psychology, 5, 251267. Willis, G.B. & Schechter, S. (1997). Evaluation of Cognitive Interviewing Techniques: Do the Results Generalize to the Field? Bulletin de Methodologie Sociologique, 11, 40-66.

79

CAPÍTULO III. ESTADO ACTUAL DEL USO DE LOS MÉTODOS DE PRETEST DE CUESTIONARIOS

80

Estado actual de los métodos de pretest de cuestionarios

1. Introducción Existe un amplio consenso entre los profesionales implicados en la investigación por encuesta en considerar el uso de los métodos de pretest como uno de los mayores desarrollos en las tres últimas décadas (Beatty, 2003). Estos procedimientos, que son normalmente agrupados bajo el término “métodos cognitivos para la evaluación de cuestionarios” (Woolley, Bowen & Bowen, 2006), son entre otros: la entrevista cognitiva, la codificación del comportamiento, la latencia de respuesta, el análisis de viñetas y el debriefing enfocado en el encuestado (Presser et al., 2004). El modelo analítico de Tourangeau (1984) ha sido uno de los fundamentos teóricos más citados para describir cómo los encuestados responden a las preguntas de los cuestionarios. Hoy día, el campo de la evaluación de encuestas ha llegado a desarrollarse tanto, hasta incluir los métodos de pretest como una importante herramienta compañera de métodos tales como la revisión de expertos y los usability tests (Cosenza, 2002). En los últimos años, ha habido un creciente interés en la materia, que se ha reflejado en la creación de congresos, libros especializados, recomendaciones y guías específicas desarrolladas tanto por entidades públicas como por privadas, etc. Además, existen libros y artículos de investigación dedicados al uso de los métodos de pretest (Beatty & Willis, 2007; Willis, 2005; Presser et al. 2004). En términos generales, la utilización de los métodos de pretest parece que se ha concentrado en organizaciones cuya principal misión no es la investigación ni la circulación del conocimiento, sino el uso de estos métodos en proyectos aplicados. Esta situación, unida al hecho del corto período de tiempo que ha transcurrido desde el desarrollo de los nuevos métodos de pretest, hace tremendamente difícil describir el estado actual de su producción científica. Sin embargo, la ciencia como tal no existiría si los resultados científicos no fueran publicados (van Raan, 1999). De modo que, una forma útil de analizar el nivel de conocimiento en un campo de estudio, es analizar las características de sus resultados científicos. Hoy en día, se puede disponer de una herramienta capaz de obtener información sobre los resultados científicos en el campo de los métodos de pretest de cuestionarios. Esta herramienta es conocida como “Bibliometría”.

81

Capítulo III Actualmente, la Bibliometría está presente en un gran número de disciplinas científicas y se considera de enorme utilidad en el mundo de la investigación y de la ciencia en general, ya que se considera como una herramienta eficiente que utiliza apropiadamente las fuentes de investigación (Moreno & Sánchez, 1998; Zulueta & Bordons, 1999); y cuyo principal objetivo es el almacenamiento y recuperación de la información (Guilera, Gómez y Hidalgo, 2006). El objetivo del primer estudio empírico incluido en la tesis es ilustrar las características de la situación actual de los métodos de pretest a través de dos estudios bibliométricos. El primer estudio analizó los documentos obtenidos mediante una búsqueda indexada. El segundo estudio completó el cuerpo de documentos hallados en el Estudio 1, con documentos localizados a través de una búsqueda dirigida. En ambos estudios se analizaron: la evolución de los resultados científicos, los distintos tipos de documentos publicados, las fuentes de publicación, los centros de investigación y países, y el tipo de colaboración entre los profesionales del área.

2. Estudio 1: Búsqueda Indexada El objetivo del Estudio 1 consistió en analizar los resultados científicos en el campo de los métodos de pretest de cuestionarios a través de los documentos indexados en las principales bases de datos bibliográficas.

2.1.

Método Las publicaciones incluidas en este estudio fueron identificadas a través de la base de

datos Web of Science (WoS) del Institute for Scientific Information (ISI-Thomson Scientific, Philadelphia, PA, USA), concretamente a través del Expanded Science Citation Index (SCIEXPANDED), Arts and Humanities Citation Index (A&HCI) y el Social Sciences Citation Index (SSCI). Los documentos indexados fueron también localizados usando las bases de datos bibliográficas PsycINFO, Medline, Sociological Abstract y Cinahl.

82

Estado actual de los métodos de pretest de cuestionarios La búsqueda bibliográfica se limitó al periodo de tiempo comprendido entre 1980 y 2007. Se decidió comenzar la búsqueda en 1980, ya que el desarrollo de los métodos cognitivos aplicados a los pretest de encuestas no ocurrió hasta los congresos de CASM a comienzos de los 80 (Jabine, Straf, Tanur & Tourangeau, 1984) (ver Capítulo I). Dada la amplia variedad de denominaciones que poseen los métodos de pretest de cuestionarios, y después de varios intentos de búsqueda usando palabras claves, tales como, “cognitive pretest”, “cognitive method”, “survey pretest”, “pretest”, “questionnaire pretest”, etc., se decidió que la palabra clave más adecuada para obtener el mayor número de publicaciones era “pretesting”. De este modo, la palabra clave “pretesting” fue insertada como criterio de búsqueda en las bases de datos bibliográficas, tanto en el campo de los títulos, como en los abstracts y las key words. Todo ello con el fin de localizar artículos en revistas, libros, capítulos de libros, presentaciones de congresos, tesis doctorales, etc.

Codificación de los documentos y análisis El uso de una palabra clave tan general como “pretesting” demandó un minucioso y cuidadoso proceso de selección de documentos. Dos codificadores independientes, en dos rondas consecutivas, filtraron la búsqueda inicial leyendo los títulos y abstracts de los documentos. Dichos codificadores fueron instruidos en seleccionar solamente aquellos trabajos en los que se refería explícitamente al uso de los métodos de pretest de cuestionarios. Seleccionaron documentos en los que se había utilizado alguno de los métodos de pretest usuales (la entrevista cognitiva, la codificación del comportamiento, la latencia de respuesta, el análisis de viñetas y el debriefing enfocado en el encuestado) en el diseño o evaluación de cuestionarios. El uso de cualquiera de estos métodos de pretest tenía que haber sido previo a la realización de los tradicionales estudios pilotos o estudios de campo, para recoger información sobre la “carga de trabajo” de los entrevistadores, los ratios de respuesta y omisiones, etc. Los codificadores trabajaron de forma independiente y la selección final se obtuvo tras dos rondas. En la segunda ronda, cada codificador revisó los documentos seleccionados por el otro codificador. Tras esto, se llevó a cabo una reunión en la que se volvieron a revisar

83

Capítulo III aquellos documentos en los que no había habido un acuerdo sobre su inclusión en el grupo de documentos a analizar. La reunión finalizó cuando el acuerdo fue total. Los datos fueron tabulados usando SPSS v. 14.0 (2007), y se codificaron las siguientes variables: año de publicación, número de autores, nombres de los autores, institución y país de pertenencia, tipo de publicación y fuente de publicación. Los análisis aplicados fueron fundamentalmente descriptivos: análisis de frecuencias y porcentajes. Hay que recalcar que se tuvo especial cuidado en no repetir documentos que aparecieran en más de una base de datos bibliográfica.

2.2.

Resultados Las búsquedas bibliográficas en las distintas bases de datos generaron un total de

1119 publicaciones, de las cuales los codificadores seleccionaron sólo 75 documentos (6.7%). El 93.3% restante, en su mayoría, hacía referencia a pretest en el contexto de estudios experimentales, pretest no aplicados a encuestas o pretest referidos a análisis psicométricos de los ítems. A continuación se presentan los principales resultados de los análisis realizados.

Evolución de los resultados científicos y número de autores La evolución de los resultados científicos fue analizada a través del cálculo de la frecuencia del número de trabajos publicados en el período comprendido entre 1980 y 2007. Dicho periodo fue dividido en siete intervalos de cuatro años cada uno. La Figura III. 1 muestra la evolución temporal del número de publicaciones. Durante el período de tiempo analizado, sólo un intervalo, 2000-2003, tuvo una frecuencia de publicaciones menor que el anterior. En términos generales ha habido un constante crecimiento en el número de publicaciones. Este incremento ha sido más notable en la segunda mitad de los años 90. En contraposición, durante los años 80, el número de estudios que utilizaron los métodos de pretest fue muy reducido.

84

Estado actual de los métodos de pretest de cuestionarios

Número de Publicaciones

Figura III. 1 Evolución del Número de Publicaciones 25 20 15 10 5 0 1980-1983

1984-1987

1988-1991

1992-1995

1996-1999

2000-2003

2004-2007

Año

Los 75 documentos incluidos en la base de datos fueron escritos por 194 autores distintos. El número de autores que contribuyó a cada una de las publicaciones varió entre uno y diez (M = 3.07; DT = 2.18). Además, la mayoría de los artículos han sido creados por uno o dos autores, 26.7% y 24% respectivamente; seguido del 21.3% de los documentos que fueron escritos por tres autores. Después de tres autores, el número de publicaciones desciende considerablemente, con sólo un 27.9% de publicaciones escritas por cuatro autores o más.

Tipos de documentos y fuentes de publicación Los tipos de documentos encontrados fueron artículos de revistas, capítulos de libros, libros y conference papers. La Tabla III. 1 ofrece las frecuencias y porcentajes de cada tipo de documento. El grupo de 75 documentos analizados fue en su mayoría compuesto por artículos publicados en revistas. El resto de los documentos representa un bajo porcentaje, sólo el 20% son capítulos de libros, libros y conference papers.

85

Capítulo III Tabla III. 1 Distribución del Tipo de Documento Tipo de Documento

Frecuencia

Porcentaje

Artículo

60

80.0

Capítulo de libro

6

8.0

Libro

5

6.7

Conference paper

4

5.3

Total

75

100.0

Con respecto a las fuentes de publicación, los resultados muestran que existe una gran dispersión, incluyendo fundamentalmente tres tipos: editoriales, revistas de investigación por encuesta y revistas de salud. Los 75 documentos han sido publicados por 57 diferentes fuentes. A continuación, se exponen las fuentes más productivas y junto a cada una se indica el número de publicaciones entre paréntesis: Public Opinion Quarterly (4), Bulletin de Methodologie Sociologique (3), Medical Care (3), Research in Nursing and Health (3) y Quality of Life Research (3).

Centros de producción El análisis establece que los autores pertenecen a una gran variedad de organizaciones. Los 194 autores trabajaban en 76 organizaciones distintas. La Tabla III. 2 presenta las organizaciones más productivas en el campo de los métodos de pretest. Entre las organizaciones más productivas se encuentran tres principales tipos de instituciones: (a) universidades, tales como, Massachusetts o Michigan; (b) centros de investigación públicos, tales como el US Census Bureau y; (c) centros públicos de investigación, tales como el National Cancer Institute.

86

Estado actual de los métodos de pretest de cuestionarios Tabla III. 2 Instituciones Más Productivas Instituciones

Frecuencia

Porcentaje

US Census Bureau

10

13.2

Universidad de Massachusetts

9

11.8

Universidad de Michigan

8

10.6

National Cancer Institute

6

7.9

McMaster University

4

5.3

Gte Laboratories Incorporation

3

3.9

Universidad de Carolina del Norte

3

3.9

Universidad de Maryland

3

3.9

Otras

30

39.5

En relación a la productividad de los países, los resultados muestran que la producción científica está distribuida en 18 países. No obstante, hay que tener en cuenta que autores de distintos países pueden haber contribuido en el mismo artículo. Tabla III. 3 Países Más Productivos País

Frecuencia

Porcentaje

Estados Unidos

55

64.7

Reino Unido

6

7.1

Canadá

4

4.7

Italia

3

3.5

Alemania

2

2.4

Holanda

2

2.4

Otros

13

15.3

Como se puede apreciar en la Tabla III. 3, hay una concentración de trabajos producidos en Estados Unidos, donde se ha generado más de la mitad (64.7%) de la producción científica en materia de los métodos de pretest. El 35.3% restante de la producción está distribuida entre 17 países, entre los que destaca Reino Unido con seis documentos.

87

Capítulo III 2.3.

Discusión En el Estudio 1, se ha llevado a cabo un análisis de los resultados científicos en el área

de los métodos de pretest de cuestionarios con respecto al número de documentos publicados. Después de valorar los pros y los contras, se decidió usar la palabra clave “pretesting” como criterio de búsqueda, con el fin de obtener el mayor número de documentos. Para minimizar el número de falsos positivos, es decir, documentos localizados por la base de datos pero no relacionados con los métodos de pretest, dos codificadores independientes en dos rondas realizaron un meticuloso proceso de depuración y selección de documentos. Buscando a través de cinco de las bases de datos bibliográficas más comunes, sólo se hallaron 75 documentos indexados en un período de tiempo de 28 años. La mayoría de dichos documentos (80%) estaban publicados en revistas. El número tan reducido de documentos indexados podría indicar que una gran parte de los estudios aplicados sobre los métodos de pretest no se estén publicando a través de las revistas. Por tanto, usando solamente documentos indexados como indicadores de la productividad científica, podemos estar cometiendo el error de obtener una representación parcial de la productividad científica en el área. Se llevó a cabo una “búsqueda dirigida” para solventar este problema y completar el conjunto de documentos obtenidos en la búsqueda indexada. La búsqueda dirigida se enfocó en otros medios de difusión de los resultados científicos, tales como, comunicaciones en congresos del área, informes de investigación, redes de comunicación entre los profesionales del área, revistas no-indexadas comúnmente usadas por los profesionales del área, etc.

3. Estudio 2: Búsqueda Indexada + Búsqueda Dirigida El objetivo del Estudio 2 fue ampliar el banco de documentos del Estudio 1 y volver a analizar la nueva base de documentos.

88

Estado actual de los métodos de pretest de cuestionarios 3.1.

Método Se utilizaron las siguientes estrategias de búsqueda para completar el conjunto de

documentos previamente analizados en el Estudio 1: 1) Conference papers en los Quest Workshops Conference en 2005 y 2007. 2) Una búsqueda en la base de datos bibliográfica de la Web of Science basada en los autores más productivos de acuerdo a los datos del Estudio 1. 3) Una búsqueda orientada en las revistas más productivas en el área, tales como Public Opinion Quarterly, Bulletin de Methodologie Sociologique, Quality of Life Research, Quality and Quantity, Field Methods, Research in Nursing and Health, Medical Care y Journal of Official Statistics.

Codificación de los documentos y análisis La búsqueda dirigida se limitó, igualmente, al periodo de tiempo comprendido entre 1980 y 2007. Se siguió un procedimiento muy similar al del Estudio 1. Dos codificadores seleccionaron de forma independiente los documentos leyendo los títulos y los abstracts. Dichos codificadores fueron instruidos en seleccionar sólo aquellos trabajos en los que se hacía referencia explícita al uso de los métodos de pretest. Los codificadores seleccionaron, una vez más, sólo aquellos documentos en los que algún método de prestest (entrevistas cognitivas, codificación del comportamiento, análisis de viñetas, etc.) había sido utilizado durante el diseño o evaluación de los cuestionarios. De nuevo, se mantuvo una reunión en la que se revisaron los documentos que originaban desacuerdo entre ambos codificadores y finalmente se obtuvo un nuevo conjunto de documentos a analizar. Los datos fueron tabulados usando SPSS v. 14.0 (2007), y se codificaron las siguientes variables: año de publicación, número de autores, nombres de los autores, institución y país de pertenencia, tipo de publicación y fuente de publicación. 89

Capítulo III 3.2.

Resultados

Evolución temporal de la producción científica y número de autores El Estudio 2 generó un total de 205 publicaciones. La evolución temporal de la productividad científica se analizó calculando la frecuencia de trabajos publicados en el periodo de tiempo comprendido entre 1980 y 2007. Dicho periodo fue dividido en siete intervalos de cuatro años cada uno, al igual que en el Estudio 1. La Figura III. 2 muestra dicha evolución temporal.

Número de publicaciones

Figura III. 2 Evolución del Número de Publicaciones 80 70 60 50 40 30 20 10 0 1980-1983

1984-1987

1988-1991

1992-1995

1996-1999

2000-2003

2004-2007

Año

Existe un progresivo aumento en el número de documentos a lo largo del periodo de tiempo analizado. Este incremento es más pronunciado durante la segunda mitad de los años 90. Los 205 documentos analizados en el Estudio 2 fueron escritos por 356 autores distintos. El número de autores que contribuyó a cada publicación varía entre 1 y 10 (M = 2.64; DT = 1.873), aunque la gran mayoría de los documentos han sido escritos por 1 o 2 autores (59.5%).

90

Estado actual de los métodos de pretest de cuestionarios Tipo de documentos y fuentes de publicación El tipo de documentos encontrado en el Estudio 2 coincide con algunos encontrados en el Estudio 1, tales como, artículos en revistas, capítulos de libros, libros y conference papers. No obstante, también se han encontrado siete nuevos tipos de documentos, estos son: ponencias, papers no publicados, proceedings, memorandums, informes de resultados, comunicaciones doctorales y libros de abstracts. La Tabla III. 4 presenta la frecuencia y porcentajes de aquellos tipos de documentos que superan el 5% de representación. Tabla III. 4 Distribución del tipo de documento Tipo de Documento

Frecuencia

Porcentaje

Artículo

94

45.9

Libro

25

12.2

Comunicación

25

12.2

Conference paper

21

10.2

Capítulo de libro

14

6.8

Paper no publicado

11

5.4

Otros

15

7.3

El porcentaje de artículos publicados en revistas decrece casi un 35%, debido al incremento relativo de otros documentos, tales como, libros, conference papers y comunicaciones. Estas últimas con un relevante porcentaje del 12.2% durante el periodo analizado. Con respecto a las fuentes de publicación, los resultados reflejan la gran dispersión existente en el área, ya que los 205 documentos han sido publicados por 115 fuentes distintas. La mayoría de las mismas están relacionadas con el área de la investigación por encuesta y la salud. Dentro de esta sección, es importante resaltar que en el Estudio 2 se han localizado dos nuevos tipos de fuentes de publicación, estas son: revistas no-indexadas (p. ej. Journal of Official Statistics) y centros públicos de investigación (p. ej. US Census Bureau).

91

Capítulo III Centros de producción y patrones geográficos de colaboración El análisis establece que los 356 autores pertenecen a 94 organizaciones distintas. Los resultados de las organizaciones más productivas en el área de los métodos de pretest aparecen en la Tabla III. 5. Tabla III. 5 Organizaciones Más Productivas Organizaciones

Frecuencia

Porcentaje

US Census Bureau

44

14.5

Statistics Canada

23

7.6

Universidad de Michigan

22

7.2

Universidad de Massachusetts

17

5.6

National Cancer Institute

13

4.3

National Centre for Health Statistics

11

3.6

Statistics Norway

10

3.3

Otras

163

53.8

El resultado más destacable es el incremento en el número de centros públicos de investigación, tales como, el National Cancer Institute, el National Centre for Health Statistics, el Statistics Norway, etc. La productividad de estos centros de investigación supera incluso a las universidades. En relación a los países de origen de los autores, la productividad científica esta distribuida en 19 países, una más que en el Estudio 1. La Tabla III. 6 muestra los resultados de los análisis. Los profesionales de los centros de producción localizados en Estados Unidos generaron más de la mitad (62%) de la producción científica en el área.

92

Estado actual de los métodos de pretest de cuestionarios Tabla III. 6 Países Más Productivos País

Frecuencia

Porcentaje

Estados Unidos

126

62.0

Canadá

23

11.3

Holanda

13

6.4

Reino Unido

8

3.9

Alemania

6

2.9

Noruega

6

2.9

Otros

21

10.3

Finalmente, se llevó a cabo un análisis más detallado, con el fin de extraer los patrones de colaboración. La productividad total de los seis anteriores se dividió en documentos de un solo autor, colaboraciones intranacionales y colaboraciones internacionales; pudiendo identificar de este modo el patrón geográfico de colaboración. La Figura III. 3 ilustra la distribución de los tipos de colaboración.

Figura III. 3 Tipo de Colaboración 100% 90% 80%

Porcentaje

70% 60%

Internacional

50%

Intranacional

40%

Un autor

30% 20% 10% 0% EEUU

Canadá

Holanda

Reino Unido

País

93

Alemania

Noruega

Capítulo III La Figura III. 3 muestra que la mayoría de los documentos son fruto de colaboraciones intranacionales en todos los países, entre los que destacan los porcentajes de Estados Unidos, Canadá y Alemania; a excepción de Reino Unido donde el mayor porcentaje corresponde a colaboraciones internacionales.

3.3.

Discusión En el Estudio 2 se llevó a cabo una “búsqueda dirigida” con el fin de completar el

conjunto de documentos obtenidos a través de la búsqueda indexada en el Estudio 1. La búsqueda dirigida se realizó incluyendo otras formas de difusión de los trabajos científicos, tales como, conference papers en el área, informes de investigación, redes de comunicación entre los profesionales del área, revistas no indexadas, etc. Con el objetivo de recoger en la búsqueda dirigida a gran parte de los profesionales más activos en el área, se decidió incluir las comunicaciones de los congresos del QUEST de 2005 y 2007. A su vez, se incluyó en esta búsqueda dirigida revistas no indexadas pero de nombrado prestigio entre los profesionales del área, como Journal of Official Statistics. El número de documentos analizados en el Estudio 2 incrementó en un 273.3% los documentos del Estudio 1, pasando de tener 75 a 205 documentos. La evolución temporal de este conjunto de documentos mostró una fuerte tendencia ascendente, aún más notable a partir de la segunda mitad de los 90. La distribución del número de autores es bastante similar en ambos estudios, ya que la mayoría de los documentos han sido publicados por 1 o 2 autores tanto en el Estudio 1 (50.6%) como en el Estudio 2 (59.5%). No obstante, se identificaron nuevos tipos de documentos en el Estudio 2: comunicaciones, papers no publicados, proceedings, memorandums, informes de resultados, comunicaciones doctorales y libros de abstracts, y como resultado, decreció el porcentaje de publicaciones en revistas desde un 80% (Estudio 1) a un 45.9% (Estudio 2). Con respecto a los centros de producción, los resultados establecen que centros públicos de investigación, tales como, el National Cancer Institute, el National Centre for Health Statistics, etc., juegan un papel importante en el área. Por último, en relación a los países más productivos, Estados Unidos es, con diferencia, el país más productivo en materia de los métodos de pretest de cuestionarios, seguido de Canadá y Holanda. Los seis países más productivos poseen un patrón de colaboración

94

Estado actual de los métodos de pretest de cuestionarios predominantemente intranacional, a excepción de Reino Unido en el que predomina el carácter internacional.

4. Conclusiones El objetivo del Capítulo III de la tesis era contextualizar y caracterizar la producción científica en el campo de los métodos de pretest de cuestionarios a través de evidencias bibliométricas. Este estudio es útil tanto para conocer el estado actual de estos métodos como para anticipar su evolución, y facilitar la compresión de aquellos utilizados en la presente tesis, como son la entrevista cognitiva y la codificación del comportamiento. En el Estudio 1 se obtuvieron los documentos a través de las bases de datos bibliográficas más comúnmente usadas, mientras que en el Estudio 2 se completó este primer conjunto de datos con una búsqueda dirigida. La separación de ambos estudios presenta dos beneficios: (1) se reducen parcialmente las limitaciones de las bases de datos bibliográficas (criterios de indexación, tiempo de demora para la publicación, etc.) y (2) se puede comparar los resultados obtenidos mediante una búsqueda tradicional (bases de datos bibliográficas) con una búsqueda “experta” (búsqueda dirigida). Hay que tener en cuenta que el objetivo de la búsqueda dirigida no es ser exhaustivos en la localización de los documentos, sino complementar y mejorar el alcance del primer grupo de documentos analizados. El patrón de documentos obtenidos en ambos estudios es muy similar, lo que refuerza la conveniencia de la búsqueda dirigida del Estudio 2. Los resultados obtenidos en ambos estudios nos permiten predecir que el incremento en los documentos sobre los métodos de pretest continuará su ascenso en los próximos años. Este incremento podrá equiparar la producción científica en el área de los métodos de pretest con otras áreas metodológicas. Adicionalmente, la consolidación de los grupos de investigación, de los departamentos en universidades y de los centros públicos de investigación europeos generará un aumento mayor de la producción científica. Por último, la actividad científica de las universidades, junto al deseo de los centros públicos de investigación de publicar en revistas especializadas, podría aumentar la visibilidad de la producción científica en el área de los métodos de pretest a través de los medios habituales de difusión del conocimiento científico.

95

Capítulo III 5. Referencias Beatty, P.C. (2003). Answerable questions: advances in the methods for identifying and resolving questionnaire problems in survey research. Doctoral Dissertation. Universidad de Michigan, Michigan, USA. Beatty, P.C. & Willis, G.B. (2007). Research synthesis: the practice of cognitive interviewing. Public Opinion Quarterly, 71, 287-311. Cosenza, C. (2002). Not Your Grandparent’s Cognitive Testing: Exploring Innovative Methods in Cognitive Evaluation of Questions. Paper presentado en la International Conference on Questionnaire Development, Evaluation and Testing Methods (QDET). Noviembre, Charleston, Carolina del Sur, EEUU. Guilera, G., Gómez, J. e Hidalgo, M.D. (2006). Funcionamiento Diferencial de los Items: un análisis bibliométrico de las revistas editadas en español. Psicothema, 18, 841-847. Jabine, T.B., Straf, M.L., Tanur, J.M. & Tourangeau, R. (1984). Cognitive Aspects of Survey Methodology: Building a Bridge between Disciplines. Washington, DC: National Academy Press. Moreno, S. y Sánchez, A. (1998). Análisis Bibliométrico de la Revista Psicothema (19891997). Psicothema, 10, 23-27. Presser, S., Rothgeb, J.M., Couper, M.P., Lessler, J.T., Martin, E., Martin, J. & Singer, E. (2004). Methods for Testing and Evaluating Survey Questionnaires. Nueva York: John Wiley. SPSS. 2007. SPSS for Windows (Version 14.0.5) [Computer Software]. Chicago, IL: Author. Tourangeau, R. (1984). Cognitive science and survey methods. En Jabine, T., Straf, M., Tanur, J. & Tourangeau, R. (Eds), Cognitive aspects of survey methodology: Building a bridge between disciplines (pp. 73-100). Washington, DC: National Academy Press.

96

Estado actual de los métodos de pretest de cuestionarios Van Raan, A. (1999). Advanced bibliometric methods for the evaluation of Universities. Scientometrics, 45, 417-423. Willis, G.B. (2005). Cognitive Interviewing: A Tool for Improving Questionnaire Design. Sage: Thousand Oaks, CA. Woolley, M.E., Bowen, G.L. & Bowen, N.K. (2006). The development and evaluation of procedures to assess child self-report item validity. Educational and Psychological Measurement, 66, 687-700. Zulueta, M.A. y Bordons, M. (1999). La producción científica española en el área cardiovascular a través del Science Citation Index (1990-1996). Revista Española de Cardiología, 52, 751-764.

97

CAPÍTULO IV. PROCESOS DE RESPUESTA DE INFORMANTES DIRECTOS VS. INFORMANTES PROXY

98

Informantes directos vs informantes proxy

1.

Introducción En muchas situaciones, tanto en clínica como en investigación, es necesario utilizar

información que no proviene directamente de la persona objeto de estudio, sino a través de otros informantes, normalmente un familiar o una persona con la que se convive. Por ejemplo, cuando se selecciona un hogar para una encuesta, la primera persona con la que se contacta proporciona información de todos los miembros del hogar estén o no presentes, en lo que comúnmente se denomina “tabla de composición del hogar”. En la medida en la que esta primera persona está ofreciendo información de otros miembros del hogar, se está convirtiendo en un informante “indirecto” o proxy. Mientras que si proporciona información sobre sí mismo desarrolla el papel de informante “directo”. Es decir, en este contexto, un informante proxy es aquella persona que responde las preguntas de la encuesta pensando o poniéndose en el lugar de una tercera persona, ya sea un miembro del hogar o de su entorno cercano. Por el contrario, un informante “directo” es aquella persona que responde las preguntas de la encuesta pensando en sí mismo. Los informantes proxy a menudo son utilizados en la investigación por encuesta, en el ámbito de la salud y de la epidemiología, cuando el sujeto de interés no puede dar información por sí mismo. La introducción de este tipo de informantes en los estudios por encuesta aporta ciertos beneficios, por ejemplo, aumenta el tamaño de la muestra y la potencia del estudio (Campbell, Sloan & Kreiger, 2000). No obstante, como se puede intuir, también plantea algunas desventajas, siendo la más evidente el aumento del error de respuesta con respecto a los datos obtenidos de los informantes directos. En este sentido, la decisión del uso de los informantes proxy se basa en sopesar las desventajas, como el aumento del error de respuesta y las ventajas, como la reducción del error de muestreo y de los costes de la encuesta (Sunghee, Mathiowetz & Tourangeau, 2007). El uso de los informantes proxy es una práctica común en la investigación por encuesta, especialmente en las encuestas de salud. No obstante, el documento de la Eurostat Task Force, que refleja el consenso de los profesionales de la investigación por encuesta sobre las directrices y criterios de calidad para el diseño de encuestas de salud, desaconseja el uso de informantes proxy. Este consenso recomienda que el uso de informantes proxy debiera limitarse solamente a dos situaciones. En primer lugar, cuando se trata de reemplazar a aquellas personas que son incapaces de responder a las preguntas de la encuesta debido a

99

Capítulo IV graves problemas de salud (p. ej. demencia, discapacidad física o mental severa, etc.), y en segundo lugar, cuando no es posible encuestar a ciertos grupos de personas por motivos legales, por ejemplo, menores de edad (Tafforeau, Lopez, Tolonen, Scheidt-Nave & Tinto, 2006). Esta práctica del uso de informantes proxy se ha convertido en un importante foco de estudio; concretamente, en relación a la calidad de la información proporcionada por dichos informantes proxy. Varios estudios han encontrado diferencias entre la información ofrecida por un informante directo y un informante proxy, con respecto a ciertos aspectos de salud (Bassett, Magaziner & Hebel, 1990; Epstein, Hall, Tognetti, Son & Conant, 1989; Mathiowetz & Groves, 1985; Rothman, Hedrick, Bulcroft, Hickarn & Rubenstein, 1991). Por ejemplo, Magaziner, Bassett, Hebel y Gruber-Maldini (1996) hallaron que aunque los participantes proxy pueden ser menos precisos aportando información sobre síntomas de salud (a menudo no observables y no compartidos con otros), son capaces de proporcionar información con bastante exactitud sobre áreas de la salud que son observables y probablemente compartidas con otras personas, tales como, problemas con actividades físicas de la vida cotidiana o limitaciones crónicas. En este sentido, Grootendorst, Feeny y Furlong (1997) afirmaron que el estado emocional, el dolor y otras dimensiones de salud no directamente observables, son generalmente menos adecuadas para ser medidas utilizando informantes proxy, que aquellas que son directamente observables. En esta línea, los estudios sobre informantes proxy, principalmente, han descrito dos tipos de error asociado con su uso: “el efecto proxy” que consiste en subestimar los eventos debido a una falta de conocimiento, y “el principio de saliencia” que sucede cuando los participantes proxy informan con mayor exactitud sobre aquellos eventos que consideran más relevantes (Rajmil et al., 1999). Rajmil et al. (1999) apuntaron que, típicamente los principales factores estudiados que pueden influir en las respuestas de los informantes proxy han sido: el contenido de la propia pregunta, las características del informante proxy y la relación entre el informante proxy y la persona seleccionada. El lector ha podido comprobar que existe evidencia suficiente para afirmar que la información aportada por un participante proxy y un participante directo puede ser distinta. Es decir, las respuestas dadas a las preguntas de las encuestas por parte de un informante proxy pueden ser muy distintas de las ofrecidas por un informante directo. Desde un punto de vista del procesamiento de la información, estas respuestas son la resultante observable o la 100

Informantes directos vs informantes proxy conducta observable que se deriva de varios procesos cognitivos anteriores (ver modelo del proceso pregunta-respuesta en el Capítulo II). En la medida en que las respuestas de ambos tipos de informantes son distintas, se puede asumir que los procesos mentales subyacentes a dichas conductas también pueden ser distintos. De este modo, tanto la información disponible en la que el informante directo y el informante proxy se han basado para realizar juicios y proporcionar una respuesta, como las estrategias de formación de dichos juicios, también pueden ser diferentes (Bickart, Menon, Schwarz & Blair, 1994; Kuiper & Rogers, 1979; Schwarz & Wellens, 1997; Sudman, Bradburn & Schwarz, 1996). Todorov y Kirchner expusieron (2000) que al realizar juicios sobre otra persona, se puede recuperar información sobre las conductas de dicha persona, es decir, se puede recuperar información observable; pero difícilmente se puede acceder a la información sobre su estado interno. Por ejemplo, una expresión de una discapacidad física puede ser la limitación que una persona tenga para subir el bordillo de una acera. No obstante, aunque esta información, en la que el discapacitado tiene algunos problemas para solventar el obstáculo, puede estar disponible para otras personas; el dolor que la persona con discapacidad pueda experimentar en el intento de subir el bordillo, sólo es totalmente accesible para esa persona. Esta diferencia, en la disponibilidad de la información, puede llevar a realizar distintos juicios sobre lo que constituiría una discapacidad cuando uno está respondiendo por uno mismo (informante directo) que cuando uno está respondiendo por otra persona (informante proxy). Dada esta diferencia en la disponibilidad de la información, y la posibilidad de que los informantes estén llevando a cabo distintos juicios, es fundamental comprobar dónde se encuentran estas diferencias en los procesos de respuesta, y de qué forma se podrían minimizar esas diferencias para optimizar la convergencia entre las respuestas de ambos tipos de informantes. En base a la evidencia empírica sobre la utilidad de la entrevista cognitiva para indagar en los procesos de respuesta (Willis, 2004), el objetivo de este estudio es identificar, a través de la entrevista cognitiva, las posibles diferencias en los procesos de respuesta que llevan a cabo informantes directos e informantes proxy y, con ello, ofrecer una vía para optimizar la coincidencia entre las respuestas de los informantes, reduciendo con ello los potenciales errores de respuesta. La consecución de este objetivo se llevó a cabo realizando una serie de entrevistas cognitivas a parejas compuestas por informantes directos e informantes proxy. El material 101

Capítulo IV utilizado para estas entrevistas cognitivas fueron las preguntas de un cuestionario de una encuesta de discapacidad.

2. Método

2.1.

Participantes El número de participantes en el estudio fue de 24 personas, 8 hombres y 16 mujeres,

con edades comprendidas entre los 18 y los 65 años. La Tabla IV. 1 presenta los valores de ambas variables en cada grupo de informantes.

Tabla IV. 1. Edad y Género de los Participantes Grupo

Género

Edad (Media)

Hombre

Mujer

18-35

36-50

51-65

Informante Directo

2

10

1 (33)

7 (46.7)

4 (57.5)

Informante Proxy

6

6

7 (24)

4 (43.7)

1 (51)

La distribución de los participantes se basó en parejas en las que un miembro asume el rol de informante proxy mientras que el otro hace de informante directo. El requisito fundamental para participar en el estudio fue que el informante directo padeciera una limitación para realizar las actividades que la gente habitualmente hace debido a un problema de salud. De este modo, la distribución de las causas de las limitaciones de los 12 informantes directos fue la siguiente: dos participantes padecían problemas emocionales, seis participantes tenían problemas de movilidad, dos participantes presentaban problemas sensoriales, un participante padecía problemas hormonales y un participante tenía problemas cardíacos. Los miembros de cada pareja vivían juntos y poseen una relación familiar directa (padres-hijos, marido-mujer, etc.). En todos los casos, los participantes debían mostrar un nivel funcional de español, es decir, suficiente como para poder comunicarse en cualquier situación.

102

Informantes directos vs informantes proxy La decisión de utilizar solamente a parejas de participantes en las que el informante directo padeciera una limitación radica en una argumentación lógica: la riqueza de información disponible. Aquellas parejas en las que el informante directo posee algún tipo de limitación podrían aportar una mayor riqueza de información en cuanto a las situaciones, eventos, recuerdos, etc. en los que este informante directo sufriera la limitación. Por tanto, los informes verbales de ambos miembros de la pareja serían mucho más variados y amplios, y facilitarían la indagación y la comparación entre los procesos de respuesta de sendos miembros de la pareja. Favoreciendo de este modo alcanzar el objetivo del estudio. La captación de los participantes fue realizada mediante el procedimiento de “bola de nieve” a través de los contactos de miembros del equipo de investigación, alumnos de la Universidad de Granada, así como miembros de la Federación Granadina de Discapacitados Físicos. Los participantes fueron informados sobre su colaboración en el pretest de un cuestionario de discapacidad, sobre el procedimiento de las entrevistas y la confidencialidad de los datos. No obstante, no sabían cuál sería el papel a desempeñar, es decir, no sabían que uno de ellos sería el informante directo y otro el informante proxy. Así mismo, durante la fase de reclutamiento, se fueron balanceando entre los participantes variables como sexo, edad, nivel de estudios y tipo de limitación del informante directo. Además, se tuvo especial cuidado en que las personas seleccionadas no hubiesen participado con anterioridad en estudios para el pretest de cuestionarios. Cada pareja fue entrevistada el mismo día y en momentos consecutivos, es decir, en primer lugar se entrevistaba a un miembro de la pareja y a continuación al siguiente, balanceando el orden entre informantes directos e informantes proxy. Cada participante recibió una gratificación de 20€ como compensación por gastos de transporte, tiempo empleado en la entrevista, etc.

2.2.

Materiales Antes de comenzar a hablar de los “materiales” es preciso mencionar, que en el

contexto del presente estudio, se llevó a cabo un juicio de expertos para seleccionar las preguntas del cuestionario que iban a ser administradas en la entrevista cognitiva (preguntas target) y para desarrollar las pruebas de indagación pertinentes, con el fin de indagar en el proceso pregunta-respuesta de los informantes. De este modo, se seleccionaron 11 preguntas

103

Capítulo IV target, y fueron aquellas relacionadas con dificultades en la realización de actividades de la vida cotidiana, dificultades de comunicación, dificultades de movilidad, dificultades de aprendizaje y dificultades en la relación con otras personas. La Figura IV. 1 muestra una de estas preguntas y las correspondientes pruebas de indagación.

Figura IV. 1. Pregunta Target y Pruebas de Indagación P.14 ¿Debido a problemas de naturaleza cognitiva o intelectual, tiene dificultad importante para utilizar intencionadamente los sentidos? Por ejemplo, prestar atención con la mirada, mantener la atención con el oído, etc. Pruebas de Indagación Pregunta General: ƒ ¿Qué significa esta pregunta para Vd. y por qué ha contestado así? Preguntas Específicas: ƒ Dígame con sus propias palabras ejemplos de “problemas de naturaleza cognitiva o intelectual”. ƒ Imagine que tiene que explicar a otra persona qué es “utilizar intencionadamente lo sentidos”, ¿qué le diría?

De las preguntas target y las pruebas de indagación mencionadas anteriormente, se derivan los dos tipos de materiales utilizados: a) El cuestionario adaptado: es el cuestionario que se utiliza en la entrevista cognitiva. Se compone de todas las preguntas target que se van a evaluar y algunas preguntas sociodemográficas. Se puede decir que el cuestionario adaptado contiene las preguntas más problemáticas de la versión original. b) El protocolo de entrevista: es la guía de la entrevista cognitiva. Este protocolo incluye las instrucciones de la entrevista y las pruebas para indagar en los procesos de respuesta de los participantes.

104

Informantes directos vs informantes proxy Cuestionario Adaptado El cuestionario adaptado contenía unas preguntas sociodemográficas en la primera sección y las preguntas target en el resto del cuestionario. Estas preguntas target provenían de un cuestionario de discapacidad y habían sido desarrolladas a partir de la Clasificación Internacional del Funcionamiento, de la Discapacidad y de la Salud (CIF) (ver Anexo). Se utilizaron dos versiones del cuestionario adaptado, en las que la única diferencia aparece en el texto de las preguntas. Es decir, las preguntas para los informantes directos se conjugaron en segunda persona del singular, utilizando el sujeto “usted”; mientras que las preguntas para los informantes proxy se conjugaron en tercera persona del singular, sustituyendo el sujeto “usted” por “alguna persona del hogar”. La Figura IV. 2 ilustra con un ejemplo esta diferencia. Figura IV. 2. Preguntas Informante Directo vs. Proxy Informante Directo

Informante Proxy

P. 8 ¿Tiene dificultad importante para hablar de manera comprensible y decir frases con sentido sin ayudas?

P. 8 ¿Alguna persona del hogar tiene dificultad importante para hablar de manera comprensible o decir frases con sentido sin ayudas?

Protocolo de Entrevista El protocolo de entrevista es la guía para la entrevista cognitiva. Este material incluyó la descripción del objetivo de la entrevista cognitiva y las pruebas a aplicar, las instrucciones que se le debían dar al participante al comenzar la entrevista cognitiva y las pruebas de indagación (ver Anexo). Al igual que con el cuestionario adaptado también se generaron dos versiones del protocolo de entrevista, una para informantes directos y otra para informantes proxy.

105

Capítulo IV 2.3.

Procedimiento Se utilizó un diseño concurrente en la entrevista cognitiva, es decir, primero el

entrevistador formulaba la pregunta de la misma forma que se realizaría en la administración real de las preguntas de la encuesta y, después, procedía con la aplicación de las pruebas de indagación.

Figura IV. 3. Procedimiento de la Entrevista Cognitiva Cuestionario Adaptado

Procedimiento

Protocolo de Entrevista

Instrucciones P. Sociodemográficas P. Dificultad en Actividades de la Vida Cotidiana Pruebas de Indagación P. Dificultad de Comunicación Pruebas de Indagación P. Dificultad de Aprendizaje Pruebas de Indagación P. Dificultad de Movilidad Pruebas de Indagación P. Dificultad de Relación con otras personas Pruebas de Indagación

106

Informantes directos vs informantes proxy Tal y como muestra la Figura IV. 3, tras cada grupo de preguntas target se aplicaban las distintas pruebas para la indagación en los procesos de respuesta de los informantes. Todas las entrevistas se llevaron a cabo de forma individual por dos entrevistadores (una mujer y un hombre) entrenados y con gran experiencia en la realización de entrevistas cognitivas. Las entrevistas se grabaron en audio y vídeo tras el consentimiento de los participantes, y tuvieron lugar en un laboratorio cognitivo que está equipado de un sistema de grabación y digitalización de audio y vídeo en la Facultad de Psicología de la Universidad de Granada.

2.4.

Esquema de Análisis de las Entrevistas Cognitivas El análisis de las 24 entrevistas cognitivas realizadas se basó en un esquema de

codificación establecido por Willis, Schechter y Whitaker en 1999. Este esquema de codificación, estructurado de acuerdo al modelo del proceso pregunta-respuesta (Tourangeau, 1984), propone la identificación de problemas con las preguntas de las encuestas durante la entrevista cognitiva en las cuatro fases del modelo pregunta-respuesta: 1. Compresión, refleja cuando el participante no comprende el objetivo de la pregunta, lo que se le está preguntado o algún término o expresión del texto de la pregunta. 2. Recuperación, el participante tiene problemas para recuperar la información o recordar la información necesaria para contestar a la pregunta. 3. Juicio, incluye aquellos problemas que tienen lugar en la fase de evaluación de la información previamente recuperada. 4. Respuesta, cuando el participante ofrece una respuesta que no se corresponde con las opciones de respuesta establecidas en la encuesta.

107

Capítulo IV En el contexto del presente estudio, se utilizó este esquema de codificación para identificar en qué parte del proceso pregunta-respuesta existían diferencias entre el informante directo y el informante proxy. La identificación de las diferencias entre los procesos de respuesta del informante proxy y el informante directo se llevó a cabo por dos analistas independientes en dos rondas sucesivas. En la primera ronda, ambos analistas leyeron o escucharon los informes verbales de los participantes de forma independiente. En la segunda ronda, cada analista revisó la clasificación de las diferencias del proceso pregunta-respuesta realizada por el otro. Por último, se llevó a cabo una reunión en la que se revisaron aquellos informes verbales, en los que no había habido acuerdo sobre en qué parte del proceso pregunta-respuesta incluir la diferencia hallada, entre el informante directo y el informante proxy. La reunión finalizó con el total acuerdo entre ambos analistas. El análisis de las entrevistas se estructuró por parejas, comparando las respuestas y los informes verbales de cada miembro de la pareja, en cada uno de los conjuntos de preguntas target y pruebas de indagación. Para el análisis de los datos de las entrevistas se utilizó el software AQUAD 6 (Huber, 2008). Este software permite el análisis de las entrevistas a partir de los archivos de vídeo y además facilita enormemente la visualización de la pareja de entrevistados al mismo tiempo. La interfaz que muestra la Imagen IV. 1 es la que utiliza AQUAD 6 para llevar a cabo la asignación de códigos y anotaciones a las porciones de vídeo de la entrevista. En la parte de la derecha de la imagen, se puede observar el archivo de vídeo, y debajo de este los controladores para ir marcando las porciones de vídeo o frames a las que asignar los códigos. En la parte de la izquierda de la imagen, se puede ver los códigos que ya han sido asignados y entre qué números de frames se encuentra cada código. El análisis en AQUAD 6 se ejecutó del siguiente modo. En un primer lugar, se asociaron anotaciones a los frames que se corresponden con los informes verbales de los participantes ante las pruebas de indagación. Estas anotaciones simplemente consistieron en la interpretación que cada analista realizó sobre el informe verbal del participante. Al mismo tiempo, el analista también asignaba un código a la anotación y, por tanto, al informe verbal correspondiente, designando en qué parte del proceso pregunta-respuesta estaba ocurriendo una diferencia entre el informante directo y el informante proxy.

108

Informantes directos vs informantes proxy

Imagen IV. 1. Interfaz de AQUAD 6

En segundo lugar, todas las anotaciones y códigos establecidos en el primer paso en cada una de las entrevistas eran revisados por el otro analista. El software AQUAD 6 fue clave para que ambos analistas pudieran trabajar de forma independiente y simultánea, y pudieran revisar con facilidad el análisis realizado por el otro analista.

3. Resultados

3.1. Convergencia de las respuestas a las preguntas target En primer lugar, se va a presentar la distribución de las respuestas de cada pareja de participantes a las preguntas target. El número total de respuestas que se podían obtener de 12 parejas de participantes contestando a 11 preguntas es de 132. La distribución de estas 132 respuestas aparece representada en la Tabla IV. 2. Dicha tabla muestra la frecuencia de las respuestas coincidentes (Sí/Sí; No/No), las no coincidentes (Sí/No; No/Sí), los datos perdidos

109

Capítulo IV y las respuestas con distinta graduación. Esta última categoría se ha introducido para designar a aquellas respuestas en las que ambos participantes responden “Sí” pero con distinta graduación; por ejemplo, “Sí, estoy gravemente limitado”, “Sí, mi marido esta limitado, pero no gravemente”. Tabla IV. 2.Tipos y Frecuencias de Respuestas Respuestas Informante

Respuestas Informante Directo

Proxy

Sí

No

Sí

13 (9.8%)

9 (6.8%)

No

18 (13.6%)

76 (57.6%)

Distinta Graduación

3 (2.3%)

Perdidos

13 (9.9%)

Total

132 (100%)

Con la finalidad de “poner en situación” al lector sobre la problemática del uso de los informantes proxy, se establece como primer resultado que las respuestas de los informantes directos e informantes proxy coincidieron solamente en un 67.4% de las 132 respuestas, mientras que ofrecieron respuestas distintas en un 22.7%. No obstante, un resultado mucho más interesante y relacionado con el objetivo del presente estudio, como es la diferencia en los procesos de respuesta, aparece a continuación.

3.2. Convergencia de los procesos de respuesta La Tabla IV. 3. expone por columnas el binomio de respuesta que puede ofrecer cada pareja de participantes (Sí/Sí, No/No, Sí/No, etc.), la frecuencia de cada uno de estos binomios de respuesta y, por último, las veces que se identificó una diferencia en el proceso pregunta-respuesta entre ambos miembros de la pareja, en cada uno de estos binomios de respuesta.

110

Informantes directos vs informantes proxy Tabla IV. 3. Diferencias en el Proceso Pregunta-Respuesta Respuesta: Proxy / Directo

Frecuencia

Diferencias en Proceso P-R

Sí / Sí

13

4

No / No

76

5

Sí / No

9

9

No / Sí

18

18

Sí / Sí (diferente graduación)

3

3

Perdidos

13

0

Total

132

39

En primer lugar, con respecto a las respuestas coincidentes, pese a que ambos miembros de la pareja están ofreciendo la misma respuesta a la pregunta target (Sí/Sí, No/No) no siempre coinciden sus procesos de respuesta. De hecho, de las 13 veces que ambos miembros de la pareja responden “Sí/Sí”, en cuatro ocasiones el proceso de respuesta del informante proxy es distinto al del informante directo; y de las 76 veces que ambos miembros de la pareja responden “No/No”, en cinco de ellas los procesos de respuesta generados también son distintos. La problemática de esta situación radica en que, a pesar de que las respuestas ante la misma pregunta son iguales, a través del informante proxy no se está accediendo a la información “real”. Es decir, el informante proxy no tenía la misma información que el directo para responder, ni tampoco comprendía la pregunta de la misma manera, pero finalmente coincidían sus respuestas. En esta situación igualmente se está cometiendo un error de respuesta. En segundo lugar, una vez que la respuesta de ambos informantes es distinta (Sí/No, No/Sí, Sí/Sí distinta graduación) existe una diferencia subyacente en los respectivos procesos de respuesta. Independientemente si el binomio de respuesta (en orden Proxy/Directo) es “Sí/No”, “No/Sí” o “Sí/Sí” con distinta graduación, siempre existe una diferencia subyacente en el proceso pregunta-respuesta.

111

Capítulo IV 3.3.

Identificación de las diferencias en los procesos de respuesta Hubo 39 respuestas a las preguntas target en las que hubo diferencias en el modelo del

proceso pregunta-respuesta (Tourangeau, 1984) entre ambos tipos de informantes. La mayoría de esas diferencias se identificaron en la fase de compresión y recuperación de la información, y seguidamente en la fase de juicio. La Figura IV. 4 ilustra gráficamente los resultados del análisis.

Figura IV. 4. Identificación de las Diferencias en las Fases del Modelo P-R Compresión 23 (59%)

Diferencias en el Respuesta 0 (0%)

Proceso P-R (39)

Recuperación 22 (56%)

Juicio 16 (41%)

Es necesario recalcar, para facilitar la compresión de los datos de la Figura IV. 4, que una vez que se ha producido una diferencia en el proceso de respuesta a una pregunta, dicha diferencia se puede encontrar en varias fases; es decir, las fases del proceso preguntarespuesta no son mutuamente excluyentes. A continuación, se exponen dos ejemplos de transcripciones de entrevistas en las que se encontraron diferencias en el proceso preguntarespuesta.

112

Informantes directos vs informantes proxy Ejemplo IV. 1 P. ¿(Alguna persona del hogar) Tiene dificultad importante para mover el

cuerpo de un sitio a otro sin cambiar la posición, sin ayudas y sin supervisión? Por ejemplo, pasar de estar sentado en una cama a sentarse en una silla. ƒ ƒ ƒ

ƒ ƒ ƒ

Informante Proxy: “Sí” Entrevistador: “¿En qué ha pensado para responder a la pregunta, por qué ha contestado así?” Informante Proxy: “…mi madre tiene una dificultad para levantarse por un pinzamiento que tiene en la columna, pero no le ocurre siempre…” Informante Directo: “No” Entrevistador: “¿En qué ha pensado para responder a la pregunta, por qué ha contestado así?” Informante Directo: “…tengo dificultad puntual…pero no siempre…como ahí pone importante…dificultad importante no tengo…es puntual no continua. A veces me quedo encajada y no puedo levantarme del sofá pero no ocurre siempre…me ocurre dos o tres veces todos los días”

El Ejemplo IV. 1 incluye una pareja de participantes en la que el informante directo posee una limitación física, para realizar las actividades que la gente habitualmente hace debido a un pinzamiento lumbar. El proceso de respuesta es el siguiente: a) Compresión: ambos informantes comprenden el objetivo de la pregunta; b) Recuperación de información: recuperan la misma información en la que a veces el informante directo tiene problemas para cambiar de postura; c) Juicio: por una parte, el informante proxy evalúa la información generada como lo suficientemente grave como para responder “Sí”. Por otra parte, el informante directo evalúa la información generada como que es una dificultad puntual y no importante y, por tanto, en acorde con la pregunta target responde que “No”; y d) Respuesta: el informante directo responde “No” y el informante proxy “Sí”. La diferencia fundamental del proceso pregunta-respuesta radica en la fase de juicio. No obstante, esta trascripción ejemplifica la dificultad que puede haber a la hora de identificar en qué parte del proceso pregunta-respuesta existe una diferencia. Por ejemplo, se podría considerar que el informante directo interpreta el concepto “importante”, de forma distinta al informante proxy y, por ello, las respuestas son distintas. En este caso la diferencia estaría en la fase de interpretación, en lugar de en la fase de juicio. En el proceso de la 113

Capítulo IV entrevista no se indagó sobre la interpretación de dicho concepto, de modo que no podemos concluir que también existiera diferencia en la fase de interpretación.

Ejemplo IV. 2 P. ¿Debido a problemas de naturaleza cognitiva o intelectual, (Alguna persona del hogar) tiene dificultad importante para utilizar intencionadamente los sentidos? Por ejemplo, prestar atención con la mirada, mantener la atención con el oído, etc. ƒ ƒ ƒ ƒ ƒ ƒ

Informante Proxy: “Sí” Entrevistador: “¿En qué ha pensado para responder a la pregunta, por qué ha contestado así?” Informante Proxy: “…mi madre tiene una limitación visual así que no puede utilizar el sentido de la vista…” Informante Directo: “No” Entrevistador: “¿En qué ha pensado para responder a la pregunta, por qué ha contestado así?” Informante Directo: “…porque debido a mi limitación visual, a veces intento usar los otros sentidos y poner más atención a lo que estoy escuchando”

El caso del Ejemplo IV. 2 incluye una pareja de participantes en la que el informante directo tiene una limitación visual. Esta trascripción es un gran ejemplo de los principales resultados que se han encontrado en el estudio. La base de las diferencias en las respuestas a las preguntas target, entre los dos tipos de participantes, se encuentran en los errores de compresión de dichas preguntas target y en la distinta información generada por cada uno de los participantes. El proceso de respuesta es el siguiente: a) Comprensión: ambos participantes están mostrando errores en la fase de compresión, ya que la pregunta se refiere a “una dificultad importante por problemas de naturaleza cognitiva e intelectual” y ninguno de ellos introduce esta referencia en sus procesos de respuesta; b) Recuperación de información: el informante directo está recuperando información acerca de situaciones, en las que debido a su limitación visual, pone más atención a los estímulos externos usando (de forma intencionada) otros sentidos como el oído; mientras que el informante proxy recupera información sobre situaciones en las que su madre no es capaz de usar el sentido de la vista debido a su limitación; c) Juicio: no hay informes verbales para la fase de juicio. Podemos suponer que en

114

Informantes directos vs informantes proxy ambos informantes evalúan la información recuperada como adecuada para responder; y d) Respuesta: cada informante ofrece una respuesta distinta.

3.4.

Procesos de respuesta en función del tipo de pregunta Por último, se llevó a cabo un análisis de las diferencias en el proceso pregunta-

respuesta en función del tipo de preguntas target incluida en el estudio. Este análisis se realizó ya que la bibliografía revisada especifica la dificultad a la hora de medir ciertos aspectos de la salud a través de informantes proxy (Grootendorst et al., 1997), concretamente, sobre la problemática existente a la hora de utilizar informantes proxy cuando se está preguntando sobre ámbitos de la salud que no son directamente observables por dichos informantes.

Tabla IV. 4. Diferencias en el Proceso Pregunta-Respuesta por el Tipo de Preguntas Target Tipo de Preguntas Target

Frecuencia Diferencias en el Proceso P-R

Dificultad en Actividades de la Vida Cotidiana

11

6

Dificultad de Comunicación

31

10

Dificultad de Movilidad

24

10

Dificultad de Aprendizaje

21

7

Dificultad en las Relaciones con los demás

32

6

Perdidos

13

0

Total

132

39

La Tabla IV. 4 presenta en las columnas: cada tipo de pregunta target, la frecuencia de las respuestas y cuándo han aparecido diferencias en el proceso pregunta-respuesta entre las respuestas de los participantes. Los resultados del análisis de las entrevistas cognitivas muestran que las preguntas relacionadas con dificultad en actividades de la vida cotidiana y dificultad de movilidad son las que presentan mayores diferencias entre los informantes (6 diferencias en 11 respuestas y 10 diferencias en 24 respuestas, respectivamente). En

115

Capítulo IV contraposición, las preguntas, que menores diferencias generan, son aquellas relacionadas con problemas de aprendizaje (7 diferencias en 24 respuestas), comunicación (10 diferencias en 31 respuestas) y, por último, relación con los demás (6 diferencias en 32 respuestas). Estos resultados están en disonancia con la bibliografía, ya que tanto las dificultades en actividades de la vida cotidiana como las dificultades de movilidad se consideran ámbitos de la salud directamente observables y accesibles por los informantes proxy. Mientras que las dificultades en las relaciones con los demás, donde se ha encontrado una mayor convergencia entre los procesos de respuesta, implican procesos emocionales que a priori se consideran no directamente observables por dichos informantes proxy. A continuación, se expone el informe verbal de una pareja de participantes como ejemplo de estos resultados.

Ejemplo IV. 3 P. (Alguna persona de su hogar) ¿se ha visto limitado/a para realizar las actividades que la gente habitualmente hace, debido a un problema de salud? La limitación debe durar más de un año. ƒ ƒ ƒ

ƒ ƒ ƒ

Informante Proxy: “Sí, gravemente limitado” Entrevistador: “¿Qué entiende por actividades de la vida cotidiana?” Informante Proxy: “…por ejemplo, levantarse por la mañana, ir al servicio, asearse sin que nadie te diga dónde está el cepillo o la pasta de dientes, si no encuentra el jabón que nadie te tenga que decir dónde está...no puede salir solo a la calle, tiene que ir con alguien...” Informante Directo: “Sí, pero no gravemente limitado” Entrevistador: “¿Qué entiende por actividades de la vida cotidiana?” Informante Directo: “…actividades de la vida cotidiana son, levantarse, desayunar, ir al servicio, vestirse...esas puedo hacerlas, pero hay otras actividades de la vida cotidiana como es salir a la calle, cruzar la calle, ir a la tienda en estas sí que necesito ayuda”

La pareja del Ejemplo IV. 3 incluye un participante directo con una grave limitación visual y su mujer como participante proxy. En la transcripción se puede observar el siguiente proceso de respuesta: a) Comprensión: no hay informes verbales específicos de esta fase, pero se puede apreciar que ambos participantes comprenden correctamente la pregunta; b) Recuperación de información: el informante directo recupera dos tipos de actividades: una en las que no tiene problemas (podríamos denominar de “puertas para adentro”) como levantarse, 116

Informantes directos vs informantes proxy desayunar, ir al servicio, vestirse, etc., y otras actividades en las que sí tiene problemas (podríamos denominar de “puertas hacia fuera”) como salir a la calle, cruzar la calle, ir a la tienda, etc.. El informante proxy recupera información de todas las actividades en las que su marido tiene problemas, sin diferenciar entre ellas; es decir, problemas en actividades como levantarse, ir al servicio y asearse, y en actividades como salir a la calle; c) Juicio, cada informante evalúa la información generada y prepara una respuesta; y d) Respuesta, el informante directo establece que está “limitado pero no gravemente”, ya que hay algunas actividades que puede realizar por sí solo, y el informante proxy comunica que su marido “está gravemente limitado” porque necesita ayuda para todas las actividades.

3.

Discusión El objetivo de este estudio fue identificar las posibles diferencias en los procesos de

respuesta que llevan a cabo informantes directos e informantes proxy y, con ello, ofrecer una vía para optimizar la coincidencia entre las respuestas de los informantes. La consecución de este objetivo se ha implementado en el marco de un estudio, en el que se utilizaron informantes directos e informantes proxy para responder a preguntas de un cuestionario de una encuesta de discapacidad. El análisis de los procesos de respuesta de ambos tipos de informantes se realizó en base al esquema de codificación propuesto por Willis et al. (1999). Este esquema permite la identificación de problemas en cada una de las fases del modelo de pregunta-respuesta (Tourangeau, 1984). Los resultados del estudio han mostrado: a) A pesar de que los informantes directos y los informantes proxy coincidan en sus respuestas, los procesos de respuesta subyacentes, en ocasiones, son distintos. Es decir, el informante proxy puede estar comprendiendo la pregunta de forma distinta que el informante directo, recuperando distinta información y evaluándola también de forma distinta aunque finalmente ofrezca la misma respuesta. Esta situación supone un problema de error de respuesta en la medida en la que no se está accediendo al valor “real”; en términos de evaluación psicométrica clásica, en la medida en la que, a pesar de haber obtenido el mismo valor “observado” no se

117

Capítulo IV está accediendo al valor “verdadero” del informante directo, a través del informante proxy. b) Una vez que ambos informantes han ofrecido una respuesta distinta existe una diferencia subyacente en el proceso de pregunta-respuesta. La mayoría de estas diferencias subyacentes se encuentran en la fase de compresión y recuperación de información del modelo del proceso de pregunta-respuesta (Tourangeau, 1984). En la bibliografía se establecía que, las diferencias en las respuestas se deben a la distinta información disponible para realizar juicios y a las distintas estrategias de formación de dichos juicios (Bickart et al., 1994; Kuiper & Rogers, 1979; Schwarz & Wellens, 1997; Sudman, et al., 1996); sin embargo, el estudio ha mostrado que las diferencias se deben, en gran medida, a las diferentes interpretaciones que realizan los participantes de las preguntas del cuestionario; concretamente, a los errores de interpretación del objetivo de estas preguntas. El primer paso, para evitar que los informantes proxy ofrezcan respuestas distintas a los informantes directos, es asegurar una interpretación común de la pregunta del cuestionario. Es esencial conseguir que todos los participantes comprendan la pregunta de la misma forma, y que esa interpretación coincida con el objetivo de medición de dicha pregunta, es decir, coincida con la interpretación prevista por los autores del cuestionario. De este modo, se debe realizar un esfuerzo a la hora de elaborar preguntas claras, sencillas, cognitivamente accesible para la población objeto de medición y que reflejen nítidamente el objetivo de medición de la misma. Este primer paso es tan importante que si no se ejecuta es indiferente utilizar informantes directos e informantes proxy en las encuestas, ya que los propios informantes directos van a mostrar una gran divergencia en las respuestas entre sí mismos. No habría que esperar a introducir informantes proxy para que aumentaran los errores de respuesta en los datos de las encuestas. El segundo paso, consistiría en tratar de conseguir que, los informantes proxy se basaran en la misma información que los informantes directos, a la hora de contestar a las preguntas. Con respecto al tipo de preguntas, varios autores apuntaron que las respuestas de los informantes proxy son más exactas en ámbitos de la salud que son directamente observables y probablemente conocidos por otros (Magaziner et al., 1996), tales como, problemas con actividades de la vida cotidiana y limitaciones crónicas. No obstante, los resultados del 118

Informantes directos vs informantes proxy presente estudio han puesto de manifiesto, que la mayoría de las diferencias de los procesos de respuesta aparecen en las preguntas relacionadas con limitaciones en las actividades cotidianas y con problemas de movilidad. De forma contraria, la mayor convergencia de los procesos de respuesta se ha encontrado en las preguntas relacionadas con dificultades en la relación con los demás, que implican a la hora de responder un acceso a información emocional (ver Anexo). La explicación de esta situación no está clara. Se podría hipotetizar, que por efectos de deseabilidad social, ambos informantes hayan restringido la información aportada durante la entrevista cognitiva, con respecto a problemas emocionales y problemas de relación con otras personas, ofreciendo respuestas e informes verbales en los que muestran que no existen problemas de relación con otras personas y todo está bien. De hecho, la mayor frecuencia de respuestas entre ambos informantes fue “No/No”. Este hallazgo podría abrir una nueva línea de investigación que comprobara la causa de este resultado, y arrojara luz sobre el grado de convergencia en las respuestas entre informantes directos e informantes proxy en función de la temática de la pregunta. Finalmente, en este estudio se ha demostrado, una vez más, cómo el uso de la entrevista cognitiva nos permite saber cómo están interpretando y respondiendo a las preguntas de las encuestas los participantes e identificar los tipos de error que se están cometiendo (DeMaio & Rothgeb, 1996; Harris-Kojetin, Fowler, & Brown, 1999; NápolesSpringer, Santoyo-Olsson, O’Brien, & Stewart, 2006). A través del uso de la entrevista cognitiva es posible identificar fuentes de error en los procesos de respuesta a las preguntas de la encuesta, tales como, problemas en la comprensión del objetivo de la pregunta o conceptos insertados en la pregunta, o diferencias en la recuperación de la información y en el juicio realizado por distintos tipos de informantes; y en base a estas evidencias proponer modificaciones en dichas preguntas para asegurar la calidad de los datos obtenidos y reducir los errores basados en los procesos de respuesta.

5.

Referencias

Bassett, S.S., Magaziner, J. & Hebel, J.R. (1990) Reliability of proxy response on mental health indices for aged, community-dwelling women. Psychology and Aging, 5, 127-132.

119

Capítulo IV Bickart, B., Menon, G., Schwarz, N. & Blair, J. (1994). The use of anchoring strategies in constructing proxy reports of attitudes. International Journal of Public Opinion Research, 6, 375-379. Campbell, P.T., Sloan, M. & Kreiger, N. (2000). Utility of Proxy versus Index Respondent Information in a Population-Based Case-Control Study of Rapidly Fatal Cancers. Annals of Epidemiology, 17, 253-257. DeMaio, T.J. & Rothgeb J.M. (1996). Cognitive interviewing techniques: in the lab and in the field. En N. Schwarz & S. Sudman (Eds.), Answering Questions. Methodology for Determining Cognitive and Communicative Processes in Survey Research. San Francsico: Jossey-Bass, 177–

196. Epstein, A.M., Hall, J.A., Tognetti, J., Son, L.H. & Conant, L. (1989). Using proxies to evaluate quality of life. Medical Care, 27, 91-98. Grootendorst, P.V., Feeny, D.H. & Furlong, W. (1997). Does it matter whom and how you ask? Inter- and intra-rater agreement in the Ontario Health Survey. Journal of Clinical Epidemiology, 50, 127-135. Harris-Kojetin, L.D., Fowler, F.J. & Brown, J.A. (1999). The use of cognitive testing to develop and evaluate CAHPS 1.0 core survey items. Consumer Assessment of Health Plans Study. Medical Care, 37, 10–21. Huber, G.L. (2008). AQUAD El Programa para Analizar Datos Cualitativos (versión 6.8.1.1). Universidad de Tübingen, Alemania: Ingeborg Huber Verlag. Kuiper, N.A. & Rogers, T.B. (1979). Encoding of personal information: self-other differences. Journal of Personality and Social Psychology, 37, 499-514. Magaziner, J., Bassett, S.S., Hebel, J.R. & Gruber-Maldini, A. (1996). Use of Proxies to Measure Health and Functional Status in Epidemiologic Studies of Community-dwelling Women Aged 65 Years and Older. American Journal of Epidemiology, 143, 283-292.

120

Informantes directos vs informantes proxy Mathiowetz, N.A. & Groves, R. M. (1985). The effects of respondent rules on health survey reports. American Journal of Public Health, 75, 311-316. Nápoles-Springer, A.M., Santoyo-Olsson, J., O’Brien, H. & Stewart, A.L. (2006). Using cognitive interviews to develop surveys in diverse populations. Medical Care, 44, 21-30. Rajmil, L., Fernández, E., Gispert, R., Rúe, M., Glutting, J.P., Plasencia, A. & Segura, A. (1999). Influence of proxy respondents in childrens’ health interview survey. Journal of Epidemiology and Community Health, 53, 38-42. Rothman, M.L., Hedrick, S.C., Bulcroft, K.A., Hickarn, D.H. & Rubenstein, L.Z. (1991). The validity of proxy-generated scores as measures of patient health status. Medical Care, 29,115124. Schwarz, N. & Wellens, T. (1997). Cognitive dynamics of proxy responding: the diverging perspective of actors and observers. Journal of Official Statistics, 13, 159-179. Sudman, S., Bradburn, N.M. & Schwarz, N. (1996). Thinking about answers: The Application of Cognitive Processes to Survey Methodology. San Francisco, CA: Jossey-Bass. Sunghee, L., Mathiowetz, N.A. & Tourangeau, R. (2007) Measuring disabilities in surveys: Consistency over the time and across respondents. Journal of Official Statistics, 23, 163-184. Tafforeau, J., Lopez, M., Tolonen, A., Scheidt-Nave, C. & Tinto, A. (2006). Guidelines for the development and criteria for the adoption of Health Survey instruments. Eurostat Working Papers and Studies. Todorov, A. & Kirchner, C. (2000). Bias in Proxies’ Reports of Disability: Data From the National Health Interview Survey on Disability. American Journal of Public Health, 90, 1248-1253. Tourangeau, R. (1984). Cognitive science and survey methods: a cognitive perspective. En: T. Jabine, M. Straf, J. Tanur & R. Tourangeau (Eds.), Cognitive Aspects of Survey

121

Capítulo IV Methodology: Building a Bridge Between the Disciplines (pp. 73-100). Washington, DC: National Academy Press. Willis, G.B. (2004). Cognitive Interviewing Revisited: A Useful Technique, in Theory? En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 23-43). Nueva Jersey: John Wiley & Sons. Willis, G.B., Schechter, S. & Whitaker, K. (1999). A comparison of cognitive interviewing, expert review, and behavior coding: What do the tell us? Proceedings de la Section on Survey Research Methods, American Statistical Association, 28-37.

122

Informantes directos vs informantes proxy 6. Anexo

CUESTIONARIO ADAPTADO INFORMANTE PROXY Código de entrevista:

Fecha: dd/mm/aa

Entrevistador/a 1

Entrevistado/a1

Sexo (H ó M)

Códigos: E1_01 a E1_03; o E2_04 a E2_05

A) Datos del encuestado “Para empezar, necesito conocer algunos datos personales que nos ayudarán a interpretar sus respuestas”. (A partir de aquí, el entrevistador debe preguntar al encuestado) P.1 ¿Cuál es su edad? ________ P.2 ¿Cuál es su país de nacimiento? País de nacimiento: _____________ P.3 ¿Vive con otras personas en su domicilio actual? No

1

Sí

2_

(Si la respuesta es “No” se anula la entrevista, el entrevistado tenía que vivir en domicilio familiar).

P.4 Alguna persona de su hogar, ¿se ha visto limitado/a para realizar las actividades que la gente habitualmente hace, debido a un problema de salud? La limitación debe durar más de un año. Sí, gravemente limitado

1 → Entrevistador pase a P.5

Sí, limitado pero no gravemente

2 → Entrevistador pase a P.5

No

3 PRUEBA 4 DE INDAGACIÓN (PROTOCOLO)

P.5 ¿Cuál es su relación de parentesco con esta/s persona/s? Parentesco (1) __________

¿Cuál es su edad?____

(2) __________

¿Cuál es su edad?____

(3) __________

¿Cuál es su edad?____

(4) __________

¿Cuál es su edad?____

PRUEBA 4 DE INDAGACIÓN (IR A PROTOCOLO) B) Núcleo de la entrevista

123

Capítulo IV Entrevistador/a: Léale al informante: "Ahora voy hacerles unas preguntas para identificar a las personas de su vivienda que tienen dificultades o limitaciones importantes para realizar actividades de la vida cotidiana, debido a un problema de salud”. “Por favor, tenga en cuenta para responder a las preguntas que se considera que un problema de salud es de larga duración cuando las dificultades duran ya más de un año o se espera que duren más de un año”. “Incluya también a las personas que para hacer las actividades cotidianas necesitan ayudas técnicas externas o que alguien las supervise mientras están haciéndolas. Entrevistador/ a: Léale al informante: “Empecemos por las dificultades de comunicación cuya duración supere un año. P.6

¿Alguna persona del hogar tiene dificultad importante para hablar de manera

comprensible o decir frases con sentido sin ayudas? SI

→ ¿Cuál es su relación de parentesco con esta/s persona/s? (1) ________

(2) ________

(3)________

(4)________

NO PRUEBA 6 DE INDAGACIÓN (IR A PROTOCOLO) P.7 ¿Alguna persona del hogar tiene dificultad importante para comprender el significado de lo que le dicen otras personas sin ayudas? SI

→ ¿Cuál es su relación de parentesco con esta/s persona/s? (1) ________

(2)________

(3)________

(4)________

NO PRUEBA 7 DE INDAGACIÓN (IR A PROTOCOLO) P. 8. ¿Alguna persona del hogar tiene dificultad importante para utilizar el teléfono u otros dispositivos o técnicas de comunicación sin ayudas y sin supervisión? Incluya la máquina para escribir Braille y la lectura labial. SI

→ ¿Cuál es su relación de parentesco con esta/s persona/s? (1) ________

(2)________

(3)________

(4)________

NO PRUEBA 8 DE INDAGACIÓN (IR A PROTOCOLO)

Entrevistador/ a: léale al informante: “Ahora voy a hacer unas preguntas sobre dificultades de aprendizaje que duren más de un año”.

124

Informantes directos vs informantes proxy P. 9. ¿Debido a problemas de naturaleza cognitiva o intelectual, alguna persona del hogar tiene dificultad importante para utilizar intencionadamente los sentidos? Por ejemplo, prestar atención con la mirada, mantener la atención con el oído, etc. SI

→ ¿Cuál es su relación de parentesco con esta/s persona/s? (1) ________

(2)________

(3)________

(4)________

NO PRUEBA 9 DE INDAGACIÓN (IR A PROTOCOLO) P.10

¿Debido a problemas de naturaleza cognitiva o intelectual, alguna persona del

hogar tiene dificultad importante para aprender a leer, a escribir, a contar (o calcular), a copiar o dificultad para aprender a manejar utensilios de uso cotidiano? SI

→ ¿Cuál es su relación de parentesco con esta/s persona/s? (1) ________

(2)________

(3)________

(4)________

NO PRUEBA 10 DE INDAGACIÓN (IR A PROTOCOLO)

Entrevistador/ a: Léale al informante: “El siguiente bloque incluye preguntas sobre dificultades de movilidad que duren más de un año”. P.11 ¿Alguna persona del hogar tiene dificultad importante para mover el cuerpo de un sitio a otro sin cambiar la posición sin ayudas y sin supervisión? Por ejemplo, pasar de estar sentado en una cama a sentarse en una silla. SI

→ ¿Cuál es su relación de parentesco con esta/s persona/s? (1) ________

(2)________

(3)________

(4)________

NO PRUEBA 11 DE INDAGACIÓN (IR A PROTOCOLO) P.12 ¿Alguna persona del hogar tiene dificultad importante para cambiar de postura sin ayudas y sin supervisión? Por ejemplo levantarse de una silla, tumbarse en una cama, arrodillarse, etc. Excluye la acción de transferir el propio cuerpo planteada en la pregunta anterior. SI

→ ¿Cuál es su relación de parentesco con esta/s persona/s? (1) ________

(2)________

(3)________

NO PRUEBA 12 DE INDAGACIÓN (IR A PROTOCOLO)

125

(4)________

Capítulo IV Entrevistador/ a: Léale al informante: “Para terminar este bloque, las siguientes preguntas tratan sobre dificultades por problemas de salud en las relaciones con otras personas, en las relaciones familiares, etc., de más de 1 año de duración”

P.13. ¿Alguna persona del hogar tiene dificultad importante para mostrar a otras personas afecto, respeto o para transmitir sentimientos incluyendo el contacto físico, como besos, caricias, etc.? SI

→ ¿Cuál es su relación de parentesco con esta/s persona/s? (1) ________

(2)________

(3)________

(4)________

NO PRUEBA 13 DE INDAGACIÓN (IR A PROTOCOLO) P.14. ¿Alguna persona del hogar tiene dificultad importante para crear y mantener relaciones familiares? SI

→ ¿Cuál es su relación de parentesco con esta/s persona/s? (1) ________

(2)________

(3)________

(4)________

NO PRUEBA 14 DE INDAGACIÓN (IR A PROTOCOLO)

P.15. ¿Alguna persona del hogar tiene dificultad importante para crear y mantener relaciones sentimentales, de pareja o sexuales? SI

→ ¿Cuál es su relación de parentesco con esta/s persona/s? (1) ________

(2)________

(3)________

(4)________

NO PRUEBA 15 DE INDAGACIÓN (IR A PROTOCOLO)

Protocolo Informante PROXY ¾

Debe realizar la entrevista igual que se administra un cuestionario tradicional: empiece por el principio, avance a través de cada página hasta el final del protocolo y lea cada pregunta del cuestionario junto con las opciones de respuesta exactamente como aparecen.

126

Informantes directos vs informantes proxy ¾

La información para dar al encuestado está escrita con un estilo de fuente en cursiva y “entrecomillada”, las “preguntas objeto de análisis” con un estilo de fuente en negrita, las preguntas con las pruebas de indagación con un estilo normal. También pueden aparecer instrucciones para Vd. que no debe leer al entrevistado. Estas instrucciones aparecen (entre paréntesis).

¾

A continuación, se describen los diferentes tipos de preguntas incluidas en el protocolo junto con algunas indicaciones para el entrevistador:

¾ Preguntas objeto de análisis. Son las preguntas cuyo funcionamiento se pretenden examinar mediante la entrevista cognitiva. El resto de las preguntas del protocolo están diseñadas para analizar como funcionan estas preguntas. Por tanto, debe hacer las preguntas y leer las alternativas de respuesta exactamente como aparecen escritas. Debe también registrar la respuesta del encuestado de manera exacta. NO INTENTE EXPLICAR LAS PREGUNTAS O AYUDAR A QUE LOS ENCUESTADOS ENTIENDAN LA RESPUESTA QUE DEBEN DAR. Recuerde que la finalidad de las entrevistas cognitivas es conocer como los encuestados interpretan las preguntas. También se pretende averiguar el grado de dificultad que conlleva contestar a las preguntas, sin la ayuda de un entrevistador.

¾ Pregunta general de indagación. Inmediatamente después de la pregunta objeto de análisis, aparece una pregunta abierta diseñada para obtener información sobre como el entrevistado ha interpretado la pregunta objeto de análisis y como ha elaborado su respuesta. Haga esta pregunta en cuanto detecte que el entrevistado ha terminado de responder a la pregunta objeto de análisis y FAVOREZCA QUE EXPRESE TODO “LO QUE TIENE EN LA CABEZA…” sobre la pregunta objeto de análisis.

¾ Preguntas específicas de indagación. Tras la pregunta general debe hacer una serie de preguntas diseñadas para obtener información específica sobre el proceso de “pregunta-respuesta” seguido por el entrevistado. Interesa conocer en detalle como el entrevistado ha “construido” la respuesta. Estas preguntas son fáciles de responder. No obstante, también puede recurrir a las habituales estrategias de indagación para profundizar en las respuestas: “Puede repetirme lo último…”; “Me parece que eso no lo he entendido…”, ¿Quiere añadir algo más…”? o repitiendo las últimas palabras o frases del encuestado.

127

Capítulo IV

Información previa al encuestado Tras la presentación inicial y después de que ocupen las posiciones adecuadas en la sala1, proporcione la siguiente información: •

“La Universidad de Granada está probando unas preguntas de un cuestionario que posteriormente se utilizarán en una encuesta. La información obtenida con la encuesta será utilizada para elaborar políticas que mejoren las condiciones de vida de los ciudadanos".

•

“El objetivo de la entrevista que vamos a realizar con Vd. es probar el cuestionario que se utilizará en la encuesta. QUEREMOS QUE NOS AYUDE A QUE LAS PREGUNTAS SEAN MÁS CLARAS Y FÁCILES DE ENTENDER PARA PERSONAS COMO VD. La información que Vd. proporcione es muy valiosa para mejorar el funcionamiento del cuestionario”.

•

“Primero responderá a un cuestionario y después le pediré que me diga COMO HA CONTESTADO A LAS PREGUNTAS, es decir, como ha entendido las preguntas, que información ha tenido en cuenta para responder, como ha recordado la información, el esfuerzo que ha tenido que realizar, las posibles molestias, etc.”

•

“Toda la información que proporcione es muy importante para nosotros. Por tanto, siéntase libre de decir todo lo que crea que puede ayudar a mejorar el cuestionario haciendo bien las preguntas.” “Para no perder nada de sus respuestas y comentarios, la sesión va a ser grabada”. “Sus respuestas son confidenciales y sólo se utilizarán para cumplir los objetivos del estudio.” “¿Tiene alguna duda?... Pues vamos a empezar.”

Desarrollo de la entrevista cognitiva

PRUEBA P.4 DE INDAGACIÓN (“ACTIVIDADES HABITUALES”)

1

1

Procure sentarse de forma que no esté “cara a cara” con el entrevistado. De esta forma se rebaja la “presión” sobre el entrevistado. Al mismo tiempo, deben sentarse de forma que el sistema de grabación recoja de la forma más completa posible las caras y el cuerpo de ambos.

128

Informantes directos vs informantes proxy •

GENERAL

P. 4. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así? ⇒ ESPECÍFICAS P. 4. 2 ¿Qué entiende Vd. por “actividades de la vida cotidiana”?

PRUEBA P.6 (“HABLAR DE MANERA COMPRENSIBLE”) •

GENERAL

P. 6. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así? ⇒ ESPECÍFICAS P. 6. 2 ¿Qué significan para Vd. las palabras “hablar de manera comprensible”?

⇒ ESPECÍFICAS PARA QUIENES RESPONDAN “SÍ” A LA PREGUNTA P.6. DEL CUESTIONARIO P. 6. 3. Vd. ha contestado que su _________ (Nombrar por el parentesco a la persona 1), tiene dificultad importante para hablar de manera comprensible y decir frases con sentido, cuénteme con sus propias palabras una situación en la que su ________ (la persona 1), tenga una dificultad importante para hablar de manera comprensible y decir frases con sentido.

PRUEBA P.7 DE INDAGACIÓN (“COMPRENDER EL SIGNIFICADO”) •

GENERAL

P. 7. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así? ⇒ ESPECÍFICAS

129

Capítulo IV P. 7. 2 ¿Qué entiende Vd. por “… comprender el significado de lo que dicen otras personas”? ⇒ ESPECÍFICAS PARA QUIENES RESPONDAN DISTINTO DE “SIN DIFICULTAD” A LA PREGUNTA P.7 DEL CUESTIONARIO P. 7. 3 Vd. ha contestado que su _________ (Nombrar por el parentesco a la persona 1), tiene dificultad importante para comprender lo que dicen otras personas, cuénteme con sus propias palabras una situación en la que su ________ (la persona 1), tenga una dificultad importante para comprender lo que dicen otras personas.

PRUEBA P.8 DE INDAGACIÓN (“UTILIZAR EL TELÉFONO”) •

GENERAL

P. 8. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así? ⇒ ESPECÍFICAS PARA TODOS P. 8. 2 ¿Qué significan para Vd. las palabras “utilizar el teléfono”? P. 8. 3 ¿… y “dispositivos o técnicas de comunicación”? ⇒ ESPECÍFICAS PARA QUIENES RESPONDAN DISTINTO DE “SIN DIFICULTAD” A LA PREGUNTA P.8 DEL CUESTIONARIO P. 8. 4 Vd. ha contestado que su _________ (Nombrar por el parentesco a la persona 1), tiene dificultad importante para utilizar el teléfono u otros dispositivos o técnicas de comunicación, cuénteme con sus propias palabras una situación en la que su ________ (la persona 1), tenga una dificultad importante para utilizar el teléfono u otros dispositivos o técnicas de comunicación.

PRUEBA P.9 DE INDAGACIÓN (“USAR LOS SENTIDOS”)

130

Informantes directos vs informantes proxy •

GENERAL

P. 9. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así?

¾ ESPECÍFICAS P. 9. 2 Dígame con sus propias palabras ejemplos de “problemas de naturaleza cognitiva o intelectual”. P. 9. 3 Imagine que tiene que explicar a otra persona qué es “utilizar intencionadamente lo sentidos”, ¿qué le diría? ⇒ ESPECÍFICAS PARA QUIENES RESPONDAN “SI” A LA PREGUNTA P.9 DEL CUESTIONARIO P. 9. 4 Vd. ha contestado que su _________ (Nombrar por el parentesco a la persona 1), tiene dificultad importante para utilizar intencionadamente los sentidos, cuénteme con sus propias palabras situaciones en la que su ________ (la persona 1), tenga dificultades para utilizar intencionadamente los sentidos.

PRUEBA P.10 DE INDAGACIÓN (“APRENDER A LEER…”) •

GENERAL

P. 10. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así?

¾ ESPECÍFICAS P. 10. 2 ¿Qué entiende Vd. por “utensilios de uso cotidiano”? ⇒ ESPECÍFICAS PARA QUIENES RESPONDAN “SI” A LA PREGUNTA P.10 DEL CUESTIONARIO P. 10. 3 Vd. ha contestado que su _________ (Nombrar por el parentesco a la persona 1), tiene dificultad importante para aprender a leer, a escribir, a contar, a copiar o a manejar utensilios de uso cotidiano, cuénteme con sus propias palabras situaciones en

131

Capítulo IV la que su ________ (la persona 1), tenga dificultades para aprender.

PRUEBA P.11 DE INDAGACIÓN (“MOVER EL CUERPO”) •

GENERAL

P. 11. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así? ⇒ ESPECÍFICAS P. 11. 2 ¿Qué ha entendido por “mover el cuerpo de un sitio a otro sin cambiar de posición”? P. 11. 3 La pregunta era sobre si una persona de su hogar tenía una dificultad importante para mover el cuerpo… sin ayudas y sin supervisión ¿Qué significan para Vd. las palabras “sin supervisión”? ⇒ ESPECÍFICAS PARA QUIENES RESPONDAN DISTINTO DE “SIN DIFICULTAD” A LA PREGUNTA P.11 DEL CUESTIONARIO P. 11. 4 Vd. ha contestado que su _________ (Nombrar por el parentesco a la persona 1), tiene dificultad importante para mover el cuerpo de un sitio a otro sin cambiar de posición, cuénteme con sus propias palabras situaciones en las que su ________ (la persona 1), tenga una dificultad importante para mover el cuerpo de un sitio a otro sin cambiar de posición.

PRUEBA P.12 DE INDAGACIÓN (“CAMBIAR DE POSTURA”) •

GENERAL

P. 12. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así? ⇒ ESPECÍFICAS

132

Informantes directos vs informantes proxy

P. 12. 2 ¿Qué ha entendido por la expresión “transferir el propio cuerpo”? ⇒ ESPECÍFICAS PARA QUIENES RESPONDAN DISTINTO DE “SIN DIFICULTAD” A LA PREGUNTA P.12 DEL CUESTIONARIO P. 12. 3 Vd. ha contestado que su _________ (Nombrar por el parentesco a la persona 1), tiene dificultad importante para cambiar de postura, cuénteme con sus propias palabras situaciones en la que su ________ (la persona 1), tenga una dificultad importante para cambiar de postura sin transferir el propio cuerpo.

PRUEBA P.13 DE INDAGACIÓN (“MOSTRAR AFECTO”) •

GENERAL

P. 13. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así? ⇒ ESPECÍFICAS PARA QUIENES RESPONDAN DISTINTO DE “SIN DIFICULTAD” A LA PREGUNTA P.13.1 DEL CUESTIONARIO P. 13. 2 Vd. ha contestado que su _________ (Nombrar por el parentesco a la persona 1), tiene dificultad importante para mostrar a otras personas afecto, respeto o sentimientos, cuénteme con sus propias palabras situaciones en la que su ________ (la persona 1), tenga una dificultad importante para mostrar a otras personas afecto, respeto o sentimientos.

PRUEBA P.14 DE INDAGACIÓN (“RELACIONES FAMILIARES”) •

GENERAL

P. 14. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así? ⇒ ESPECÍFICAS

133

Capítulo IV

P. 14. 2 ¿Qué ha entendido por la expresión “crear o mantener relaciones familiares”?

⇒ ESPECÍFICAS PARA QUIENES RESPONDAN DISTINTO DE “SIN DIFICULTAD” A LA PREGUNTA P.14 DEL CUESTIONARIO P. 14. 3 Vd. ha contestado que su _________ (Nombrar por el parentesco a la persona 1), tiene dificultad importante para crear y mantener relaciones familiares, cuénteme con sus propias palabras situaciones en la que su ________ (la persona 1), tenga una dificultad importante para crear y mantener relaciones familiares.

PRUEBA P.15 DE INDAGACIÓN (“RELACIONES DE PAREJA”) •

GENERAL

P. 15. 1 ¿Qué significa esta pregunta para Vd. y por qué ha contestado así?

⇒ ESPECÍFICAS PARA QUIENES RESPONDAN DISTINTO DE “SIN DIFICULTAD” A LA PREGUNTA P.15 DEL CUESTIONARIO P. 15. 2 Vd. ha contestado que su _________ (Nombrar por el parentesco a la persona 1), tiene dificultad importante para crear y mantener relaciones sentimentales, de pareja o sexuales, cuénteme con sus propias palabras una situación en la que su ________ (la persona 1), tenga una dificultad importante para crear y mantener relaciones sentimentales y de pareja.

¡¡¡ HEMOS TERMINADO ¡!! GRACIAS POR SU COLABORACION SEGURO QUE SUS RESPUESTAS AYUDAN A MEJORAR EL CUESTIONARIO

134

135

CAPÍTULO V. ERRORES DE RESPUESTA EN UNA ESCALA PSICOLÓGICA

136

Errores de respuesta en una escala psicológica

1.

Introducción Las escalas psicológicas están siendo frecuentemente utilizadas en las encuestas, con

el fin de evaluar constructos psicológicos o de salud. Ejemplos de ello son, el Cuestionario General de Salud en la Encuesta Nacional de Salud, las escalas SF-12 en la Encuesta Europea de Salud, o el uso de grupos de ítems politómicos en diversas rondas de la Encuesta Social Europea. Este creciente uso de las escalas psicológicas en las encuestas suscita, al menos, dos cuestiones metodológicas importantes en cuanto al pretest de dichas escalas. En primer lugar, la pertinencia a la hora de aplicar análisis psicométricos en el contexto de la investigación por encuesta. En segundo lugar, la utilidad de los métodos de pretest, tales como la entrevista cognitiva y la codificación del comportamiento, en la evaluación de estas escalas. La base de estas dos discusiones metodológicas es la misma: la aportación y utilidad que pueden ofrecer cada método de evaluación de instrumentos, en un contexto muy distinto de aquel para el que fueron diseñados. Con respecto a la aplicación de evaluaciones psicométricas a escalas insertadas en las encuestas, se plantean una serie de problemas metodológicos evidentes. Por ejemplo, habría que resolver cómo llevar a cabo una evaluación psicométrica de la escala, dentro de la encuesta y junto al resto de cuestionarios que no miden atributos psicológicos. Imaginemos que la evaluación psicométrica se realiza en el estudio piloto. En esta situación, podría habere una confrontación de objetivos. Por una parte, los estudios pilotos suelen tener como objetivo el análisis de las distribuciones de respuestas de los entrevistados y las cargas de los entrevistadores; mientras que la evaluación psicométrica (basada en un paradigma estadístico “clásico” o en la “teoría de respuesta al ítem”) tendría como objetivo la identificación de ítems adecuados para la escala psicológica a través de sus características métricas. Una práctica mucho más común, es realizar la evaluación psicométrica de la escala de forma aislada o basándose en la información de evaluaciones psicométricas anteriores realizadas por otros investigadores, para justificar la calidad de la escala psicológica. Posteriormente insertarían la escala psicológica junto al resto de cuestionarios en la encuesta, asumiendo erróneamente que dicha escala psicológica mantendría sus propiedades métricas en un contexto muy diferente de aquel en el que fue evaluada.

137

Capítulo V De cualquier forma, la Psicometría presenta varias desventajas que restringen su uso en el contexto de la evaluación cuestionarios de encuestas. Por una parte, los análisis psicométricos son tremendamente dependientes de los datos cuantitativos que se obtienen una vez que se ha administrado la encuesta, por tanto, no es posible usar estos análisis psicométricos en fases previas del desarrollo de las preguntas (Willis, 2005). Por otra parte, la Psicometría esta más basada en las consecuencias de los errores de las encuestas que en las causas (Tourangeau, 2003). En relación a la segunda discusión metodológica, se ha demostrado ampliamente la utilidad de los métodos cognitivos en la optimización de la información obtenida en las encuestas (Willis, 2004; Conrad & Blair, 2004). Sin embargo, el problema es que los métodos cognitivos fueron desarrollados para evaluar preguntas individuales de los cuestionarios de las encuestas, preguntas individuales que cada una de ellas conforma una variable de medición, pero no para evaluar instrumentos de medición de atributos psicológicos en los que la variable está compuesta por todos los ítems del instrumento. Esta es una problemática que parece no haber sido resuelta aún por la comunidad científica, ya que a pesar del creciente interés en los aspectos cognitivos de los procesos de respuesta, tal y como se demostró en el Capítulo III, hay poca evidencia de estudios que hayan indagado en dichos aspectos cognitivos durante la evaluación de escalas psicológicas incluidas en encuestas (van der Veer, Ommundsen, Hak & Larsen, 2003). Ante este obstáculo, una posible solución es hipotetizar que los participantes desarrollan procesos de respuesta equivalentes cuando están contestando las preguntas de una encuesta y cuando están contestando los ítems de una escala psicológica. Equivalentes en el sentido de que estos procesos de respuesta son accesibles para los métodos cognitivos y, por tanto, permiten la identificación de los problemas con los ítems de las escalas psicológicas mediante ese acceso a los procesos de respuesta de los participantes. Por ejemplo, la teoría subyacente a la entrevista cognitiva parte del trabajo de Ericsson y Simon (1980). En este esquema teórico, el componente clave es que las personas pueden informar de forma precisa de los procesos de pensamientos a los que tienen acceso. Dichos procesos de pensamiento son aquellos que tienen lugar en la memoria a corto plazo, utilizando información proveniente de la memoria a largo plazo, de las memorias sensoriales o que ya se encontrara en la memoria a corto plazo (ver Capítulo II).

138

Errores de respuesta en una escala psicológica Siguiendo a Conrad y Blair (2009) en la medida en que estos procesos de pensamiento no sean automáticos, y requieran “realmente” de un procesamiento, los participantes podrán ofrecer información verbal de los mismos y, por tanto, serán susceptibles de indagación a través de los métodos cognitivos. En contraposición, en la medida en que sean automáticos, los participantes tendrán poco o nada que decir sobre estos procesos de pensamiento. Si se asumimos que los procesos de respuesta ante los ítems de las escalas psicológicas no son automáticos, podemos hipotetizar que a través de la entrevista cognitiva, al igual que se puede acceder a los procesos de pensamiento que desarrollan las personas mientras contestan las preguntas de una encuesta, también se podría acceder a los procesos de pensamiento que desarrollan mientras contestan a los ítems de una escala psicológica. Miller en el 2007 afirmó que la entrevista cognitiva es el método más útil para investigar cómo funcionan las preguntas de las encuestas en los entrevistados. El método de la entrevista cognitiva proporciona información sobre la compresión de conceptos en las preguntas, fallos en la recuperación de información, errores en el texto de las preguntas, etc. Este tipo de información tan útil en la evaluación de las preguntas de los cuestionarios de las encuestas, también puede ser tremendamente útil en la evaluación de los ítems de las escalas psicológicas incluidas en las encuestas. El método de la codificación del comportamiento, al contrario que la entrevista cognitiva, se podría aplicar a la evaluación de las escalas psicológicas, a priori, sin ningún problema. No habría que hipotetizar que los procesos de respuesta sean equivalentes a los procesos de respuesta en los cuestionarios. Este método puede identificar desviaciones de las secuencias “ideales” (paradigmáticas), con cierta independencia del tipo de pregunta que se haya realizado. La categorización de cada tipo de secuencia, durante la interacción entre el entrevistado y el entrevistador, se puede llevar a cabo tanto en la evaluación de las preguntas de cuestionarios insertados en las encuestas, como en la evaluación de las preguntas de las escalas psicológicas insertadas en las encuestas; obteniendo, de este modo, información sobre cómo las desviaciones a la secuencia ideal de conductas puede afectar a la calidad de los datos de la escala psicológica. Por último, hay que mencionar que un método de pretest, como la entrevista cognitiva, puede jugar un papel crucial en respuesta a la demanda actual sobre la realización de análisis empíricos y teóricos de los procesos de respuesta, con el fin de obtener evidencias de validez 139

Capítulo V sobre el ajuste entre el constructo que se supone mide el test o el cuestionario y las respuestas dadas por los participantes. Esta demanda está claramente reflejada en los Standards for Educational and Psychological Testing (APA, AERA, NCME, 1999). De acuerdo con los Standards for Educational and Psychological Testing (APA et al., 1999): “la evaluación de las estrategias de ejecución, o estrategias de respuesta de los encuestados a las preguntas, puede ofrecer evidencia que enriquezca la definición del constructo, y estas evidencias de validez basadas en los procesos de respuesta generalmente provienen del análisis de las respuestas individuales” (p. 12). La entrevista cognitiva puede ser de gran utilidad a la hora de obtener información de las estrategias de respuesta de los encuestados y, por tanto, ofrecer información sobre el ajuste entre el constructo y las respuestas de los participantes. En base a todo lo anteriormente escrito, el presente estudio tiene dos objetivos principales. Por una parte, mostrar cómo la entrevista cognitiva y la codificación del comportamiento también puede ser utilizados en el pretest de las escalas psicológicas incluidas en los cuestionarios de las encuestas. Por otra parte, mostrar la utilidad de la entrevista cognitiva para la obtención de evidencias de validez de los procesos de respuesta de estas escalas psicológicas. La consecución de sendos objetivos se va a implementar en el marco del pretest de la escala psicológica de Percepción de la Función Familiar (APGAR) insertada en una encuesta de salud.

2. Método

2.1.

Participantes En este estudio participaron 21 personas, 10 hombres y 11 mujeres con edades

comprendidas entre 20 y 67 años. Se seleccionarion potenciales participantes que podrían ser entrevistados para la encuesta de salud, en la que fue insertada la escala psicológica APGAR. Las variables de distribución que se tuvieron en cuenta en la selección de participantes fueron las siguientes: a) equivalente distribución de genero; b) rango de edad entre 18-70 años; c) equivalente distribución del estado civil; d) equivalente distribución del nivel de estudios y e) tipo de vivienda, a saber, participantes en vivienda uni-personal (personas que viven solas) y

140

Errores de respuesta en una escala psicológica vivienda multi-personal. La Tabla V.1 ofrece la distribución de valores de las variables nivel de estudios y tipo de vivienda. Tabla V. 1. Características de los Participantes Tipo de Vivienda

Nivel de Estudios Básico

Medio

Superior

Total

Unipersonal

3

3

3

9

Multipersonal

6

3

3

12

Total

9

6

6

21

Es necesario resaltar que la razón de la utilización de la variable “tipo de vivienda” se basó en la temática de la escala APGAR y en la validez de la información proporcionada por participantes provenientes de ambos tipos de viviendas. La escala APGAR tiene como objetivo medir el apoyo emocional que las personas reciben de su familia. De este modo, el tipo de información que ofrecen las personas que vivan solas podría ser muy distinta de aquellas personas que conviven con su familia; es decir, era indispensable tener en cuenta la variable tipo de vivienda ya que podría constituir una diferencia en los procesos de respuesta de los participantes. La captación de los participantes fue realizada mediante el procedimiento de “bola de nieve”, a través de los contactos de miembros del equipo de investigación de la Universidad de Granada. Los participantes eran completamente informados sobre el objetivo del estudio, el procedimiento de las entrevistas y su función. A todos ellos se les informó sobre el objetivo del estudio y se les garantizó la confidencialidad de los datos. Se tuvo especial cuidado en que las personas seleccionadas no hubiesen participado es estudios con estos métodos de pretest de cuestionarios. Por último, en todos los casos era indispensable poseer un nivel funcional de español para participar, y las personas seleccionadas recibieron una gratificación de 20€ como compensación por gastos de transporte, tiempo empleado en la entrevista, etc.

141

Capítulo V 2.1.

Materiales Los dos instrumentos utilizados en el estudio fueron, por una parte, la escala

psicológica a ser evaluada y, por otra parte, la guía de la entrevista; es decir, la escala APGAR y el Protocolo de Entrevista.

La escala APGAR La escala APGAR fue diseñada por Smilkestein en 1978 para evaluar la percepción de los miembros de la familia sobre el apoyo familiar, examinando su satisfacción con las relaciones familiares. Esta escala psicológica ha sido incluida en las prácticas clínicas por médicos de familia, como una herramienta útil para obtener información sobre la situación familiar y su posible papel en el origen y solución de conflictos (Bellón, Delgado, Lunay y Lardelli, 1996). La escala APGAR es una técnica rápida y sencilla que sirve para explorar la función familiar evaluando 5 componentes: adaptabilidad (adaptability), cooperación (partnertship), desarrollo (growth), afectividad (affection) y capacidad resolutiva (resolve) (Smilkstein, 1978). Se compone de cinco ítems con tres alternativas de respuesta (p. ej. “¿Esta satisfecho con la ayuda que recibe de su familia cuando tiene un problema? Casi Nunca, A Veces o Casi Siempre”, ver Anexo). Su traducción al español se llevó a cabo mediante el método de traducción inversa. El valor de Alpha de Cronbach de las respuestas de la escala APGAR en los estudios que se ha utilizado se sitúa alrededor de .84, así como, los análisis factoriales aplicados muestran una solución de un solo factor (Bellón et al., 1996). Es importante resaltar que toda esta información de las propiedades métricas de la escala se circunscribe a su uso en prácticas clínicas. Una vez que la escala APGAR ha sido introducida junto a una serie de cuestionarios, para conformar una encuesta de salud, cambia considerablemente su contexto de aplicación. Estas propiedades métricas dejan de tener validez en la medida en que el nuevo contexto de medición es muy distinto de aquel en el que se llevaron a cabo las evaluaciones de la calidad de los datos. De este modo, se hace aún más necesaria una nueva evaluación de la escala.

142

Errores de respuesta en una escala psicológica Protocolo de Entrevista El protocolo de entrevista es la guía para la entrevista cognitiva. Este material incluye información y descripción del objetivo de la entrevista cognitiva y las pruebas a aplicar, las instrucciones que se le deben dar al participante al comenzar la entrevista cognitiva y las pruebas de indagación. En la siguiente figura se muestra un ejemplo de dos preguntas target y varias pruebas de indagación. En el Anexo se incluye el protocolo completo de la entrevista cognitiva utilizado en este estudio.

Figura V. 1. Ejemplo de Pregunta Target y Pruebas de Indagación 1. ¿Está satisfecho con la ayuda que recibe de su familia cuanto tiene un problema? … 5. ¿Siente que su familia le quiere?

Pruebas de Indagación

Pregunta General: ƒ Por favor, cuénteme en qué ha pensado mientras respondía a estas preguntas sobre apoyo afectivo y su percepción de la función de la familia Preguntas Específicas: ƒ ¿Cuántas personas forman su familia más cercana? ƒ ¿Con qué personas de su familia tiene un contacto frecuente? ƒ ¿Qué entiende Vd. por “recibir ayuda de la familia cuando se tiene un problema”?

2.2. Procedimiento En este estudio se decidió seguir el paradigma probing based de aplicación de la entrevista cognitiva, descartando la utilización del paradigma think-aloud en todo momento. En el método think-aloud durante la administración de las preguntas se incita al entrevistado a que verbalice los pensamientos que van sucediendo en su mente mientras responde a dichas 143

Capítulo V preguntas. Esta situación, en la que el entrevistado está respondiendo y a la vez va hablando sobre todo lo que se le va pasando por la cabeza, dificultaría enormemente la aplicación de la codificación del comportamiento, ya que impediría por completo que sucedieran las secuencias ideales (paradigmáticas) de comportamiento. La utilización de la codificación del comportamiento hace necesario que la administración de todas las preguntas de la escala se haga en las mismas condiciones que ocurrirían en la administración real de la encuesta, evitando cualquier tipo de interrupción. Del mismo modo, y de nuevo con el fin de evitar interrupciones en las secuencias de comportamiento entre el entrevistador y el entrevistado, una vez decidido que se aplicaría el paradigma probing based también se decidió que sería de acuerdo a un diseño retrospectivo. Es decir, en primer lugar se administró por completo la escala APGAR y tras la última respuesta del participante al último ítem de la escala comenzaron a aplicarse las diversas pruebas de indagación. Todas las entrevistas se llevaron a cabo de forma individual por dos entrevistadores (una mujer y un hombre) entrenados y con gran experiencia en la realización de entrevistas cognitivas. Las entrevistas se grabaron en audio y vídeo tras el consentimiento de los participantes, y tuvieron lugar en un laboratorio cognitivo equipado de un sistema de grabación y digitalización de audio y vídeo en la Facultad de Psicología de la Universidad de Granada.

2.3.

Esquemas de Análisis

Codificación del Comportamiento Existen diferentes esquemas de análisis de las secuencias de conductas que ocurren durante la interacción entre el entrevistador y el entrevistado. En este estudio nos hemos basado en el esquema de codificación establecido por Oksenberg, Cannell y Kalton (1991), por dos razones fundamentales: (a) responde a los objetivos del presente estudio y (b) ha sido el esquema de análisis más frecuentemente usado por los profesionales del área. La Tabla V. 2 especifica los tipos de secuencia, los códigos asignados y la conducta que corresponde a cada código y a cada secuencia.

144

Errores de respuesta en una escala psicológica Tabla V. 2. Esquema de Análisis de la Codificación del Comportamiento Secuencia

Código

Paradigmática

R. Adecuada R. No Ajustada

Problemática No Paradigmática No Problemática

R. Inválida

Conducta La respuesta se ajusta al objetivo de la pregunta (secuencia ideal) La respuesta es adecuada pero no coincide con ninguna de las alternativas ofrecidas La respuesta no está relacionada con la pregunta

R. No se

El entrevistado no sabe la respuesta

R. Limitada

La respuesta indica duda o incertidumbre

Interrupción Aclaración

El entrevistado interrumpe la lectura de la pregunta El entrevistado solicita una aclaración

En este estudio se han considerado como secuencias “no paradigmáticas” y a su vez “problemáticas” las respuestas no ajustadas, las respuestas inválidas, las respuestas no se y las respuestas limitadas. Se decidió que tanto las interrupciones como las aclaraciones serían codificadas como conductas “no problemáticas”. El análisis de la codificación del comportamiento se llevó a cabo utilizando el programa Sequence Viewer versión 4.4.a (Dijkstra, 2008). Este programa, usando las transcripciones de las entrevistas, clasifica las conductas en base al esquema de análisis especificado. Tras la clasificación, se obtiene un análisis de frecuencias de los códigos y, por tanto, de la ocurrencia de cada tipo de secuencia (paradigmática, no-paradigmática problemática y no-paradigmática no problemática).

Entrevista Cognitiva Los autores de la encuesta de salud, en la que fue insertada la escala APGAR, establecieron las interpretaciones previstas para las mediciones aportadas por dicha escala. Estas son: a) los encuestados deberían mantener en mente un concepto constante de “familia”

145

Capítulo V mientras responden a todos los ítems de la escala, y b) la interpretación prevista para el concepto “familia” es aquella que incluye a las personas con las que se convive, es decir, las respuestas de los entrevistados a los ítems del APGAR sólo debían tener en cuenta e incluir a aquellas personas con las que conviven los entrevistados. De este modo el esquema de análisis de las entrevistas cognitivas estaba totalmente enfocado a la obtención de evidencias de validez de estas interpretaciones previstas y, por consiguiente, a la identificación de los potenciales errores de respuesta de la escala APGAR. Mediante una revisión de expertos se identificaron las fuentes potenciales de error de la escala APGAR que podrían cuestionar las interpretaciones previstas. Así como, basándonos en el paradigma probing based, se desarrollaron las pruebas de indagación necesarias para obtener evidencias de validez del ajuste entre el constructo y las estrategias de respuesta de los participantes. La Tabla V. 3 muestra las fuentes potenciales de error, las interpretaciones previstas de la escala APGAR y las pruebas designadas para indagar sobre la presencia de dichos errores. Las potenciales fuentes de error identificadas por los expertos son: conceptos clave como “familia”, “recibir ayuda de la familia” o “tomar decisiones juntos”; la capacidad de los entrevistados para graduar su respuesta y, por tanto, ajustarla al sistema politómico de respuesta de la escala; la compresión del objetivo de medición de la escala y la aceptación del rol como entrevistado. El esquema de análisis de los datos de la entrevista cognitiva simplemente consistió en comprobar, gracias a la aplicación de las distintas pruebas, si los entrevistados llevaban a cabo en sus procesos de respuesta las interpretaciones previstas para cada una de las fuentes potenciales de error y, en el caso de que no lo hicieran, cuáles eran sus interpretaciones. El análisis de los datos de las entrevistas cognitivas se llevó a cabo utilizando el programa AQUAD, versión 6.8 (Huber, 2008). Dicho programa facilita la identificación de patrones de respuesta de los entrevistados mediante el uso de códigos y anotaciones tanto en las transcripciones en texto como mediante los archivos de vídeo de las entrevistas. En este estudio el programa AQUAD se utilizó para asignar códigos a los informes verbales de los participantes ante las pruebas de indagación. Para cada una de las pruebas de indagación se asignaba un código que reflejaba si se llevaba a cabo la interpretación prevista para la fuente 146

Errores de respuesta en una escala psicológica potencial de error y, si no era así, qué interpretación tenía lugar. Mediante esta asignación de códigos a esas porciones de entrevistas en los que los participantes respondían a las pruebas de indagación y, por tanto, ofrecían información sobre las fuentes potenciales de error, se pudo extraer los patrones de respuesta de los participantes en el estudio.

Tabla V. 3. Esquema de Análisis de la Entrevista Cognitiva Fuentes Potenciales de

Interpretación Prevista

Pruebas de Indagación

Error Se refiere a las personas con las que

¿Cuántas personas forman tu familia más

convive

cercana?

Menciona problemas, situaciones o

¿Qué has entendido por “recibir ayuda de la

Recibir ayuda de la

eventos específicos

familia cuando tiene un problema”?

familia

Se refiere a las personas con las que

¿De qué miembros de su familia recibe

convive

ayuda cuando tiene un problema?

Concepto de Familia

Menciona problemas, situaciones o Tomar

olinómic

importantes juntos

eventos específicos

Dime, con tus propias palabras, ejemplos de decisiones que se tomen en conjunto en la casa

Se refiere a las personas con las que

¿Qué miembros de su familia toman en

convive aunque no sea a todos

conjunto esas decisiones? En la pregunta, ‘¿siente que su familia le

Graduación

de

las

respuestas

Capaz de ajustar y graduar la

quiere?’ ha contestado ‘…’. ¿En qué

respuesta a un sistema politómico

situación contestaría ‘(alternativa superior o inferior a la respuesta dada)’?

Función del objetivo

Comprende el objetivo de medición

¿Cuál cree que es el objetivo de estas

de la pregunta

de las preguntas

preguntas sobre su familia?

Perspectiva y rol del entrevistado

3.

¿Cómo se ha sentido respondiendo a estas

No expresa malestar

preguntas sobre su familia?

Resultados Los resultados del estudio se presentan divididos en función de las evidencias

aportadas por cada uno de los métodos de pretest utilizados.

147

Capítulo V 3.1.

Codificación del Comportamiento En primer lugar, el porcentaje de secuencias paradigmáticas durante la

administración de la escala APGAR es del 48.5% mientras que el de secuencias no paradigmáticas es del 51.5%, componiéndose estas últimas de problemáticas en un 41.2% y no problemáticas en un 10.3%. Es necesario apuntar que el porcentaje total de estas secuencias no paradigmáticas se sitúa por debajo del 60%, un criterio frecuentemente usado para designar problemas con el funcionamiento de las preguntas (van der Zouwen & Dijkstra, 2002). La Tabla V. 4 expone los resultados por cada ítem de la escala. Tabla V. 4. Porcentaje de los códigos Item de la Escala APGAR

Tipo de Código

Item 1

Item 2

Item 3

Item 4

Item 5

R. Adecuada

66.67

80.95

47.62

76.47

76.47

R. No Ajustada

33.33

14.29

47.62

17.65

17.65

R. Inválida

9.52

0

4.76

11.76

5.88

R. No se

0

0

0

5.88

0

R. Limitada

0

4.76

4.76

0

0

Interrupción

9.52

0

9.52

0

0

Aclaración

14.29

9.52

0

0

0

Los datos de la Tabla V. 4 muestran tres principales resultados. En primer lugar, el porcentaje de respuestas adecuadas es muy alto en los ítems 2, 4 y 5; lo que indica un buen ajuste de la respuesta y el comportamiento del entrevistado a dichas preguntas. En segundo lugar, los ítems 1 y 3 tienen el porcentaje más reducido de respuestas adecuadas; esta falta de ajuste del comportamiento del entrevistado se corresponde con una ocurrencia mayor de respuestas no ajustadas, sobre todo para el ítem 3, y en la aparición de interrupciones durante la lectura de las preguntas. Es decir, para los ítems 1 y 3 existe un considerable número de veces en los que el entrevistado está ofreciendo una respuesta adecuada al objetivo de la pregunta pero que no coincide con ninguna de las respuestas previamente establecidas y, a su vez, responde interrumpiendo la lectura de la pregunta o antes de que el entrevistador lea las alternativas de respuesta. En tercer lugar, con respecto al resto de códigos, es destacable la aparición de aclaraciones en los ítems 1 y 2, implicando que una vez resultas y aclaradas las dudas en el comienzo de la escala no se volvieron a repetir. 148

Errores de respuesta en una escala psicológica Con el fin de ilustrar las causas del mayor porcentaje de respuestas no ajustadas en el ítem 1 y 3, se inserta un ejemplo del tipo de interacciones que principalmente han ocurrido durante la administración de dichos ítems.

Ejemplo V. 1. Respuesta No Ajustada ƒ

Entrevistador: “¿Las decisiones importantes se toman en conjunto en la casa? Casi Nunca, A Veces o Casi Siempre”

ƒ

Entrevistado: “Sí”

Durante la administración de la escala APGAR, para todos los ítems de la misma, existió un considerable porcentaje de respuestas no ajustadas, que consistieron en respuesta “Sí” o “No”. Este porcentaje fue aún mayor para los ítems 1 y 3. Esto pudo deberse a que el texto de los ítems de la escala se basa en oraciones interrogativas simples o totales, en las que la respuesta común es “Sí” o “No” y, por ello, los sujetos tienden “naturalmente” a ofrecer estas respuestas en lugar de elegir una de las alternativas previstas. Por último, en relación a la variable tipo de vivienda (uni-personal vs. multi-personal) la Tabla V. 5 expone los principales resultados de la codificación del comportamiento. Tabla V. 5. Porcentaje de Secuencias por Tipo de Vivienda Tipo de Secuencia Paradigmática

Tipo de Vivienda

Total Secuencia

Uni-personal

Multi-personal

51.35

46.67

48.45

No

Problemática

10.81

10.00

10.31

Paradigmática

No Problemática

37.84

43.33

41.24

100

100

100

Total

El patrón de distribución de porcentajes de secuencias en los dos tipos de hogares es idéntico. En los dos tipos de hogares, por una parte, existe un mayor número de secuencias paradigmáticas que de no paradigmáticas; y por otra parte, dentro de las secuencias no

149

Capítulo V paradigmáticas el porcentaje mayor corresponde a aquellas no problemáticas. Sólo existe una ligera diferencia en la que los participantes que viven en hogares multi-personales ofrecen un mayor número de secuencias no problemáticas.

3.2.

Entrevista Cognitiva Los resultados de la entrevista cognitiva se han dividido en tres secciones para facilitar

la comprensión de los datos de la entrevista cognitiva. En primer lugar, se expondrá las interpretaciones generales que han sido extraídas de los informes verbales de los participantes. En segundo lugar, se mostrarán los resultados obtenidos sobre la interpretación de conceptos claves en el texto de los ítems, sobre la función y objetivo de la pregunta, y sobre la perspectiva y rol del entrevistado. En tercer lugar, se ilustran las evidencias obtenidas acerca de la capacidad de los participantes para graduar sus respuestas.

Interpretaciones Generales El análisis de las respuestas de los entrevistados a las pruebas generales de indagación mostró que dichos entrevistados habían pensado, durante la administración de la escala APGAR, en diversas situaciones con su familia, en las relaciones dentro de la familia, en los miembros de la misma, en problemas (accidentes, problemas laborales, etc.) en los que recibieron ayuda de su familia, etc. En el Ejemplo V. 2 se muestran algunos extractos de transcripciones. Estos informes verbales evidencian dos resultados principales. En primer lugar, desde un punto de vista metodológico, las transcripciones corroboran la hipótesis de que se puede acceder a los procesos de respuesta de los participantes ante los ítems de la escala a través de la entrevista cognitiva. Los participantes están ofreciendo información sobre sus procesos de respuesta, de modo que, la entrevista cognitiva es útil para evaluar este tipo de ítems. En segundo lugar, los informes verbales ilustran que los participantes, en términos generales, han comprendido la temática del texto de los ítems e incluso comienzan a ofrecer información

150

Errores de respuesta en una escala psicológica sobre la interpretación de algunos conceptos clave en el texto de los ítems, como es el caso del tercer entrevistado.

Ejemplo V. 2. Interpretaciones Generales ƒ ƒ

ƒ ƒ

ƒ ƒ

Entrevistador: “Por favor, dígame en que ha pensado mientras respondía a estas preguntas sobre apoyo afectivo” Entrevistado: “Mayormente he pensado después de mi accidente. Antes del accidente teníamos una buena relación familiar pero después, fue mucho mejor. Para mi es como si me hubiera tocado la lotería con mi familia, ellos me dan una ayuda incondicional…” Entrevistador: “Por favor, dígame en que ha pensado mientras respondía a estas preguntas sobre apoyo afectivo” Entrevistado: “Bueno…pues no se, estaba pensando en mi situación familiar…mi hijo mayor esta casado y nos visita todos los sábados, el menor se va a casar este viernes…somos una familia unida…intentamos mantenernos en contacto…” Entrevistador: “Por favor, dígame en que ha pensado mientras respondía a estas preguntas sobre apoyo afectivo” Entrevistado: “…para mi la familia es un valor muy importante, tienes que ayudar a todos, tus hermanos, tus hermanas, padres, abuelos…la familia es algo importante…”

Informes verbales sobre conceptos claves, objetivo y rol del entrevistado En primer lugar, con respecto a la interpretación prevista para el concepto de “familia”, los análisis de los informes verbales han mostrado que los participantes mantienen el concepto de familia constante a lo largo de las respuestas de la escala. Sin embargo, llevan a cabo una interpretación del concepto distinta a la que previamente se había establecido. Es decir, los participantes incluyen en su concepto de familia no sólo a las personas con las que conviven sino que también incluyen a otros parientes e incluso amigos. Este efecto es mucho mayor en los participantes provenientes de hogares uni-personales. Los siguientes extractos de transcripciones son ejemplos de esta situación.

151

Capítulo V Ejemplo V. 3. Concepto de Familia en Participantes Uni-personales ƒ ƒ ƒ ƒ

ƒ ƒ ƒ ƒ

Entrevistador: “¿Cuántas personas forman tu familia más cercana?” Entrevistado: “Tres hermanos, tres nietos y tres abuelos” Entrevistador: “¿Cuántas personas forman tu familia más cercana?” Entrevistado: “Somos siete, y 4 sobrinos…once, y contando los maridos y mujeres, somos entonces catorce” Entrevistador: “¿Cuántas personas forman tu familia más cercana?” Entrevistado: “cuatro o cinco” Entrevistador: “¿y quienes son?” Entrevistado: “Mis amigos: Diego, Tomás, Jimena, Claudia y Fernanda”

En segundo lugar, con respecto a los conceptos “recibir ayuda de la familia” o “tomar decisiones juntos”, el discurso de los participantes demostró que sus procesos de respuesta coincidían con las interpretaciones previstas para cada uno de estos conceptos. Los participantes mencionaron problemas en los que habían recibido apoyo familiar o situaciones específicas en las que se tomaron decisiones en conjunto en la familia. En tercer lugar, en relación a la compresión del objetivo de medición de la escala y la aceptación del rol como entrevistado, los participantes comprendieron el objetivo de medición de la escala y mostraron haberse sentido muy cómodos contestando a los ítems de la escala. En el Ejemplo V. 4 se pueden apreciar algunos de estos informes verbales. Aunque cada participante aportó su idiosincrasia al explicar cuál creía que era el objetivo de los ítems de la escala APGAR, mantuvieron una interpretación común y que coincidía con el objetivo real de la escala. Este es, conocer el apoyo afectivo recibido desde la familia. A su vez, como muestran las transcripciones, los participantes asumieron sin ningún problema el rol de entrevistado.

152

Errores de respuesta en una escala psicológica Ejemplo V. 4. Compresión del Objetivo y Rol del Entrevistado ƒ ƒ ƒ ƒ ƒ ƒ

ƒ ƒ

Entrevistador: “¿Cuál cree que es el objetivo de estas preguntas sobre su familia?” Entrevistado: “Pues tal vez para ver hasta qué punto influye la familia en el estado de ánimo de un paciente que esté enfermo, o en el tratamiento que pueda llevar…” Entrevistador: “¿Cómo se ha sentido respondiendo a estas preguntas sobre su familia?” Entrevistado: “Bien” Entrevistador: “¿Cuál cree que es el objetivo de estas preguntas sobre su familia?” Entrevistado: “Pues para captar mi ámbito familiar, mis relaciones con mis padres, si tengo algún problema, si se preocupan en general, y si me ayudan a mi con los problemas -aunque sean pequeños-, pero si me ayudan, es importante” Entrevistador: “¿Cómo se ha sentido respondiendo a estas preguntas sobre su familia?” Entrevistado: “Muy bien. Nos llevamos muy bien todos, no hay ningún problema”

Informes verbales sobre la graduación de las respuestas Por último, dado los resultados hallados en la codificación del comportamiento sobre el desajuste entre las respuestas de los participantes y el sistema de respuesta establecido, queremos resaltar las evidencias obtenidas desde la entrevista cognitiva sobre la capacidad de los entrevistados para graduar su respuesta y, por tanto, ajustarla al sistema politómico de respuesta. El Ejemplo V. 5. ilustra los hallazgos con extractos de transcripciones. Tal y como puede observarse, los participantes son perfectamente capaces de graduar su respuesta en lo que se refiere al apoyo familiar y sentimientos recibidos desde su familia, y ajustar dichas respuestas a un sistema politómico de respuestas. Este hallazgo, al contrario de como se podría pensar, no se contradice con los resultados de la codificación del comportamiento, sino que los complementa.

153

Capítulo V Ejemplo V. 5. Capacidad de Graduación de las Respuestas ƒ ƒ

ƒ ƒ

Entrevistador: “En la pregunta, ‘siente que su familia le quiere’, ha contestado ‘casi siempre’, ¿en que situaciones contestaría ‘a veces’?” Entrevistado: “Pues hubiese tenido que pasar, que pasen de mi, que no mostrasen interés en mi o que hubiera una ruptura muy fuerte. Algo así” Entrevistador: “En la pregunta, ‘siente que su familia le quiere’, ha contestado ‘casi siempre’, ¿en que situaciones contestaría ‘casi nunca’?” Entrevistado: “Pues pasar tres días fuera de casa sin avisar, y que ni te llamen ni se preocupen por ti, ni nada; eso seria un síntoma de que no les importas para nada, y no se preocupan por ti. Y si no se preocupan por ti, pues…no te quiere, supongo”.

Desde la codificación del comportamiento, se identificó la dificultad para que los participantes se ajustaran a un sistema politómico de respuestas. Se propuso que el problema podría estar en haber asociado respuestas múltiples a oraciones interrogativas simples o totales cuya respuesta “natural” es “Sí” o “No”. Por su parte, desde la entrevista cognitiva se ha comprobado que los participantes pueden graduar el concepto de apoyo familiar y variar sus respuestas de acuerdo a un mayor o menor apoyo familiar recibido, corroborando y concluyendo que la problemática del desajuste encontrada en la codificación del comportamiento no reside en la capacidad de los participantes sino en el texto de los ítems de la escala.

4.

Discusión Los objetivos del presente estudio fueron, por una parte, mostrar cómo la entrevista

cognitiva y la codificación del comportamiento también puede ser utilizados en el pretest de las escalas psicológicas incluidas en las encuestas contribuyendo a la optimización de la calidad de la información obtenida por dichas escalas, y, por otra parte, mostrar la utilidad de la entrevista cognitiva para la obtención de evidencias de validez de los procesos de respuesta

154

Errores de respuesta en una escala psicológica de estas escalas psicológicas. Ambos objetivos se han alcanzado en el marco del pretest cognitivo de la escala psicológica APGAR incluida en una encuesta de salud. Desde la codificación del comportamiento se encontró una adecuada distribución de secuencias de interacción entre el entrevistador y el entrevistado, siendo el número de secuencias no paradigmáticas menor del 60%, un criterio frecuentemente usado para designar problemas y revisión de las preguntas (van der Zouwen & Dijkstra, 2002). Por otra parte, también se identificó un alto porcentaje de conductas problemáticas de los participantes, en las que sus respuestas no coincidían con las opciones de respuesta previamente establecidas en la escala APGAR. Desde el método de la entrevista cognitiva, principalmente, se han obtenido evidencias de que la interpretación prevista para el concepto de “familia” no coincide con la que llevan a cabo los entrevistados. Los entrevistados no sólo incluyen en su concepto de familia a las personas con las que conviven sino que además incluyen a otros parientes cercanos e incluso a amigos. Con respecto al resto de las potenciales fuentes de error, los datos han mostrado que los participantes llevan a cabo las interpretaciones previstas, tales como, mencionar problemas en los que habían recibido apoyo familiar o situaciones específicas en las que se tomaron decisiones en conjunto en la familia, comprenden el objetivo de medición de la escala y muestran haberse sentido muy cómodos contestando a las preguntas de la escala. A su vez son capaces de graduar la percepción de apoyo familiar de acuerdo a un sistema politómico de respuestas, corroborando con ello que las conductas problemáticas halladas en la codificación del comportamiento se deben a la introducción de un sistema múltiple de respuestas en oraciones interrogativas simples o totales. Desde un punto de vista metodológico este estudio ha ilustrado cómo dos métodos de pretest, tales como la codificación del comportamiento y la entrevista cognitiva, diseñados y utilizados para la evaluación de los cuestionarios insertados en las encuestas también pueden ser usados en el pretest de escalas psicológicas incluidas en encuestas. En relación a la entrevista cognitiva, el estudio ha expuesto la utilidad de la entrevista cognitiva para obtener evidencias de validez de los procesos de respuesta de los participantes, consiguiendo con ello un mayor ajuste entre el constructo que se quiere medir y las estrategias de respuesta que llevan a cabo los participantes durante la medición de dicho constructo. De forma paralela este estudio ha corroborado la hipótesis previa sobre la posibilidad de acceder a los procesos de respuesta implicados en los ítems de una escala psicológica mediante la entrevista cognitiva. Los informes verbales de los participantes ante la pregunta general de indagación 155

Capítulo V han puesto de manifiesto que los participantes son capaces de hablar sobre esos procesos de pensamiento que han tenido lugar en sus memorias a corto plazo. Con ello, se ha solventado una de las mayores problemáticas de la entrevista cognitiva que establecieron Conrad y Blair (2009). Este uso conjunto de ambos métodos de pretest muestra la riqueza y utilidad de la información obtenida durante el pretest no sólo para detectar problemas con el funcionamiento de los ítems sino también para comprender la naturaleza de dichos problemas (Willis, DeMaio & Harris-Kojetin, 1999). De hecho, podemos establecer una propuesta sobre la relación entre ambos métodos: a) Las conductas problemáticas identificadas mediante la codificación del comportamiento pueden estar apuntando a problemas con los procesos de respuesta de los entrevistados, susceptibles de ser investigados mediante la entrevista cognitiva. b) La falta de resultados problemáticos durante el análisis de la interacción entre el entrevistador y el entrevistado no garantiza que los entrevistados comprendan las preguntas de acuerdo a la interpretación prevista para las mismas y ofrezcan respuestas basadas en el objetivo de medición de dichas preguntas. A pesar de que es fácilmente asumible que los participantes desarrollen similares procesos de respuesta mientras contestan a preguntas de cuestionarios y preguntas de escalas psicológicas, los métodos de pretest son muy escasamente aplicados a la evaluación de dichas escalas. Esta situación se debe a la errónea creencia de que las propiedades métricas son inherentes a las escalas psicológicas, dando la validez de sus mediciones por sentado, y asumiendo que dichas propiedades métricas no van a variar una vez que se ha cambiado por completo el contexto de medición y, por tanto, de aplicación de dicha escala. Desde esta perspectiva, los profesionales de la investigación por encuesta pueden hacer valiosas contribuciones para cambiar esta errónea concepción establecida (Willis, 2005) Este último capítulo ha demostrado una nueva aplicación de los métodos de pretest en la evaluación de una escala psicológica insertada en una encuesta y de la entrevista cognitiva 156

Errores de respuesta en una escala psicológica como método para obtener evidencias de validez de los procesos de respuesta a los ítems de dicha escala psicológica. Una vez más se expone cómo la aplicación de los métodos de pretest permiten la identificación de errores de respuesta que los entrevistados pueden cometer y cómo están interpretando las preguntas (DeMaio & Rothgeb, 1996; Harris-Kojetin, Fowler & Brown, 1999; Nápoles-Springer, Santoyo- Olsson, O´Brien & Stewart, 2006).

5.

Referencias

American Psychological Association, American Educational Research Association & National Council on Measurement in Education. (1999). Standards for Educational and Psychological Testing. Washington, D.C.: American Psychological Association. Bellón, J. A., Delgado, J., Luna, P. & Lardelli, P. (1996). Validez y fiabilidad del cuestionario de función familiar Apgar-familiar. Atención Primaria, 18, 289-296. Conrad, F.G. & Blair, J. (2004). Data Quality in Cognitive Interviews: The Case of Verbal Reports. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 67-87). Nueva Jersey: John Wiley & Sons. Conrad, F.G. & Blair, J. (2009). Sources of error in cognitive interviews. Public Opinion Quarterly, 77, 32-55. DeMaio, T.J. & Rothgeb, J.M. (1996). Cognitive interviewing techniques: in the lab and in the field. En N. Schwarz & S. Sudman (Eds.), Answering Questions. Methodology for Determining Cognitive and Communicative Processes in Survey Research. (pp. 177-196). San

Francsico: Jossey-Bass. Dijkstra, W. (2008). Sequence Viewer (version 4.4a). Free University of Amsterdam, Netherlands.

157

Capítulo V Ericsson, K.A. & Simon, H.A. (1980). Verbal reports as data. Psychological Review, 87, 215251. Harris-Kojetin, L.D., Fowler, F.J. & Brown, J.A. (1999). The use of cognitive testing to develop and evaluate CAHPS 1.0 core survey items. Consumer Assessment of Health Plans Study. Medical Care, 37, 10–21. Huber, G.L. (2008). AQUAD El Programa para Analizar Datos Cualitativos (versión 6.8.1.1). Universidad de Tübingen, Alemania: Ingeborg Huber Verlag. Miller, K. (2007). Design and Analysis of Cognitive Interviews for Cross-National Testing. Paper presentado en el European Survey Research Association Conference, Junio, Praga. Nápoles-Springer, A.M., Santoyo-Olsson, J., O´Brien, H. & Stewart, A.L. (2006). Using cognitive interviews to develop surveys in diverse populations. Medical Care, 44, 21-30. Oksenberg, L., Cannell, C. & Kalton, G. (1991). New Strategies for Pretesting Survey Questions. Journal of Official Statistics, 7, 349-365. Smilkstein, G. (1978). The Family APGAR: A proposal for family function test and its use by physicians. Journal of Family Practice, 6, 1231-1239. Tourangeau, R. (2003). Cognitive Aspects of Survey Measurement and Mismeasurement. International Journal of Public Opinion Research, 15, 3-7. Van der Veer, K., Ommundsen, R., Hak, T. & Larsen, K.S. (2003). Meaning Shift of Items in Different Language Versions. A Cross-National Validation Study of the Illegal Aliens Scale. Quality and Quantity, 37, 193-206. Van der Zouwen, J. & Dijkstra, W. (2002). Testing Questionnaires Using Interaction Coding. En D.W. Maynard, H. Houtkoop-Steenstra, N.C. Schaeffer & J. Van der Zouwen (Eds.), Standardization and Tacit Knowledge: Interaction and Practice in the Survey Interview (pp. 427-447). Nueva York: John Wiley & Sons.

158

Errores de respuesta en una escala psicológica Van der Zouwen, J. & Smit, J. (2004). Evaluating Survey Questions by Analyzing Patterns of Behavior Codes and Question-Answer Sequences: A diagnostic Approach. En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 109-130). Nueva Jersey: John Wiley & Sons. Willis, G.B. (2004). Cognitive Interviewing Revisited: A Useful Technique, in Theory? En S. Presser, J. Rothgeb, M.P. Couper, J.T. Lessler, E. Martin, J.Martin & E. Singer (Eds.), Methods for Testing and Evaluating Survey Questions (pp. 23-43). Nueva Jersey: John Wiley & Sons.

Willis, G. B. (2005). Cognitive interviewing. Thousand Oaks: Sage Publications. Willis, G.B., DeMaio, T.J. & Harris-Kojetin, B. (1999). Is the bandwagon headed to the methodological promised land? Evaluating the validity of cognitive interviewing techniques. En M. Sirken, D. Herrmann, S. Schechter, N. Schwarz, J. Tanur & R. Tourangeau (Eds.), Cognitive and survey research (pp. 133-153). Nueva York: John Wiley & Sons.

159

Capítulo V 6. Anexo

Ítems de la Escala APGAR* Casi Nunca

A Veces

Casi Siempre

1. ¿Está satisfecho con la ayuda que recibe de su familia cuando tiene un problema?

0

1

2

0

1

2

0

1

2

0

1

2

0

1

2

2. ¿Conversan entre ustedes los problemas que tienen en casa? 3. ¿Las decisiones importantes se toman en conjunto en la casa? 4. ¿Está satisfecho con el tiempo que usted y su familia pasan juntos?

5. ¿Siente que su familia le quiere? *Tomado de Bellón, Delgado, Luna y Lardelli (1996)

Protocolo Entrevista Cognitiva ¾

Debe realizar la entrevista igual que se administra un cuestionario tradicional: empiece por el principio, avance a través de cada página hasta el final del protocolo y lea cada pregunta del cuestionario junto con las opciones de respuesta exactamente como aparecen.

¾

La información para dar al encuestado está escrita con un estilo de fuente en cursiva y “entrecomillada”, las “preguntas objeto de análisis” con un estilo de fuente en negrita, las preguntas con las pruebas de indagación con un estilo normal. También pueden aparecer instrucciones para Vd. que no debe leer al entrevistado. Estas instrucciones aparecen (entre paréntesis).

160

Errores de respuesta en una escala psicológica ¾

A continuación, se describen los diferentes tipos de preguntas incluidas en el protocolo junto con algunas indicaciones para el entrevistador:

¾ Preguntas objeto de análisis. Son las preguntas cuyo funcionamiento se pretenden examinar mediante la entrevista cognitiva. El resto de las preguntas del protocolo están diseñadas para analizar como funcionan estas preguntas. Por tanto, debe hacer las preguntas y leer las alternativas de respuesta exactamente como aparecen escritas. Debe también registrar la respuesta del encuestado de manera exacta. NO INTENTE EXPLICAR LAS PREGUNTAS O AYUDAR A QUE LOS ENCUESTADOS ENTIENDAN LA RESPUESTA QUE DEBEN DAR. Recuerde que la finalidad de las entrevistas cognitivas es conocer como los encuestados interpretan las preguntas. También se pretende averiguar el grado de dificultad que conlleva contestar a las preguntas, sin la ayuda de un entrevistador.

¾ Pregunta general de indagación. Inmediatamente después de la pregunta objeto de análisis, aparece una pregunta abierta diseñada para obtener información sobre como el entrevistado ha interpretado la pregunta objeto de análisis y como ha elaborado su respuesta. Haga esta pregunta en cuanto detecte que el entrevistado ha terminado de responder a la pregunta objeto de análisis y FAVOREZCA QUE EXPRESE TODO “LO QUE TIENE EN LA CABEZA…” sobre la pregunta objeto de análisis.

¾ Preguntas específicas de indagación. Tras la pregunta general debe hacer una serie de preguntas diseñadas para obtener información específica sobre el proceso de “pregunta-respuesta” seguido por el entrevistado. Interesa conocer en detalle como el entrevistado ha “construido” la respuesta. Estas preguntas son fáciles de responder. No obstante, también puede recurrir a las habituales estrategias de indagación para profundizar en las respuestas: “Puede repetirme lo último…”; “Me parece que eso no lo he entendido…”, ¿Quiere añadir algo más…”? o repitiendo las últimas palabras o frases del encuestado.

Información previa al encuestado

161

Capítulo V Tras la presentación inicial y después de que ocupen las posiciones adecuadas en 2

la sala , proporcione la siguiente información: •

“La Universidad de Granada está probando unas preguntas de un cuestionario que posteriormente se utilizarán en una encuesta. La información obtenida con la encuesta será utilizada para elaborar políticas que mejoren las condiciones de vida de los ciudadanos".

•

“El objetivo de la entrevista que vamos a realizar con Vd. es probar el cuestionario que se utilizará en la encuesta. QUEREMOS QUE NOS AYUDE A QUE LAS PREGUNTAS SEAN MÁS CLARAS Y FÁCILES DE ENTENDER PARA PERSONAS COMO VD. La información que Vd. proporcione es muy valiosa para mejorar el funcionamiento del cuestionario”.

•

“Primero responderá a un cuestionario y después le pediré que me diga COMO HA CONTESTADO A LAS PREGUNTAS, es decir, como ha entendido las preguntas, que información ha tenido en cuenta para responder, como ha recordado la información, el esfuerzo que ha tenido que realizar, las posibles molestias, etc.”

•

“Toda la información que proporcione es muy importante para nosotros. Por tanto, siéntase libre de decir todo lo que crea que puede ayudar a mejorar el cuestionario haciendo bien las preguntas.” “Para no perder nada de sus respuestas y comentarios, la sesión va a ser grabada”. “Sus respuestas son confidenciales y sólo se utilizarán para cumplir los objetivos del estudio.” “¿Tiene alguna duda?... Pues vamos a empezar.”

PRUEBAS DE INDAGACIÓN (“FUNCIÓN FAMILIAR”) • 2

GENERAL 2

Procure sentarse de forma que no esté “cara a cara” con el entrevistado. De esta forma se rebaja la “presión” sobre el entrevistado. Al mismo tiempo, deben sentarse de forma que el sistema de grabación recoja de la forma más completa posible las caras y el cuerpo de ambos.

162

Errores de respuesta en una escala psicológica

P. 1. 1 Por favor, cuénteme en qué ha pensado mientras respondía a estas preguntas sobre apoyo afectivo y su percepción de la función de la familia.

¾ ESPECÍFICAS P. 1. 2 ¿Cuántas personas forman su familia más cercana? P. 1. 3 ¿Con qué personas de su familia tiene un contacto frecuente? (SI EXPRESA DUDAS O PIDE ACLARACIÓN: “… es decir, habla, se ven habitualmente, etc.)? P. 1. 4 ¿Qué entiende Vd. por “recibir ayuda de la familia cuando se tiene un problema”? P. 1. 5 ¿De qué personas de su familia recibe ayuda cuando tiene un problema?? P. 1. 6 Habitualmente, ¿Cuánto tiempo pasan juntos Vd. y su familia? P. 1. 7 En la pregunta ¿Siente que su familia le quiere?, ha contestado _______ (INDIQUE LA OPCIÓN ELEGIDA), ¿en qué situación contestaría _______(ELIJA LA CATEGORÍA INTERMEDIA, SI HA CONTESTADO LA CATEGORÍA INTERMEDIA, ELIJA CUALQUIERA DE LAS OPCIONES EXTREMAS). P. 1. 8 Dígame con sus propias palabras ejemplos de decisiones que en una familia se toman en conjunto en la casa. P. 1. 9 ¿Qué personas de su familia toman en conjunto una de esas decisiones? P. 1. 10 ¿Cuál cree que es la razón para hacerle estas preguntas sobre su familia? P. 1. 11 ¿Cómo se ha sentido al tener que hablar de su familia?

¡¡¡ HEMOS TERMINADO ¡!! GRACIAS POR SU COLABORACION SEGURO QUE SUS RESPUESTAS AYUDAN A MEJORAR EL CUESTIONARIO

163

CONCLUSIONES, LIMITACIONES Y LÍNEAS DE INVESTIGACIÓN

164

Conclusiones Generales

1. Conclusiones Generales El objetivo general de la tesis fue mostrar la utilización de los métodos de pretest de cuestionarios para identificar y reducir los errores de respuesta en las preguntas de los cuestionarios utilizados en las encuestas. Para alcanzar este objetivo, en primer lugar, se analizó la situación actual de los métodos de pretest de cuestionarios, a través de dos estudios bibliométricos. Posteriormente, se expuso la aplicación de la entrevista cognitiva para investigar el problema de la convergencia entre los informantes proxy y los informantes directos. Finalmente, se mostró la utilidad de la entrevista cognitiva y la codificación del comportamiento para optimizar y obtener evidencias sobre la validez de las mediciones aportadas por una escala psicológica. El objetivo general de los dos estudios bibliométricos fue conocer el tamaño, crecimiento y distribución de los documentos científicos, en el campo de los métodos de pretest de cuestionarios. En el primer estudio, se realizó una amplia búsqueda bibliográfica a través de las bases de datos más usadas. Se obtuvieron 1119 publicaciones de las que sólo 75 correspondían a los métodos de pretest de cuestionarios. La mayoría de dichos documentos (80%) estaban publicados en revistas. Un número tan reducido de documentos indexados podría indicar que una gran parte de los estudios aplicados sobre los métodos de pretest no se estén difundiendo a través de las revistas científicas indexadas en las bases bibliográficas habituales. Por tanto, usando solamente documentos indexados como indicadores de la productividad científica, podríamos haber cometido el error de obtener una representación parcial de la productividad científica en el área. Mediante este primer estudio no se consiguió representar el estado “real” de la producción científica de los métodos de pretest. La causa de ello podría radicar en una característica propia de la actividad profesional en esta área: la mayoría de los profesionales trabajan en institutos oficiales de Estadística o centros privados de investigación fundamentalmente orientados a la realización de estudios mediante encuestas, bien por iniciativa propia o contratados por otros organismos.

165

Conclusiones Generales Esta situación tiene dos consecuencias: a) Los profesionales de estos organismos están más interesados en el uso de los métodos de pretest para el desarrollo de encuestas de calidad, que en la divulgación de sus hallazgos a través de los medios habituales de difusión del conocimiento científico. b) Estos centros de investigación, al no estar en su mayoría ligados a universidades u organismos de investigación, utilizan otros medios de difusión de su producción distintos a los usados por el resto de las disciplinas científicas. Por tanto, la búsqueda a través de las bases bibliográficas pudo no ser suficiente para caracterizar de forma adecuada el estado actual de los métodos de pre-test. Para paliar esta situación, se decidió realizar un segundo estudio en el que se completó la base de publicaciones del primero. La localización de la producción fue totalmente dirigida hacia los profesionales que trabajan en dichos centros de investigación y hacia unos medios de difusión concretos. Con esta segunda búsqueda dirigida se consiguió completar la base de publicaciones y, por consiguiente, analizar las características del estado actual de los métodos de pretest de cuestionarios. El número de documentos analizados en el Estudio 2 incrementó en un 273.3% los documentos del Estudio 1, pasando de tener 75 a 205 documentos. La evolución temporal de este conjunto de documentos mostró una fuerte tendencia ascendente, aún más notable a partir de la segunda mitad de los 90. Se identificaron nuevos tipos de documentos en el Estudio 2: comunicaciones, papers no publicados, proceedings, memorandums, informes de resultados, comunicaciones doctorales y libros de abstracts, y como resultado, decreció el porcentaje de publicaciones en revistas desde un 80% (Estudio 1) a un 45.9% (Estudio 2). Con respecto a los centros de producción, los resultados establecieron que centros públicos de investigación, tales como, el National Cancer Institute, el National Centre for Health Statistics, etc., juegan un papel importante en el área. En conclusión, los resultados de los estudios del Capítulo III han sido muy interesantes para indagar en la estructura y dinámica de los grupos, que producen y “consumen” los documentos relacionados con los métodos de pretest de cuestionarios.

166

Conclusiones Generales Una vez revelada la imagen actual del área de los métodos de pretest de cuestionarios, se decidió ilustrar la potencialidad del procedimiento de entrevista cognitiva, abordando el estudio de la convergencia de los datos entre los informantes directos y los informantes proxy. El objetivo del estudio de Capítulo IV fue identificar, a través de la entrevista cognitiva, las posibles diferencias en los procesos de respuesta que llevan a cabo informantes directos e informantes proxy y, con ello, ofrecer una vía para conseguir la coincidencia entre las respuestas de los informantes, reduciendo con ello los potenciales errores de respuesta. En la medida en que ambos tipos de informantes no están ofreciendo las mismas respuestas sería necesario indagar en las causas de esas diferencias. La entrevista cognitiva fue tremendamente útil para conocer las causas de las diferencias en los procesos de respuesta. Se comprobó que la mayoría de las causas de estas diferencias se encontraban en la fase de compresión y recuperación de información del modelo del proceso de pregunta-respuesta. Es decir, ambos informantes comprendían de forma distinta la pregunta y también recuperaban distinta información para contestar. Por tanto, el primer paso, para conseguir esa convergencia, es asegurar una interpretación de la pregunta común para todos los encuestados y, en segundo lugar, facilitar que ambos tipos de informantes recuperen la misma información para responder a la pregunta. Desde un punto de vista metodológico, el Capítulo IV ha mostrado las dos características más importantes y diferenciadoras de la entrevista cognitiva: a) la capacidad para indagar en los procesos de respuesta de los entrevistados y b) la capacidad para conocer las causas de los errores de respuesta. Por último, en el Capítulo V, se llevó a cabo un estudio en el que se usó la entrevista cognitiva y la codificación del comportamiento para optimizar los datos y obtener evidencias de validez de las mediciones aportadas por una escala psicológica incluida en una encuesta. Este estudio demostró que los investigadores que asumen la creencia de que las propiedades métricas son inherentes a las escalas psicológicas están totalmente equivocados. Por ejemplo, pese a que anteriores estudios indicaron buenos índices de calidad de la escala, no se pudo mantener el supuesto de que todos los participantes comprendieran el concepto de familia de la misma forma. Por una parte, a través de la entrevista cognitiva, se obtuvieron evidencias de validez de los procesos de respuesta de los participantes. Consiguiendo con ello, un mayor ajuste entre el atributo psicológico que se quería medir y las estrategias de respuesta que llevaron a cabo los participantes durante la medición de dicho atributo. Por otra parte, la codificación del 167

Conclusiones Generales comportamiento sirvió para identificar los ítems (o las características de los ítems) de la escala psicológica que provocaban desviaciones de la secuencia ideal de conductas entre el entrevistador y el entrevistado. Estas desviaciones de la secuencia ideal de conductas no son errores en sí mismas, pero aumentan considerablemente la probabilidad de cometer un error. De este modo, el estudio ilustró cómo estos dos métodos de pretest, diseñados y utilizados para la evaluación de los cuestionarios insertados en las encuestas, también pueden ser usados en el pretest de escalas psicológicas incluidas en encuestas. Además, el uso conjunto de ambos métodos de pretest, mostró la riqueza y utilidad de la información obtenida durante el pretest, no sólo para detectar problemas con el funcionamiento de los ítems sino también para comprender la naturaleza de dichos problemas. De hecho, se estableció una propuesta sobre la relación entre ambos métodos, en la que la codificación del comportamiento se convierte en un indicador de problemas del funcionamiento de los ítems, y posteriormente, a través de las herramientas de la entrevista cognitiva, se puede indagar en las causas de dichos problemas. Las investigaciones de esta tesis han demostrado la posibilidad de identificar las fuentes de error en los procesos de respuesta a las preguntas de la encuesta, a través de los métodos de pretest de cuestionarios. Mediante el conocimiento de los posibles errores de respuesta que pueden actuar, y de las causas por las que se generan estos errores, se podrán proponer modificaciones a las preguntas de la encuesta, avanzar en el desarrollo de instrumentos de medición fiables, válidos, sensibles y carentes de sesgo, y, en consecuencia, asegurar un nivel de calidad en las mediciones sociales.

2. Limitaciones No sería lógico pensar que los tres capítulos empíricos de la tesis carecen de restricciones que pueden condicionar el alcance de las conclusiones. A continuación se presentarán las limitaciones más importantes en cada uno de los estudios.

168

Limitaciones

2.1.

Estudios bibliométricos

Limitaciones Generales Los indicadores bibliométricos proporcionan información sobre los resultados del proceso investigador, su volumen, evolución, visibilidad y estructura. Así permiten valorar la actividad científica, y la influencia (impacto) tanto del trabajo como de las fuentes. No obstante, los indicadores bibliométricos son válidos en aquellas áreas en las que las publicaciones son un resultado esencial de la investigación. Por esta razón, su validez es de máxima relevancia en el estudio de las áreas básicas, donde predominan publicaciones científicas, y menor en las áreas tecnológicas o aplicadas. En general, estos estudios sólo aportan información sobre la cantidad de publicaciones, pero no sobre su calidad, por lo que tendría mucho interés combinar estos indicadores con los de impacto y/o juicio de expertos. Otra limitación importante de los estudios bibliométricos está relacionada con el idioma. En la mayoría de las bases de datos internacionales, el inglés es el idioma predominante, quedando la producción de los países de habla no inglesa escasamente representada. Es importante tener en cuenta que los indicadores bibliométricos, obtenidos a partir de estas bases de datos, representan la vertiente más internacional de la ciencia y no la producción total de un país o institución.

Limitaciones específicas del estudio El problema principal, con el que nos hemos encontrado en el estudio, es que a través de las herramientas bibliométricas no se puede acceder a la producción de las áreas aplicadas. Los centros públicos de investigación o los institutos oficiales de estadística generan informes de resultados internos que en la mayoría de las situaciones jamás son publicados. Estos informes se entregan a las organizaciones que contrataron los servicios de los centros de investigación y en raras ocasiones se comparten con la comunidad científica. Aún en el caso de que sí se difundan los resultados, los profesionales del área suelen utilizar unos medios de

169

Limitaciones difusión diferentes a los habituales, como son: revistas no indexadas (p. ej. Journal of Official Statistics), redes de comunicación específicas (p. ej. QUEST workshops o congresos de la European Survey Research Association), etc. Esta limitación de los indicadores bibliométricos se intentó solventar con la búsqueda dirigida del Estudio 2. No obstante, haber resuelto o no el problema depende del alcance de la búsqueda dirigida. En la medida en que la búsqueda dirigida haya conseguido representar la actividad científica del área, el problema se habrá resuelto. Habría que esperar a que se realizaran otros estudios sobre la productividad del área de los métodos de pretest de cuestionarios; comparar los patrones de resultados y así obtener una medida del alcance de nuestro estudio. Por otra parte, a través de estos estudios se ha obtenido una imagen de la productividad del área, su estructura, su visibilidad, número de documentos, evolución temporal, autores, países, fuentes, etc. Es decir, se han analizado “quién lo ha hecho, dónde se ha generado y dónde se ha publicado” pero, también, hubiera sido interesante saber “qué se ha hecho”. En relación a qué tipo de método de pretest se ha utilizado en cada estudio, en qué fase del desarrollo de cuestionarios, qué técnica se ha aplicado, qué resultados se han obtenido, etc., información mucho más sustancial teóricamente hablando.

2.2.

Procesos de respuesta informantes proxy vs. informantes directos

Limitaciones de la técnica empleada La entrevista cognitiva como cualquier otro método de evaluación de cuestionarios posee una serie de limitaciones. Las limitaciones más importantes son las siguientes: a) La fiabilidad del método. No se comprueba empíricamente la fiabilidad del método. Cuando se aplica la entrevista cognitiva a la evaluación de un cuestionario se da por hecho que va a identificar una serie de problemas inherentes al cuestionario. No obstante, la entrevista cognitiva, por una parte, puede estar cometiendo errores de omisión al no identificar todos los problemas que realmente posee el cuestionario y, por otra parte, puede cometer errores de comisión al identificar problemas que en la aplicación real del cuestionario podrían no aparecer.

170

Limitaciones

b) Impacto de los errores. Cuando se acceden a ciertos errores de respuesta a través de la entrevista cognitiva, tampoco se sabe el impacto que esos errores pueden tener en la calidad de los datos del cuestionario. Está ampliamente demostrada la utilidad de la entrevista cognitiva para identificar esos errores de respuesta pero apenas existe información, si de hecho los errores suponen un gran impacto en la calidad de los datos. c) El contexto de la entrevista cognitiva. Las condiciones físicas y sociales de la entrevista cognitiva son distintas de las condiciones de aplicación de la encuesta. Los entrevistadores cognitivos no son los encuestadores, los participantes en la entrevista cognitiva no son los encuestados y el lugar de realización de la entrevista cognitiva también suele ser distinto al de la encuesta. El contexto de la entrevista cognitiva no es una replicación “natural” del contexto de aplicación de la encuesta y, por tanto, la validez ecológica de la entrevista cognitiva se reduce. d) Dependencia del analista. Los resultados de la entrevista cognitiva se basan en el análisis de los informes verbales de los participantes. Este análisis del discurso puede ser muy distinto en función de la persona que realice el análisis. Es fundamental obtener una medida de acuerdo entre diversos analistas para asegurar la imparcialidad de los resultados de la entrevista cognitiva.

Limitaciones específicas del estudio Desde nuestro punto de vista, la investigación del Capítulo IV tiene dos tipos de limitaciones: ƒ

Limitaciones en función del material utilizado (las preguntas). En la literatura revisada se anticipaba que la mayor diferencia, entre ambos tipos de informantes, estaría en el tipo de información disponible. Los informantes directos poseen toda la información necesaria para contestar a las preguntas mientras que los informantes proxy sólo poseen un subconjunto de información observable y/o accesible. En el estudio, se halló que una gran parte de las diferencias se debe a que ambos 171

Limitaciones informantes están comprendiendo de forma distinta, y en muchas ocasiones erróneamente las preguntas del cuestionario. Si esos errores de interpretación no hubieran existido, se hubiera podido comprobar con mayor seguridad cuál es el tipo de información que provoca las diferencias en las respuestas. Una alternativa posible, habría sido mejorar la redacción de las preguntas para evitar esos errores de interpretación y volver a repetir el estudio con las nuevas preguntas. ƒ

Limitaciones en función de los participantes. Los resultados de la entrevista cognitiva poseen una cierta dependencia de las características de los participantes. De tal forma que los resultados podrían estar circunscritos a las características de la muestra de participantes utilizada. En nuestro caso, el grupo de participantes del estudio fue bastante heterogéneo. Cada informante directo tenía una dificultad muy distinta para realizar las actividades de la vida cotidiana (dificultades físicas, sensoriales, hormonales, cardíacas, etc.), así que ofrecían mucha información en las preguntas relacionadas con su dificultad pero poca información en las no relacionadas con su dificultad. Además el número de participantes fue reducido dada la heterogeneidad de la muestra, con lo que no se pudo comprobar si participantes con dificultades similares ofrecerían los mismos patrones de respuestas. De modo que el siguiente paso lógico sería aplicar las entrevistas cognitivas a otro grupo de personas y comparar los patrones de resultados en ambos grupos. Esto llevaría a alcanzar el tercer nivel de análisis propuesto por Miller (2007) y establecer con mayor seguridad las diferencias en los procesos de respuesta entre los informantes directos y los informantes proxy. De cualquier forma, el estudio del Capítulo IV tiene un carácter exploratorio, así que se necesitarían realizar estudios posteriores que confirmaran los resultados hallados.

2.3.

Errores de respuesta en una escala psicológica

Limitación de la técnica empleada En el estudio de los errores de respuesta en una escala psicológica se aplicó tanto la entrevista cognitiva como la codificación del comportamiento. En este apartado nos vamos a ceñir a la técnica de la codificación del comportamiento ya que las limitaciones de la

172

Limitaciones entrevista cognitiva ya han sido comentadas. Las restricciones más importantes son las siguientes: a) No acceso a las causas de los errores. El principal problema que posee la codificación del comportamiento es que no accede a las causas de los errores de respuesta. La técnica realiza una exhaustiva descripción de la interacción entre el entrevistador y el entrevistado. Analiza la frecuencia de aparición de códigos, secuencias, códigos en función de las características de los participantes o en función del tipo de preguntas, etc. Incluso se puede saber si las secuencias problemáticas son estadísticamente significativas con respecto al número total de secuencias posibles. Sin embargo, la codificación del comportamiento no es capaz de ofrecer información sobre las causas de esas desviaciones de la secuencia ideal de conductas. A diferencia de la entrevista cognitiva, informa del impacto de los errores inherentes a las preguntas del cuestionario pero no informa sobre el por qué ocurren dichos errores. b) Dependencia del esquema de codificación. El momento crítico en la aplicación de la codificación del comportamiento sucede cuando se selecciona o desarrolla un esquema de codificación, ya que ahí se va a decidir qué conductas son adecuadas, cuáles son problemáticas y cuáles son no problemáticas. La codificación del comportamiento depende tanto del esquema diseñado que si hubiera que realizar alguna modificación o alteración al esquema, todos los análisis se deben repetir desde el principio. c) Fases finales del desarrollo del cuestionario. La codificación del comportamiento se aplica en fases muy tardías del desarrollo del cuestionario. Esto implica que si la codificación del comportamiento descubriera errores graves en el cuestionario habría que repetir el proceso del desarrollo del mismo casi por completo.

173

Limitaciones Limitaciones específicas del estudio La utilización de los dos métodos de pretest en la evaluación de la escala psicológica implicó una serie de dificultades. Estas son: ƒ

Número de ítems de la escala psicológica. En nuestro caso, la escala APGAR tiene un número reducido de ítems haciendo que las evidencias obtenidas por ambos métodos de pretest solamente sean generalizables a escalas con características similares. Sin embargo, suele ocurrir justo lo contrario, la mayoría de las escalas psicológicas tienen un alto número de ítems, por ejemplo, entre 20 y 40 ítems. Esto supone una gran restricción a la hora de aplicar la entrevista cognitiva a la evaluación de las escalas psicológicas. Es imposible evaluar los 20 o 40 ítems en una sola entrevista; en primer lugar, se necesitaría realizar entrevistas de, al menos, dos horas de duración y, en segundo lugar, la demanda cognitiva que se le exigiría al participante y la interferencia que se produciría entre los ítems de la escala sería enorme.

ƒ

Tipo de ítem. La utilidad de la entrevista cognitiva depende del tipo de pregunta que se vaya a evaluar. Esta técnica sólo es útil para aquellas preguntas que implican un proceso de respuesta no automático. Los ítems de la escala APGAR mostraron este tipo de procesamiento y pudieron ser evaluados mediante la entrevista cognitiva. Para la evaluación de otros ítems de otras escalas es necesario mostrar que reúnen las condiciones necesarias para ser evaluados.

ƒ

Momento de aplicación. La codificación del comportamiento y la entrevista cognitiva fueron diseñadas para ser aplicadas en fases distintas del desarrollo de instrumentos de medición. La entrevista cognitiva se suele aplicar en fases más iniciales del desarrollo, mientras que la codificación del comportamiento se utiliza cuando, prácticamente, se posee la versión final del cuestionario. De este modo, aplicar la entrevista cognitiva y la codificación del comportamiento en el mismo momento, y durante la misma entrevista, dificulta la obtención de resultados. Concretamente, en este estudio, se tenía una versión final de la

174

Limitaciones escala psicológica y, por tanto, la contundencia de los resultados de la entrevista cognitiva fue ligeramente diezmada. ƒ

Comparación de resultados. Existe una dificultad añadida a la hora de comparar los datos aportados por ambos métodos. La codificación del comportamiento genera datos de naturaleza cuantitativa mientras que la entrevista cognitiva aporta datos de carácter cualitativo. La convergencia de ambos tipos datos requiere un paso más en la abstracción de resultados en el que se pueden cometer algunos errores. Por ejemplo, a la hora de concluir, si los informes verbales de la entrevista cognitiva corroboran la distribución de frecuencias de las secuencias de la codificación del comportamiento, o si estos informes verbales no concuerdan con la distribución de frecuencias de las secuencias, o si simplemente ambos tipos de datos no son, a ningún nivel, comparables.

3. Futuras líneas de investigación Contribuyendo al proceso de evolución del conocimiento científico, los estudios que componen esta tesis son la base de las siguientes líneas de investigación: 1. Estudio bibliométrico: Está previsto realizar un nuevo estudio bibliométrico, actualizando la base de datos de la investigación del Capítulo III y analizando los documentos bajo una propuesta de codificación que ofrezca información sobre el “qué se ha hecho”, qué método de pretest se aplicó, con qué procedimiento, en qué tipo de estudio, etc. 2. Convergencia de los procesos de respuesta entre informantes proxy e informantes directos con las preguntas “mejoradas”: La continuidad de la línea de investigación sería replicar el estudio de los procesos de respuesta de ambos tipos de informantes, tras una revisión de la redacción de las preguntas target y con una muestra de participantes más amplia.

175

Futuras líneas de investigación 3. Modelo para identificar ítems “target”: Se ha planteado como un objetivo de investigación desarrollar un modelo para seleccionar los ítems target de las escalas psicológicas y con ello solucionar el problema del alto número de ítems a ser evaluados. 4. Fiabilidad de la entrevista cognitiva: Otra investigación posible es el estudio de la fiabilidad de la entrevista cognitiva, en relación a los errores de omisión y los errores de comisión que se pueden cometer. Tras la evaluación de un cuestionario mediante esta técnica se realizaría un estudio piloto en el que se comprobaría la tasa de ambos tipos de errores. 5. Convergencia del análisis psicométrico clásico y los resultados de la entrevista cognitiva: El siguiente paso, tras la aplicación de la entrevista cognitiva a la evaluación de una escala psicológica, es comprobar cómo se corresponden los errores de respuesta que identifica la entrevista cognitiva con las características métricas de los ítems y las propiedades psicométricas de la escala. Para ello bastaría con aplicarle a la misma versión de la escala psicológica una evaluación psicométrica y una evaluación mediante la entrevista cognitiva. 6. Comparación entre grupos: Esta nueva línea de investigación implica comprobar el nivel de dependencia de la entrevista cognitiva del grupo de participantes. Comparando los patrones de resultados entre grupos de participantes con características muy distintas se podría saber el nivel real de esta dependencia. Los estudios trans-culturales serían el marco ideal para llevar a cabo esta investigación.

Las investigaciones de esta tesis han demostrado la posibilidad de identificar las fuentes de error en los procesos de respuesta a las preguntas de los cuestionarios y las escalas psicológicas. Mediante el conocimiento de los posibles errores de respuesta que pueden actuar, y de las causas por las que se generan estos errores, se podrán proponer modificaciones a las preguntas, avanzar en el desarrollo de instrumentos de medición fiables, válidos, sensibles y carentes de sesgo, y, en consecuencia, asegurar un nivel de calidad en las mediciones sociales.

176