CÓMO AFECTA LA FORMA DE PREGUNTAR

Cómo Afecta la Forma de Preguntar a las Respuestas de los Participantes. ¿Tiene Sentido Hablar del Principio de Indeterminación en Ciencias Sociales? Orfelio G. León Nani Ruiz Hernando Universidad Autónoma de Madrid 2010

Nota de Autor Orfelio G. León, Facultad de Psicología, Universidad Autónoma de Madrid correspondencia puede dirigirse a: c/ Iván Pavlov 6, 28049, Madrid. E-mail: [email protected]

1

CÓMO AFECTA LA FORMA DE PREGUNTAR

2

Resumen ¿Los cuestionarios con preguntas cerradas interfieren en lo medido hasta el punto de alterar esencialmente los resultados? En una serie de tres experimentos, la misma cuestión (¿qué te preocupa?) se planteó a dos subgrupos aleatorios y equivalentes de sendas muestras de estudiantes universitarios. A una mitad se le presentó de forma cerrada con 26 opciones procedentes de una encuesta del CIS; a la otra mitad de manera abierta. Tras el análisis de los resultados concluimos que las respuestas fueron esencialmente distintas: distintas preocupaciones; distinta la cantidad de preocupaciones. Por lo tanto, la validez de una investigación que use cuestionarios de respuestas cerradas estaría amenazada. En definitiva, tiene sentido discutir el principio de indeterminación en la medición en ciencias sociales. Palabras clave: Sesgo de Instrumentación, métodos de investigación, validez, efecto de la pregunta sobre los resultados. Abstract Do open-ended questionnaires interfere in the results to the point that conclusions distorted? Along a series of three true experiments, the same question (what worry you?) was asked to two sub-groups randomized and equivalent of university students. One of the sub-groups answered through an open-ended questionnaire of 26 items, (obtained from a government institution, CIS); the other sub-group responded freely to the question. We concluded, through the results, that the worries informed were essentially different and also that the two sub-groups appeared troubled in a very different amount. In consequence, the validity of a research done with open-ended questionnaire is threatened. In sum, it makes sense to discuss whether or not the indetermination principle has a similitude in social science research.

CÓMO AFECTA LA FORMA DE PREGUNTAR

Keywords: Artifact threat, research methods, validity, influence of the question on the results.

3

CÓMO AFECTA LA FORMA DE PREGUNTAR

4

Cómo Afecta la Forma de Preguntar a las Respuestas de los Participantes. ¿Tiene Sentido Hablar del Principio de Indeterminación en Ciencias Sociales? El 7 de febrero de 1986 se publicó en el Boletín Oficial del Estado el Real Decreto 214/1986, por el que se sometió a referéndum de la nación la decisión del Gobierno en relación con la Alianza Atlántica. La redacción de la pregunta fue la siguiente: "¿Considera conveniente para España permanecer en la Alianza Atlántica en los términos acordados por el Gobierno de la Nación?" Los analistas políticos, periodistas y los intelectuales que hicieron saber su opinión discutieron sobre el hecho de si la presentación de la pregunta era inocente; por ejemplo Pastor, (2001, p. 462) ha dicho lo siguiente de la redacción: “[…] producto de la ingeniería sociológica más avanzada, que pretende neutralizar los sentimientos antinorteamericanos y antinucleares predominantes en la opinión pública a cambio de su aceptación de la OTAN.” Es decir, lo que los críticos de la época mantenían era que si la pregunta hubiera sido ¿OTAN sí, o no? Las respuestas de los ciudadanos hubieran sido otras; si no radicalmente distintas sí lo suficiente para que España no hubiera permanecido en la OTAN. El anterior es un ejemplo contextuado cultural e históricamente en el que se ve la importancia que tiene la manera de obtener evidencia empírica, cuando se realiza a través de preguntas a las personas. Nosotros, como investigadores sociales, debemos ser conscientes de hasta qué punto la forma de averiguar interfiere en lo averiguado. En lenguaje de la metodología positiva, “cómo se ve afectada la validez de la investigación” y en lenguaje cualitativo, “qué confianza nos inspira la evidencia registrada”. El problema de la interferencia en la adquisición del conocimiento no es exclusivo de los científicos sociales por ser sus unidades de investigación seres humanos que reaccionan más allá del mero hecho de la indagación. En micro física

CÓMO AFECTA LA FORMA DE PREGUNTAR

5

existe desde hace tiempo una formulación que estudia el límite en donde los procedimientos de medida pierden su precisión por interferir en lo medido. Permita el lector experto que exponga al profano cómo para detectar la posición de un electrón es necesario lanzar un fotón que impacte con él, desviando en ese acto la velocidad y posición del primero. Este suele ser el ejemplo que se pone para entender el propósito del Principio de Indeterminación de Heisenberg (1901-1976). Con cierto respeto a introducirnos en un campo que nos es ajeno, nos atrevemos a decir que con los presupuestos de medida de la física newtoniana no se podía estudiar la física de partículas. La inocencia de la objetividad de Galileo observando el universo no podía aplicarse a la micro física; todo registro instrumental llevaba ahora una interferencia. Volviendo a las ciencias sociales: por supuesto, se ha reconocido siempre en los manuales de métodos de investigación que las preguntas cerradas en los cuestionarios pueden “not accurately reflect the respondent’s opinion” (Shaugnessy, Zechmeister y Zechmeister, 2006, p. 179). Y se ha producido investigación para rastrear el efecto de estas desviaciones. Por ejemplo, Tusini (2002) afirma que la formulación de las preguntas en las entrevistas es crucial para la integridad de los resultados en subsiguientes análisis; simultáneamente, concluye que no se puede prescribir una forma insesgada de preguntar y que el investigador es responsable de una cuidadosa formulación de la manera más adecuada a la situación. En otras investigaciones recientes, como la de Wahl, Svensson, y Hydén (2010) han encontrado que diferencias en la formulación de las preguntas de un cuestionario producía diferencias significativas en la estimación de variables relacionadas con el tráfico como, frecuencia de accidentes, frecuencia de incidentes y velocidad. Adicionalmente, Singer, Couper, Raghunathan, Antonucci, Burmeister, y Van Hoewyk (2010) han informado que las explicaciones de diferencias de grupos raciales con base

CÓMO AFECTA LA FORMA DE PREGUNTAR

6

en la genética se encontraban si se utilizaban viñetas, pero no si se preguntaba por diferencias entre los individuos de distinta raza. Más ejemplos de trabajos que detectan efectos significativos asociados a la redacción de las preguntas (question wording effect) son los de: Beckers, y Billiet, 2009; Blasius y Friedrichs, 2009 y Schneider, 2009. Como conclusión de la evidencia en la literatura citaremos un trabajo que a su vez revisa la documentación sobre el tema: Karlsson, Marttunen, Karlsson, Kaprio, y Hillevi (2010) enfatizan que, en cualquier caso, hay pocas investigaciones que se ocupen del posible impacto de pequeñas variaciones en la formulación de preguntas de cuestionarios de diagnóstico sobre los resultados de los mismos; aportando ellos datos en el contexto de la estimación de la prevalencia de episodios depresivos mayores. En definitiva, existe efecto distorsionador asociado a la forma de preguntar, pero se evalúa solo en términos de precisión (fiabilidad) y no lleva a un cuestionamiento de si afecta a la esencia de lo que se desea registrar; no lleva a plantearse la validez del proceso de medida, ni, por supuesto, al enfoque epistemológico donde se ubica. De lo anterior surge la pregunta que motiva esta investigación ¿hasta dónde influye el instrumento de recogida de evidencia, en ciencias sociales, en el resultado de la averiguación? Y en términos más operacionales: asumiendo la igualdad del objeto de estudio, ¿se obtendrán resultados esencialmente distintos si lo hacemos mediante una pregunta abierta respecto a si lo hacemos con una pregunta de respuesta cerrada? Por “esencial” queremos decir que las conclusiones de lo descrito no reflejen lo mismo; no que se produzcan diferencias que sean estadísticamente distintas de cero. Método General Lógica Contrastamos si la forma de preguntar por las preocupaciones personales mediante una pregunta abierta o una cerrada daba lugar a resultados distintos. Los

CÓMO AFECTA LA FORMA DE PREGUNTAR

7

participantes fueron estudiantes de la Universidad Autónoma de Madrid a los que se invitó a participar, voluntariamente, contestando a una pregunta por escrito. (A todos se les informó de que si durante el proceso decidían dejarlo eran libres de hacerlo.) Material y Procedimiento Comenzamos pidiendo a los colaboradores que salieran del aula y se emparejaran por edad y sexo (en la medida de lo posible) y que regresaran por parejas. Al volver a entrar, sorteamos, mediante asignación aleatoria (con ayuda de la función random de una calculadora), su pertenencia al grupo de pregunta abierta o cerrada. Cada grupo se sentó en un lado de la clase, dividida por un pasillo. Así mismo, nos aseguramos de que entre un estudiante y otro hubiera un lugar vacío. Como orientación general, les dijimos que se trataba de una pregunta personal y que, por lo tanto, no tenía sentido comentar nada con los compañeros; también les comunicamos que todos no tenían que contestar a la misma cuestión y, en consecuencia, no procedía realizar explicaciones en voz alta; cada uno tenía las instrucciones necesarias en la cabecera de su hoja. Por último, les indicamos que disponían del tiempo que consideraran oportuno y que una vez finalizada la tarea podían abandonar el aula. La pregunta abierta fue la siguiente: “¿Hay alguna/s cosa/s que le preocupe/n a usted? Por favor, tómese un tiempo y después descríbala/s. Muchas gracias por su colaboración.” La pregunta cerrada rezaba de la siguiente manera: “Aquí le presentamos un conjunto de temas que preocupan a la población española, según una encuesta reciente. Léalos detenidamente y marque con una cruz en la casilla que indique el grado de preocupación que le suponen a usted. Muchas gracias por su colaboración”.

CÓMO AFECTA LA FORMA DE PREGUNTAR

8

Los ítems de la pregunta cerrada figuran en el Apéndice A. Estos motivos de preocupación los obtuvimos de una pregunta del Barómetro del CIS de Julio de 2010. (El registro de la evidencia empírica lo realizamos en septiembre de 2010 y septiembre de 2011.) Junto a cada elemento añadimos un sistema de graduación, como sigue: “Nada = 0; 1; 2; 3; 4= Mucho”. Análisis de Datos Las respuestas a las “preocupaciones” cerradas las resumimos solo en torno a las que más les preocupaban (grado 3 o 4); ya que los del grupo del formato abierto no hablarían de lo que no les preocupaba. Solamente informamos de aquellas “preocupaciones” marcadas por el 50% o más de los participantes, por razones de simplicidad. Por su lado, para resumir las respuestas a la pregunta abierta primero procedimos a leer varias veces el total de las contestaciones. Segundo, marcamos aquellos fragmentos de texto que describían una preocupación distintiva (V.g., “Me preocupa no poder seguir mis estudios en esta universidad el año próximo.”). Tercero, generamos categorías para definir las preocupaciones previamente marcadas, participante a participante (V.g., “Superación exitosa del grado/máster”). Cuarto, contrastamos que las categorías servían para las respuestas de todos los estudiantes, de forma que cuando apreciamos diferencias modificamos los nombres de las categorías hasta que pudieran utilizarse con todos los casos. Quinto, agrupamos las categorías por similitud y procedimos a nombrar estos conglomerados (V.g., “la familia”, “relaciones amorosas”, relaciones con los amigos”… los agrupamos en: “entorno social”). Sexto y último, de manera independiente cada uno de los autores, volvimos a leer y a categorizar los escritos de los participantes y contamos las apariciones de cada categoría. (Para el caso de la pregunta abierta hemos escrito en las tablas todas las categorías/preocupaciones

CÓMO AFECTA LA FORMA DE PREGUNTAR

para que el lector tenga una información completa, comparable a la lista del Apéndice A, del que disponían el grupo de la pregunta cerrada.) Experimento 1 Participantes Sesenta y ocho estudiantes de primero de grado en Psicología. El rango de edad fue de 18-32 años, siendo la moda 18 años (57/68), y con una distribución por sexo de 54 chicas y 14 chicos. (Septiembre de 2010.) Resultados

9

10

CÓMO AFECTA LA FORMA DE PREGUNTAR

Tabla 1 Preocupaciones de los estudiantes de primero de Grado-2010, en función del tipo de respuesta Respuestas cerradas marcadas por más del 50% (18) de los participantes (n = 34) Con grado de preocupación 3 o 4 Preocupaciones/ situaciones personales (31/34)

La inseguridad Ciudadana (19/34)

La violencia contra la mujer (31/34)

Funcionamiento de servicios públicos (19/34)

La educación (28/34)

La vivienda (18/34)

El paro (22/34)

La administración de la justicia (18/34)

La sanidad (21/34)

La crisis de valores (18/34)

El terrorismo, ETA (19/34)

Todas las respuestas abiertas (n = 34) Universidad

Relaciones sociales

Superación exitosa del grado (13/34)

La familia (14/34)

Incertidumbre vida universitaria (10/34)

Relaciones con los amigos (11/34)

Inseguridades personales (9/34)

Relaciones amorosas (1/34)

Cambio de residencia (3/34)

Problemas de la juventud (2/34)

Resolución trámites universitarios (2/34) Tener internet en casa (1/34) Futuro

Grandes temas

Encontrar trabajo (11/34)

Drogas (1/34)

Independencia económica (6/34)

Guerra/Paz (2/34)

Mi futuro (10/34)

Pobreza (3/34) Hambre (4/34) Cambio Climático (2/34) Empatía (3/34) Injusticias (4/34) Violencia de Género (3/34) Accidentes (1/34) Salud (1/34) Personas sin hogar (1/34)

Ámbito Socio-Político-Económico Paro (5/34) Crisis económica (5/34) Representantes e ideas políticas (3/34) Nota: en negrita las que son marcadas por más del 25% (9) de los participantes.

CÓMO AFECTA LA FORMA DE PREGUNTAR

11

En la Tabla 1 se observa que con el formato cerrado aparecen 7 preocupaciones valoradas con grado 3 o 4, por más de la mitad de los participantes, que no aparecen en el abierto y son las siguientes: Inseguridad ciudadana (19/34); el terrorismo, ETA (19/34); la vivienda (18/34); la administración de la justicia (18/34); la crisis de valores (18/34); la educación (28/34); el funcionamiento de los servicios públicos (19/34). En el formato de pregunta abierta no apareció ninguna categoría nombrada por el 50% o más (17) de los participantes, razón por la que nos vimos obligados a rebajar el criterio a más del 25% (9); en consecuencia, al realizar la comparación, encontramos las siguientes categorías de preocupaciones que no aparecen en el cerrado: Incertidumbre de la vida universitaria, v.g., “me preocupa la forma en que se van a dar las clases, el sistema de evaluación, los profes…” (n = 10/34). Superación exitosa del grado, v.g., “me preocupa conseguir superar las pruebas y actividades que se me presentan y poder ir superando los cursos” (n = 13/34). La familia, v.g., “estoy preocupada por los problemas de la gente a mi alrededor, sobre todo de mi familia y todo lo relacionado con ellos” o “me preocupa la salud física o psíquica de mis familiares” (n = 14/34). Relaciones con los amigos, v.g., “otra de mis preocupaciones es conseguir sentirme cómoda con la gente de la facultad, tanto como lo estaba en el colegio y conseguir mantener la amistad con mis amigos del colegio” (n = 11/34). Adicionalmente, el grupo que es preguntado mediante respuestas sugeridas parece estar más preocupado (18 personas de 34 marcan 15 o más respuestas con grado 3 o 4) mientras que el otro grupo, que lo hace espontáneamente, tiene ¡cinco veces menos de preocupaciones!: 19 de 34 expresan 2 o 3 preocupaciones. Discusión

CÓMO AFECTA LA FORMA DE PREGUNTAR

12

A través de los resultados del primer experimento apreciamos lo siguiente: las preocupaciones del subgrupo que es preguntado con una pregunta abierta son distintas del subgrupo que es preguntado con una pregunta de respuesta cerrada. Puesto que son estudiantes de la misma ciudad, universidad, facultad, del mismo curso, bloqueada la edad y sexo… y su división se realizó mediante estricta asignación aleatoria, las diferencias en las preocupaciones no se pueden explicar por azar, sino por la distinta forma de la pregunta. Las diferencias entre los grupos no son cuestión de grado, sino que son cualitativas (v.g., el grupo “cerrado” afirma que le preocupa el terrorismo de ETA -pero no puede decir si le preocupa pasar los exámenes, porque esa opción no está disponible. En el otro extremo: el grupo “abierto” afirma que le preocupa la adaptación a la vida universitaria, asunto que un investigador no podría recoger en el grupo “cerrado” (no está disponible), obligándole a concluir que ese punto no es preocupante para los jóvenes. Y sumado a lo anterior, el subgrupo preguntado con respuestas cerradas comunica estar mucho más preocupado (15 o más preocupaciones) que el grupo que habla espontáneamente (2 o 3 preocupaciones). Llegados a este punto y con el propósito de ganar validez externa, decidimos replicar el experimento un año después con estudiantes similares y con otros de mayor edad y formación (nivel de máster). Con esta lógica, si los resultados fueran similares rechazaríamos la amenaza de selección (selection as threat to validity; Shadish, Cook y Campbell, 2002) de la muestra inicial. Experimento 2 Participantes

CÓMO AFECTA LA FORMA DE PREGUNTAR

13

Cincuenta y dos estudiantes de primero de grado en Psicología (24 formato abierto y 28 el cerrado) participaron voluntariamente. El rango de edad fue de 18-38 años, siendo la moda 18 años (39/52), y con una distribución por sexo de 43 chicas y 9 chicos. (Septiembre de 2011.) Resultados

14

CÓMO AFECTA LA FORMA DE PREGUNTAR

Tabla 2 Preocupaciones de los estudiantes de primero de Grado-2011, en función del tipo de respuesta Respuestas cerradas marcadas por más del 50% (15) de los participantes (n = 28) Con grado de preocupación 3 o 4 La educación (28/28)

Problemas de índole social (22/28)

El paro (26/28)

El funcionamiento de servicios públicos (21/28)

Preocupaciones y situaciones personales (26/28)

La corrupción y el fraude (20/28)

La sanidad (25/28)

La crisis de valores (20/28)

La violencia contra la mujer (24/28)

Los problemas medioambientales (18/28)

Problemas relacionados con la juventud (24/28)

La inmigración (17/28)

Calidad del empleo (23/28)

La inseguridad ciudadana (16/28)

La vivienda (23/28)

El terrorismo, ETA (16/28)

Problemas de índole económica (22/28)

La administración de justicia (16/28)

Todas las respuestas abiertas (n = 24) Universidad/Presente Personal

Entorno social

Superación exitosa del grado (12/24)

La familia (13/24)

Inseguridades personales (3/24)

Relaciones amorosas (6/24)

Incertidumbre vida universitaria (2/24)

Relaciones con los amigos (5/24) Salud (4/24) Rechazo/soledad (3/24) Problemas de la juventud (1/24)

Futuro

Grandes temas

Mi futuro (7/24)

Guerra/Paz (2/24)

Ser feliz (4/24)

Hambre (2/24)

Muerte (2/24)

Pobreza (1/24)

Independencia económica (1/24)

Ayudar a necesitados (1/24)

Ámbito Socio-Político-Económico Crisis económica (4/24) Representantes e ideas políticas (1/24) Falta de valores (2/24) Crisis social (1/24) Nota: En cursiva las categorías nuevas respecto a “Primero de grado-2010”; en negrita las que son marcadas por el 25% o más (6) de los participantes.

CÓMO AFECTA LA FORMA DE PREGUNTAR

15

En la Tabla 2 se muestra que mientras que el 60% (14/24) de los estudiantes que contestaron libremente sobre sus preocupaciones informó de tener solo dos o tres, en la otra mitad equivalente del aula, con los temas sugeridos, el 57% (16/28) marcó 17 o más respuestas con un grado de preocupación de 3 o 4. En el formato de pregunta abierta encontramos las siguientes categorías de preocupaciones, nombradas por el 25% o más de los participantes, que no aparecen en el cerrado (seis categorías en el total fueron nuevas respecto al grupo de 2010): La familia, (n = 13/24); Superación exitosa del grado, (n = 12/24); Mi futuro, (n = 7/24); y Relaciones amorosas, (n = 6/24). En el formato cerrado aparecen 13 preocupaciones valoradas con grado 3 o 4, por más de la mitad de los participantes, que no aparecen en el abierto: La educación, (n = 28/28); El paro, (n = 26/28); La sanidad (n = 25/28); La violencia contra la mujer, (n = 24/28); La calidad del empleo (23/28); La vivienda (23/28); El funcionamiento de los servicios públicos (21/28); La corrupción y el fraude (20/28); Los problemas medioambientales (18/28); La inmigración (17/28); Inseguridad ciudadana (16/28); El terrorismo, ETA (16/28); La administración de la justicia (16/28). Experimento 3 Participantes Cincuenta y cinco estudiantes de dos másteres en Educación (29 en el formato abierto y 26 en el cerrado) participaron voluntariamente. El rango de edad fue de 23-46 años, estando la moda en el intervalo (24-29) con 23 alumnos y con una distribución por sexo de 39 chicas y 16 chicos. (Septiembre de 2011.) Resultados

16

CÓMO AFECTA LA FORMA DE PREGUNTAR

Tabla 3 Preocupaciones de los estudiantes de máster-2011, en función del tipo de respuesta

Respuestas cerradas marcadas por el 50% o más (n = 26) Con grado de preocupación 3 o 4 El paro (24/26)

La vivienda (20/26)

La educación (24/26)

Problemas de índole económica (19/26)

Preocupaciones y situaciones personales (23/26)

P. relacionados con la calidad del empleo (19/26)

La violencia contra la mujer (23/26)

El terrorismo, ETA (18/26)

La sanidad (21/26)

Los problemas medioambientales (15/26)

Problemas de índole social (21/26)

Funcionamiento de los servicios públicos (14/26)

Todas las respuestas abiertas (n = 29) Universidad/Presente Personal

Entorno social

Superación exitosa del máster (12/29)

La familia (8/29)

Inseguridades personales (5/29)

Salud (7/29)

Situación laboral actual (5/29)

Relaciones amorosas (5/29)

Falta de tiempo (3/29)

Relaciones con los amigos (4/29)

Falta de preparación (1/29)

Alumnos propios (4/29)

Manejo del español (1/29)

Lejos de la familia (1/29)

Incertidumbre vida universitaria (1/29) Futuro

Grandes temas

Mi futuro (12/29)

Educación (10/29)

Encontrar trabajo (8/29)

Injusticias (8/29)

Independencia económica (3/29)

Pobreza (4/29)

Futuro de los hijos (2/29)

Medio Ambiente (4/29)

Ir al extranjero (1/29)

Guerra/Paz (3/29)

No defraudar a los padres (1/29)

Hambre (1/29) Minorías Étnicas (1/29) Riesgo exclusión social (1/29) Derechos de los animales (1/29)

Ámbito Socio-Político-Económico Crisis económica (6/29) Representantes e ideas políticas (4/29) Paro (3/29) Falta de valores (1/29) Nota: En cursiva las categorías nuevas respecto a “Primero de grado-2010”; en negrita las que son marcadas por más del 25% (8) de los participantes.

CÓMO AFECTA LA FORMA DE PREGUNTAR

17

En la Tabla 3 podemos ver que aproximadamente el 60% (17/29) de los participantes que contestaron a la pregunta abierta nombraron entre 4 y 6 preocupaciones; de sus compañeros equivalentes (15/26) el 71% marcaron entre 15 y 21 preocupaciones, con grado 3 o 4. En el formato de pregunta abierta encontramos las siguientes categorías de preocupaciones, expresadas por el 25% o más de los participantes, que no aparecen en el cerrado: Superación exitosa del máster, (n = 12/29); Mi futuro, (n = 12/29); y La familia, (n = 8/29). En el formato cerrado aparecen 5 preocupaciones valoradas con grado 3 o 4, por más de la mitad de los participantes, que no aparecen en el abierto: Violencia contra la mujer, (n = 23/26); La sanidad, (n = 21/26); La vivienda (20/26); El terrorismo (18/26); y El funcionamiento de los servicios públicos (14/26). Discusión General 1) ¿En dos grupos equivalentes, se reflejan de la misma manera sus preocupaciones si les pedimos que marquen sobre un listado de temas o si lo hacen libremente?: No. En el experimento 1, asumida la equiparación de los grupos por la asignación aleatoria y el bloqueo de edad y sexo debemos concluir que la forma de preguntar interfiere en los resultados. Ante la pregunta que motivó los experimentos 2 y 3, de si la amenaza de la selección del grupo podría haber producido un efecto espurio, podemos concluir que: un año después, en estudiantes de las mismas características el efecto aparece igual. Es más, en jóvenes adultos en una fase de la vida distinta (acabados los estudios de grado) el efecto fue similar. 2) Según la literatura analizada en la introducción, los resultados de nuestros tres experimentos concuerdan con el hecho de que la forma de plantear la pregunta tiene

CÓMO AFECTA LA FORMA DE PREGUNTAR

18

impacto sobre las respuestas de las personas cuestionadas. Y van más allá, puesto que no se trata de una diferencia de grado, sino esencial, al comunicar preocupaciones distintas. (Llama poderosamente la atención que en grupos mayoritariamente femeninos, cuando se les sugiere como tema de preocupación “la violencia contra la mujer” casi todos lo marquen como preocupante, mientras que no aparece en las expresiones espontáneas; lo mismo ocurre con el terrorismo.) 3) Si nos elevamos en el nivel epistemológico, y nos apoyamos en la evidencia encontrada, defendemos que no podemos permanecer indiferentes al hecho de que la manera de preguntar mediante opciones cerradas distorsione la respuesta de los participantes, en relación a una información espontánea. Planteamos que, en esta evidencia empírica, lo que registramos está modificado por la forma de registrar; o lo que es lo mismo, metafóricamente, este fenómeno se podría considerar una muestra de cómo el principio de incertidumbre (débil) se observa en la investigación social mediante cuestionarios. Obsérvese que no decimos que exista una forma buena y otra mala; si la pregunta en vez de ser planteada sobre una hoja de papel en blanco, por un profesor en un aula, lo hubiera sido de manera verbal por un igual en la cafetería… las respuestas, seguramente, también variarían. Lo que defendemos es que hay examinar en qué medida nuestros instrumentos están interfiriendo/cambiando las respuestas de nuestros colaboradores. Llevar estos resultados a más ámbitos de la investigación en psicología y ciencias sociales excede la capacidad de generalización en este trabajo, lo que no es óbice para que dejemos planteada una duda razonable. Una posible explicación de las diferencias entre los dos tipos de respuestas (en los tres experimentos) fruto de las conversaciones accidentales con algunos participantes, es que cuando se les sugieren temas que ellos consideran que la sociedad valora como importantes –preocupantes- tienden a concordar con esta apreciación,

CÓMO AFECTA LA FORMA DE PREGUNTAR

19

haciéndola suya. Sin embargo, cuando en el anonimato expresan aquellas que les vienen a la cabeza, estos “grandes temas” quedan fuera y manifiestan, principalmente, lo que les afecta (lo que les preocupa a ellos de forma directa). En respuesta a la pregunta con la que comenzamos la investigación: habiendo asumido la similitud de las preocupaciones de los dos subgrupos de estudiantes, hemos obtenido resultados esencialmente distintos cuando lo hicimos mediante una pregunta abierta respecto a cuando lo hicimos con una pregunta de respuesta cerrada. Concluimos invitando a los investigadores a que contrasten si el uso de cuestionarios (ya sea con respuesta cerrada o no) interfiere con las que serían las contestaciones espontáneas de sus colaboradores; esto se debería hacer –en nuestra opinión- con un grupo piloto o control –o cuasi control- lo más equivalente al grupo principal. En caso de no haber concordancia, en aras a la validez de la investigación, los procedimientos más intrusivos deberían ceder ante las formas más naturales de obtener los registros.

CÓMO AFECTA LA FORMA DE PREGUNTAR

20

Referencias Beckers, M., y Billiet, J. (2009). “Maintain” or “recall”? A study of question wording in twelve local referenda in Flanders. Res Publica, 51, 53-82. Blasius, J., y Friedrichs, J. (2009).The effect of phrasing scale items in low-brow or high-brow language on responses. International Journal of Public Opinion Research, 21, 235-247. Pastor, J. (2001). El movimiento pacifista (1977-1997). En M. Ortiz, D. Ruiz y I. Sánchez, Movimientos sociales y estado en la España contemporánea (pp. 457452). Universidad de Castilla-La Mancha: Ed. de la Universidad de Castilla-La Mancha. Schneider, M. (2009). The difference a word makes: Responding to questions on 'disability' and 'difficulty' in South Africa. Disability and Rehabilitation: An International, Multidisciplinary Journal. Special Issue: Realising the rights of persons with disability in Africa, 31, 42-50. Shadish, W. R., Cook, T. D., y Campbell, D. T. (2002). Experimental and quasiexperimental designs for generalized causal inference. New York, NY: Houghton Mifflin Co. Shaughnessy, J. J., Zechmeister, E. B., y Zechmeister, J. S. (2006). Research methods in psychology (7ª ed.). New York, NY: McGraw-Hill. Singer, E., Couper, M. P., Raghunathan, T. E., Antonucci, T. C., Burmeister, M., y Van Hoewyk, J, (2010). The effect of question framing and response options on the relationship between racial attitudes and beliefs about genes as causes of behavior. Public Opinion Quarterly, 74, 460-476. Tusini, S. (2002). Semantic surprises: interviewees and questions. Sociologia e Ricerca Sociale, 23, (67), 141-167.

CÓMO AFECTA LA FORMA DE PREGUNTAR

Wahl, C., Svensson, Հ., y Hydén, C. (2010). Effects of minor phrasing variations in traffic-related questionnaires—Comparison of objective equivalences and respondents’ subjective statements. Transportation Research Part F: Traffic Psychology and Behaviour, 13, 315-328.

21

22

CÓMO AFECTA LA FORMA DE PREGUNTAR

Apéndice A Hoja para la Respuesta Cerrada Preocupación El paro Las drogas La inseguridad ciudadana El terrorismo, ETA Las infraestructuras La sanidad La vivienda Los problemas de índole económica Los problemas relacionados con la calidad del empleo Los problemas de la agricultura, ganadería y pesca La corrupción y el fraude Las pensiones La clase política, los partidos políticos La Administración de Justicia Los problemas de índole social La inmigración La violencia contra la mujer Los problemas relacionados con la juventud La crisis de valores La educación Los problemas medioambientales El Gobierno, los políticos y los partidos El funcionamiento de los servicios públicos Los nacionalismos Las preocupaciones y situaciones personales El Estatuto de Cataluña

Nada=0 Nada=0 Nada=0 Nada=0 Nada=0 Nada=0 Nada=0 Nada=0 Nada=0

1 1 1 1 1 1 1 1 1

2 2 2 2 2 2 2 2 2

3 3 3 3 3 3 3 3 3

Mucho=4 Mucho=4 Nada=4 Mucho=4 Mucho=4 Mucho=4 Mucho=4 Mucho=4 Mucho=4

Nada=0

1

2

3

Mucho=4

Nada=0

1

2

3

Mucho=4

Nada=0 Nada=0 Nada=0

1 1 1

2 2 2

3 3 3

Mucho=4 Mucho=4 Mucho=4

Nada=0 Nada=0 Nada=0 Nada=0 Nada=0

1 1 1 1 1

2 2 2 2 2

3 3 3 3 3

Mucho=4 Mucho=4 Mucho=4 Mucho=4 Mucho=4

Nada=0 Nada=0 Nada=0

1 1 1

2 2 2

3 3 3

Mucho=4 Mucho=4 Mucho=4

Nada=0

1

2

3

Mucho=4

Nada=0

1

2

3

Mucho=4

Nada=0 Nada=0

1 1

2 2

3 3

Mucho=4 Mucho=4

Nada=0

1

2

3

Mucho=4