10

Lineamientos para

la definición y aplicación de pruebas en las operaciones estadísticas

Dirección de Regulación, Planeación, Estandarización y Normalización

Agosto de 2014

DIRPEN

CÓDIGO: DSO-030-LIN-01 VERSIÓN 1 FECHA: 23-09-2014

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

Directora Técnica Dirección de Regulación, Planificación, Estandarización y Normalización (DIRPEN) Nelcy Araque García

Coordinación Regulación Estadística Fredy Yahirs Rodríguez Galvis

Líder de Conceptualización y Diseño Estratégico Grace Andrea Torres Pineda

Equipo técnico Conceptualización y Diseño Estratégico Aura María Moreno Gamba Fredy Yahirs Rodríguez Galvis

Revisión de coherencia Sonia Marcela Naranjo Morales

Agradecemos a las Coordinaciones de la DIRPEN y a las Direcciones Técnicas del DANE, quienes contribuyeron con sus aportes en la elaboración de este documento

2 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

CONTENIDO

PRESENTACIÓN ......................................................................................... 4 INTRODUCCIÓN ........................................................................................ 5 1.

CONCEPTOS BÁSICOS ......................................................................... 6

2.

PRINCIPIOS RELACIONADOS .............................................................. 7

3.

ELEMENTOS NECESARIOS PARA LA DEFINICIÓN Y APLICACIÓN DE PRUEBAS EN UNA OPERACIÓN ESTADÍSTICA ................................... 8

4.

TIPOS DE PRUEBAS ........................................................................... 12

5.

OTROS TIPOS DE PRUEBAS ................................................................ 19

BIBLIOGRAFÍA ......................................................................................... 22

3 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

PRESENTACIÓN

El Departamento Administrativo Nacional de Estadística (DANE), como coordinador del Sistema Estadístico Nacional (SEN) y en el marco del proyecto de Planificación y Armonización Estadística, trabaja por el fortalecimiento y consolidación del SEN mediante los siguientes procesos: la producción de estadísticas estratégicas; la generación, adaptación, adopción y difusión de estándares; la consolidación y armonización de la información estadística y la articulación de instrumentos, actores, iniciativas y productos. Estas acciones tienen como fin mejorar la calidad de la información estadística estratégica, su disponibilidad, oportunidad y accesibilidad para responder a la gran demanda que se tiene de ella. Consciente de la necesidad y obligación de brindar a los usuarios mejores productos, el DANE desarrolló una serie de lineamientos que contribuyen a la visualización y el entendimiento del proceso estadístico. Allí se presentan de manera estándar, completa y de fácil lectura las principales características técnicas de los procesos y subprocesos de cada investigación, lo que permite su análisis, control, replicabilidad y evaluación. Esta serie de documentos favorecen la transparencia, confianza y credibilidad de la calidad técnica de la institución para un mejor entendimiento, comprensión y aprovechamiento de la información estadística. Tal información es producida bajo los principios de coherencia, comparabilidad, integralidad y calidad de las estadísticas.

4 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

INTRODUCCIÓN

La importancia que representa la información estadística para la sociedad y la necesidad cada vez mayor de satisfacer los requerimientos de información de todos los usuarios, hace indispensable que las entidades pertenecientes al SEN cuenten con instrumentos adecuados para generar indicadores que reflejen la realidad nacional. Es así que para determinar la veracidad y consistencia de los instrumentos y el mejoramiento en el procesamiento de los datos, el personal encargado de la producción estadística debe implementar buenas prácticas estadísticas para probar el diseño de las operaciones. Es por ello que es indispensable dar a conocer a los productores de estadísticas las diferentes técnicas de prueba que permitan verificar la estructura y funcionalidad de cada uno de los elementos necesarios para llevar a cabo una operación estadística. El desarrollo de pruebas contribuirá con el mejoramiento de la calidad en los productos estadísticos y de la satisfacción de las necesidades de los usuarios. Es así como se presenta a continuación el documento para la implementación de buenas prácticas relacionado con la definición y aplicación de pruebas, compuesto por tres partes: la primera parte establece los conceptos y principios relacionados con la aplicación de pruebas; la segunda menciona los elementos para la definición y aplicación de pruebas, y en la tercera parte se definen los diferentes tipos de pruebas.

5 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

1. CONCEPTOS BÁSICOS

Exactitud: Grado con el cual los datos estiman correctamente la realidad que intentan medir, es decir, la exactitud se mide por la diferencia entre el valor de los datos obtenidos y entregados al público y su valor real (OCDE, 2003). Operación estadística: Conjunto de procesos y actividades que parte de la recolección sistemática de datos y conduce a la producción de resultados agregados (DANE, 2011). Prueba: Ensayo o experimento que se hace de algo, para saber cómo resultará en su forma definitiva (RAE).

6 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

2. PRINCIPIOS RELACIONADOS

La realización de pruebas a los instrumentos (cuestionarios, formatos, manuales, entre otros), informáticos y procesos está enmarcada en el cumplimiento de prácticas internacionales establecidas por diferentes organismos y particularmente por el CNBP. Esto sucede con el objetivo de mejorar la precisión y fortalecer la calidad del diseño, los instrumentos, los procesos de recolección y procesamiento de datos y la generación y análisis de resultados. En este sentido, los siguientes son los principios y buenas prácticas que enmarcan la temática en la aplicación de pruebas en el desarrollo de una operación estadística: Principio 8. Selección de las fuentes estadísticas: las entidades pertenecientes al SEN deben seleccionar las fuentes de información con criterio estadístico, teniendo en cuenta el costo y la carga a los encuestados. Principio 10. Calidad en el proceso estadístico: las entidades pertenecientes al SEN deben implementar procedimientos de calidad en todas las etapas del proceso estadístico. Principio 12. Exactitud y confiabilidad: las entidades pertenecientes al SEN deben garantizar que las estadísticas oficiales sean precisas y confiables.

7 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

3. ELEMENTOS NECESARIOS PARA LA DEFINICIÓN Y APLICACIÓN DE PRUEBAS EN UNA OPERACIÓN ESTADÍSTICA

Las operaciones estadísticas están constituidas por una serie de elementos que de acuerdo a su contexto, requieren ser validados a través de la aplicación de diferentes pruebas con el fin de minimizar la aparición de errores. A continuación, se presentan los principales elementos a tener en cuenta: 3.1.

Instrumentos de recolección

Son entendidos como los cuestionarios (ya sea electrónicos o físicos) necesarios para la obtención de información de las diferentes unidades estadísticas. Estos se constituyen en instrumentos fundamentales para conocer la realidad nacional. El DANE define al cuestionario «como un instrumento de recolección de datos, adecuadamente estandarizado, que traduce de manera concreta los objetivos de una operación estadística. Usualmente está caracterizado por un conjunto de preguntas diseñadas y organizadas para obtener información acerca de un individuo o un tópico, a través de un encuestado o entrevistado» (2013). Frente a la importancia que representa el cuestionario como elemento para la recolección de información, es necesario identificar la funcionalidad de los siguientes aspectos: • Comprensión, es decir, establecer un lenguaje claro y entendible, según el público al que va dirigido o según la fuente de información. • Redacción de las preguntas (fraseos). • Secuencia de capítulos y preguntas. • Registro de respuestas. • Flujos de preguntas. • Consistencia y coherencia. • Tiempo de diligenciamiento. Es importante tener en cuenta que la evaluación de los aspectos se debe realizar de acuerdo con los objetivos de las operaciones estadísticas, de los capítulos y de las preguntas del cuestionario.

8 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

3.2.

Documentación tipo parámetro

Corresponde a aquella documentación que establece el cómo y qué se debe hacer, brindando lineamientos para el desarrollo de elementos necesarios para la producción de información estadística. Entre estos documentos se encuentran las metodologías, las guías, los manuales, los instructivos, los procedimientos, entre otros. De la misma manera, que el instrumento de recolección, los documentos tipo parámetro entregados al personal encargado deben ser evaluados, validando los siguientes aspectos: • • • • • • •

Comprensión. Facilidad de uso. Facilidad de acceso. Integridad. Oportunidad en el suministro. Control documental. Precisión de contenido

3.3.

Herramientas tecnológicas

Para la recolección o el acopio de datos es necesario contar con instrumentos que permitan de manera ágil y segura obtener y procesar los datos suministrados por los encuestados o las fuentes. De esta manera, para el desarrollo de la captura de información existen múltiples instrumentos que permiten el acopio automático de los datos, dentro de ellos se encuentran los Dispositivos Móviles de Captura (DMC), que permiten generar un mayor control por parte de los supervisores al personal encargado de llevar a cabo las entrevistas. En el DANE se cuenta con dispositivos electrónicos como los DMC, que corresponden a un computador de bolsillo, el cual permite la programación del cuestionario para su aplicación directamente en campo. Asimismo, algunas entidades cuentan con formularios electrónicos para las operaciones estadísticas que no requieren de entrevista directa, sino por el contrario son diligenciados directamente por la fuente o de manera asistida. Los aspectos a ser evaluados corresponden a: • Funcionamiento. • Facilidad de uso. • Tiempo de uso.

9 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

• • • •

Recepción de información. Entrega o transmisión de datos. Parámetros de validación. Capacidad y seguridad.

3.4.

Proceso de Sensibilización

Es una actividad necesaria en el desarrollo de las operaciones estadísticas que permite dar a conocer los objetivos de la misma y reflexiona sobre la necesidad de generar la información y sobre los deberes y derechos que tienen los entrevistados. Por lo anterior, se considera relevante realizar pruebas a los siguientes elementos de la sensibilización: la promoción de la operación; los materiales y los procedimientos para llevar a cabo la sensibilización a comunidades involucradas o grupos interesados; por ejemplo: minorías (indígenas, afrocolombianos, LGTBI, etc.). 3.5.

Entrenamiento

El entrenamiento a los diferentes integrantes del equipo de trabajo (encuestadores, supervisores, coordinadores, entre otros) y los aspectos que integran el buen desempeño de los involucrados en la aplicación de los instrumentos de recolección deben ser sometidos a pruebas, así como las ayudas que tienen los encuestadores. Otros elementos a probar son: • • • • • • • • • •

10 DIRPEN

Interpretación, claridad y dominio de los conceptos. Introducción a los encuestados sobre los objetivos de la operación. Apropiada respuesta de los encuestadores a las inquietudes de las fuentes. Procesos y estrategias de evaluación. Manejo y uso de los instrumentos. Equipos de trabajo. Facilidad de ubicación en terreno. Seguimiento de instrucciones. Solución de situaciones planteadas. Habilidades en desarrollo de entrevistas.

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

3.6.

Proceso de Recolección

Las actividades que se realizan durante la recolección de la información tienen un impacto directo en la calidad del producto estadístico. Es por ello que se deben tomar las medidas necesarias para tener la mayor certeza sobre la idoneidad de los encuestadores y la forma como se están recolectando los datos. Los elementos a tener en cuenta y que requieren ser sometidos a pruebas son: • • • • • • • •

Comportamiento de los actores en campo. Calidad de los datos y de los recursos (físicos, humanos, tecnológicos y financieros). Tiempos de diligenciamiento del instrumento (rendimientos) y desplazamientos. Actitud del encuestador. Receptividad del encuestado. Cartografía (adecuada georreferenciación). Funcionalidad de los instrumentos y equipos de recolección. Tiempos y requerimientos para la contratación del personal operativo encargado de la recolección. • Contratación de perfiles adecuados. 3.7.

Procesamiento y generación de resultados

Luego de recolectar o acopiar los datos, se lleva a cabo la consolidación de la base de datos y su procesamiento con el fin de garantizar la consistencia de la información estadística que se pondrá a disposición de los usuarios. Algunos aspectos a tener en cuenta son: • • • •

11 DIRPEN

Verificar programas informáticos con datos de prueba. Calcular tasas de imputación. Controles de consistencia en los aplicativos de captura de la información Analizar resultados preliminares.

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

4. TIPOS DE PRUEBAS

Con el objetivo de identificar la funcionalidad y utilidad de los elementos necesarios para el desarrollo de una operación estadística, es necesario llevar a cabo pruebas que permitan validar su consistencia, ya sea a través de una prueba a nivel general como específica, por elemento. Las inconsistencias o inconvenientes identificados permitirán reducir los errores al momento de ejecutar la operación estadística. Dentro de las principales pruebas a desarrollar se encuentran: 4.1.

Prueba de escritorio

Estas abordan distintos elementos de la operación estadística y permiten identificar posibles debilidades en el desarrollo de las actividades. El desarrollo de este tipo de prueba está enmarcado dentro del mismo equipo de trabajo de la temática u operación estadística y otros integrantes de equipos de trabajo transversales que apoyan la operación estadística y quienes son los directos responsables del diseño de los diferentes elementos. Las pruebas de escritorio deben ser desarrolladas por el equipo temático encargado de la elaboración del instrumento y no deben involucrar personal operativo. Este tipo de prueba es desarrollada, principalmente, por el DANE en sus sistemas de pruebas. Es denominada como un operativo que permite verificar el correcto funcionamiento del diseño, la construcción, la integridad y el uso del producto. Este tipo de pruebas permitirá validar la calidad de los elementos y garantizar su funcionalidad en etapas posteriores. Dado que la aplicación de las pruebas de escritorio garantiza el adecuado funcionamiento de los elementos necesarios para el desarrollo de una operación estadística, a continuación se mencionan aquellos que son evaluados en este tipo de prueba: • Instrumento de recolección. • Herramientas tecnológicas. • Documentación tipo parámetro.

12 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

Posterior a la evaluación de los elementos, se requiere hacer entrega de los resultados de las pruebas de escritorio para identificar las debilidades que presentan estos de acuerdo con los objetivos planteados y de esta manera generar ajustes y evitar futuros errores. A continuación, se presentan buenas prácticas relacionadas: • Que los elementos hayan sido probados de acuerdo con su funcionalidad por parte del personal encargado, y que a su vez estos certifiquen que dichas pruebas fueron realizadas. • Que el personal que desarrolló la(s) prueba(s) genere un certificado firmado, relacionado con la entrega de resultados del elemento probado, para formalizar la aplicación de la prueba. • Que los productos probados sean entregados de manera oportuna de acuerdo con el cronograma de actividades establecido para tal fin. • Que se elabore un informe de resultados, en el cual se plasmen las principales novedades (debilidades y fortalezas) identificadas con el desarrollo de la(s) pruebas(s). 4.2.

Pruebas/Entrevistas cognitivas1

Las entrevistas cognitivas son un método de prueba para obtener información cualitativa sobre cómo las preguntas son interpretadas y contestadas por los encuestados a fin de revisarlas y eliminar las posibles deficiencias en su construcción. Así, el objetivo general de este tipo de prueba es reducir los errores en las respuestas mediante el análisis de la información aportada por los entrevistados durante la prueba. Cuando se lleve a cabo una entrevista cognitiva se deben tener en cuenta dos aspectos importantes para asegurar su correcta aplicación (Brancato, et al., 2004): 1. 2.

Las entrevistas cognitivas son de naturaleza cualitativa. El proceso cognitivo se enfoca en identificar errores de interpretación de la(s) pregunta(s) por parte de los entrevistados.

Asimismo, se debe tener en cuenta las siguientes buenas prácticas estadísticas: • Las entrevistas cognitivas deben ser aplicadas cuando exista un primer borrador del cuestionario que va a ser diligenciado y que se identifiquen las preguntas o temáticas que requieren pruebas cognitivas. (Preguntas objetivo o target). 1 Contextualización basada en el Seminario Taller Pruebas Cognitivas, desarrollado por el DANE en la ciudad de Bogotá.

13 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

• La forma de abordar las entrevistas cognitivas debe enfocarse en cómo son interpretadas, por parte de los entrevistados, las preguntas objeto de estudio. • Para la formulación de las pruebas es importante tener una idea o hipótesis acerca de cuál o cuáles dificultades cognitivas podrían existir sobre la pregunta. • Las pruebas cognitivas nunca deben reemplazar las pruebas cuantitativas realizadas a las preguntas. Por el contrario, estas deberán ser programadas posteriormente a la aplicación de las pruebas cognitivas y a la realización de los posibles ajustes señalados. • Las entrevistas cognitivas deben ser desarrolladas para investigar si los encuestados comprendieron las preguntas de la encuesta en la forma en la que fue propuesta por los diseñadores de la misma. • El número de entrevistas cognitivas a desarrollar se define según el tema a evaluar y se trata de una muestra intencional. Las entrevistas cognitivas pueden ser estructuradas, abiertas o semiestructuradas. Para el desarrollo de las pruebas cognitivas se deben tener en cuenta las siguientes etapas (Statistics Division Economic and Social Commission for Asia Pacific Region. 2010): i Desarrollo del cuestionario. i Selección y entrenamiento de los entrevistadores. i Practica de las entrevistas cognitivas. i Selección de los encuestados. i Toma de notas y grabación (audio o video). i Transcripción de audios. i Resumen de notas. i Captura de notas en software que facilite el análisis. i Análisis de la información. i Elaboración de informe. Como se mencionó anteriormente, las pruebas cognitivas se enfocan a evaluar una o varias preguntas objetivo, seleccionadas por los responsables del formulario, el producto que se obtenga (informe) debe ser insumo para cualquier cambio que se realice a dichas preguntas. Los resultados obtenidos de las pruebas cognitivas aplicadas se constituyen en herramientas fundamentales para el mejoramiento de los operativos de campo, es así como se presentan los siguientes aspectos a considerar para la entrega de resultados:

14 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

• El tiempo transcurrido entre la prueba cognitiva y el informe de resultados debe ser el más corto posible, a fin de poder ajustar las preguntas para que continúe la aplicación de otro tipo de pruebas identificadas en el Plan General de Pruebas. • El informe debe dar razón de los diferentes patrones de interpretación utilizados por las personas entrevistadas para cada una de las preguntas objetivo sujetas a evaluación. • El informe igualmente debe brindar información sobre la utilización de las opciones de respuesta de las preguntas objetivo. • El informe debe contener información sobre las preguntas objetivo sujetas de evaluación; las preguntas de sondeo cognitivo que se hayan diseñado; aquellas preguntas extendidas que pudieran haberse utilizado, y las preguntas adicionales desarrolladas para ser diligenciadas por los entrevistadores. 4.3. Pruebas piloto Estas pruebas son realizadas con el objetivo de medir en gran escala la funcionalidad de las técnicas y los elementos necesarios para el desarrollo de una operación estadística. De esta manera, dichas pruebas brindan información específica, ya que permiten examinar la capacitación y la carga de trabajo de los encuestadores, así como las características del trabajo de campo, entre otros aspectos. Algunas buenas prácticas recomendadas por la Organización de las Naciones Unidas son: • Al momento de llevar a cabo una prueba piloto, se debe establecer en el cuestionario preliminar un espacio que permita indicar el tiempo total de duración de cada módulo; esto permite identificar el tiempo requerido para su desarrollo. • En la prueba piloto se deben probar tanto el cuestionario, como el plan de trabajo del operativo de campo, los métodos de supervisión, los manuales y la entrada de datos. • La muestra seleccionada para llevar a cabo la prueba piloto debe ser representativa de la población. • La muestra debe ser seleccionada de acuerdo con los objetivos establecidos para la prueba piloto. Para el desarrollo de las pruebas piloto se deben considerar las siguientes etapas (Statistics Division Economic and Social Commission for Asia Pacific Region. 2010): i Desarrollo del cuestionario. i Entrenamiento a los encuestadores.

15 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

i Selección y tamaño de la muestra. i Análisis de los resultados. i Revisión de las preguntas. Con el desarrollo de una prueba piloto se debe medir la funcionalidad de uno o varios de los elementos mencionados como son: i i i i i i

Instrumentos de recolección. Documentación tipo parámetro. Herramientas tecnológicas. Proceso de sensibilizaciones. Entrenamiento (virtual y presencial). Proceso de recolección.

Otros elementos a probar corresponden a: Plan de pruebas. Elementos cartográficos. Recolección y procesamiento de datos. Tiempo de duración del entrenamiento: lo cual permite identificar la carga de trabajo para cada encuestador. i Estructura del entrenamiento: permitiendo estructurar el diseño de la capacitación. i Perfiles: mediante el cual se identifica el grado de conocimiento y las capacidades del personal operativo. i Alcance temático: permite validar los conceptos de las temáticas incluidas y los resultados. i Instrumentos de monitoreo: los cuales corresponden a las planillas e indicadores para la supervisión del operativo.

i i i i

Asimismo, deben ser evaluadas actividades como: i i i i i i

16 DIRPEN

Selección de personal. Contratación y consecución de los soportes correspondientes. Supervisión y coordinación. Transmisión y comunicaciones. Consolidación y procesamiento. Generación de resultados.

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

Con el objetivo de realizar los ajustes que se requieran, es indispensable contar con los resultados de la prueba piloto, ya que estos servirán de insumo para el mejoramiento del operativo de campo y evitar futuras inconsistencias. Por lo tanto, es relevante considerar las siguientes buenas prácticas: • Los resultados de la prueba piloto no deben ser usados para proporcionar estimaciones sobre la población, por el contrario deben ser usados para mejorar las preguntas y patrones de respuesta (Grupo Washington, 2010). • Los resultados deben ser usados para ajustar el diseño de los instrumentos, las herramientas tecnológicas y la documentación metodológica. • Debe transcurrir un periodo de tiempo suficiente entre las pruebas piloto y el operativo real, con el objetivo de contar con suficiente tiempo para el análisis de los resultados obtenidos y el desarrollo de los ajustes que se requieran. 4.4. Censos experimentales Este se constituye como un ensayo general del operativo de campo final, especialmente en operaciones censales. En él se evalúan de manera conjunta y global todos los elementos necesarios de la operación estadística, de tal manera que los resultados obtenidos con el desarrollo de este tipo de prueba permiten inferir de manera más clara los aspectos relacionados con la funcionalidad de los elementos en cada una de las etapas para la ejecución de un censo. Dentro de las buenas prácticas estadísticas propuestas se encuentran: • El censo experimental debe tener en cuenta todas las etapas del censo para evaluar el funcionamiento de todo el plan censal, así como su organización (CEPAL, 2001). • Implementar el censo experimental en condiciones similares a las que se desarrollaría de forma real y aproximadamente con un año de anterioridad. • Se debe desarrollar el censo experimental en zonas tanto rurales como urbanas, con el objetivo de obtener un mayor alcance y un mejor análisis de resultados. Con el desarrollo de los censos experimentales se ponen a prueba en su totalidad los elementos necesarios para la ejecución del censo, dado su alcance y completitud. De tal manera los elementos a probar corresponden a:

17 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

i i i i i i i

Instrumento de recolección y control. Documentación tipo parámetro. Herramientas tecnológicas. Proceso de sensibilización. Entrenamiento. Proceso de Recolección (incluida la supervisión y coordinación). Procesamiento de datos y generación de resultados de la prueba (estos resultados no deben ser considerados oficiales).

En el censo experimental es indispensable contar con resultados que permitan evidenciar la funcionalidad y efectividad de los elementos censales, es así como, se presentan las siguientes buenas prácticas: • Los equipos de trabajo responsables deben emitir informes de gestión y ejecución que permitan brindar seguimiento a las actividades desarrolladas en el censo experimental. • Elaborar un informe final detallado en el que se especifiquen las actividades ejecutadas y los principales resultados obtenidos, con el propósito de establecer un documento de referencia para el desarrollo de actividades futuras.

18 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

5. OTROS TIPOS DE PRUEBAS

5.1. Grupos focales Corresponde a una técnica de entrevistas mediante la cual los encuestados son entrevistados en grupo (OCDE, 2013). Es considerado el principal método para probar el instrumento de recolección, los conceptos y el objetivo temático de la operación estadística. Acerca de los grupos focales se puede afirmar lo siguiente: • Los grupos focales y entrevistas en profundidad son los principales métodos de prueba, con relación a la validación y concertación de los conceptos y temas a los encuestados potenciales. • Son el método apropiado, si el objetivo es obtener una visión general del tema, desde la perspectiva de los encuestados y comprender el contexto social de la investigación, así como entender cómo piensan y hablan sobre un tema. • Uno de los elementos esenciales a probar en los grupos focales son los conceptos, en especial en las nuevas operaciones estadísticas que se debe explorar si los conceptos e indicadores de los usuarios son compatibles con los que los encuestados tienen en mente. En la organización de grupos focales se debe tener en cuenta (Brancato, et al., 2004 p. 18): • Invitar de 6 a 10 participantes. • Los participantes del grupo focal no deben ser tan heterogéneos, de lo contrario, la discusión puede llegar a ser bastante confusa y poco estructurada. Por tanto, se recomienda invitar varios grupos de discusión con el objetivo de explorar temas específicos. • Las personas que trabajan en el mismo grupo; por ejemplo, los supervisores y los empleados, o profesores y estudiantes, no deben estar inmersos en el mismo grupo de enfoque. • Debe haber un moderador para estructurar el debate. • Seleccionar y entrenar al moderador. • Duración de la discusión en grupos focales debe ser de máximo una hora y media. • Definir el objetivo de la discusión en el grupo y los temas principales. • Definir los aspectos y enfoques críticos a tener en cuenta. • Organizar varios grupos focales.

19 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

• Revisar la fecha, lugar y equipo necesario para efectuar el grupo focal. • Invitar a los participantes. • Revisar el cumplimiento del cronograma para cada una de las actividades programadas, por ejemplo, el reclutamiento de los participantes. • Considerar la posibilidad de retribuir a los participantes por su tiempo y gastos de viaje. • Identificar los colaboradores y definir la forma para obtener la información necesaria que facilite la elaboración de los informes, por ejemplo, grabar en audio y vídeo. En estos grupos se tiene como fin: • Entender cómo los posibles encuestados utilizan y entienden los términos relacionados con el tema. • Igualmente busca entender cómo perciben las preguntas del cuestionario en términos de sensibilidad o dificultad. • Probar la secuencia, orden, coherencia y estructura del instrumento de recolección. 5.2. Grupo de expertos A diferencia de los grupos focales que evalúan el punto de vista de los proveedores de los datos, los grupos de expertos tienen como fin la realimentación por parte de los usuarios de la información. Estos grupos utilizan el primer borrador del cuestionario, enfocando la revisión en el instrumento de recolección. Al igual que en los grupos focales también se asigna un moderador. Los grupos de expertos tienen como objetivo el asegurar que el cuestionario permita recolectar los datos necesarios para cumplir con los objetivos para los cuales fue diseñada la operación estadística y para verificar el diseño y las preguntas. Es así como se enfoca en: i i i i i i i i i

20 DIRPEN

Los términos y la redacción de las preguntas. La estructura de las preguntas. Las opciones de respuesta. El orden de las preguntas. Los flujos del cuestionario. El entrenamiento a los entrevistadores sobre la administración y control del cuestionario. Disposición de los encuestadores. Los errores de tipografía. Manejo de algunos conceptos teniendo en cuenta las diferencias culturales entre regiones.

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

Existen dos formas de moderar y coordinar el grupo; por una discusión estructurada sobre cada pregunta con un sistema de numeración, que diligencia el cuestionario antes de la reunión o, un debate menos estructurado en cada pregunta, pero sin una lista de numeración estandarizada. Las siguientes son recomendaciones para el desarrollo de este tipo de grupos: • Las revisiones de expertos deben llevarse a cabo durante la fase inicial del proceso de pruebas. • Son apropiadas porque no tienen costos tan elevados como otros métodos y bastante fácil de aplicar. • Los resultados de las evaluaciones de expertos deben considerarse como una orientación hacia los potenciales problemas en las preguntas, que a su vez requieren otras pruebas posteriormente.

21 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

BIBLIOGRAFÍA

Brancato, et al. (2006). Handbook of Recommended Practices for Questionnarie Development and Testing in the European Statistical System. European Commission Grant Agreement. Recuperado de: http://epp.eurostat.ec.europa.eu/portal/page/portal/ research_methodology/documents/Handbook_questionnaire_development_2006.pdf Comisión Económica para América Latina. (2011). Las pruebas piloto para incluir a pueblos indígenas y afrodescendientes: Experiencias y lecciones aprendidas. Recuperado de: http://www.eclac.cl/publicaciones/xml/9/45609/Modulo4-full.pdf DeMaio, T. et al. Improving Survey Quality Through Pretesting. Recuperado de: http://www. census.gov/srd/papers/pdf/sm98-03.pdf Departamento Administrativo Nacional de Estadística (DANE). (2011). Resolución 1503 de 16 de noviembre de 2011. Recuperado de: http://www.dane.gov.co/files/acerca/ Normatividad/Resolucion1503_2011.pdf _ (2005). Guía y protocolo de pruebas de escritorio. _ (2013). Sistema de Consulta de Conceptos Estadísticos. _ (2013). 3er Censo Nacional Agropecuario. (2013). Recuperado de: http://www.dane.gov.co/cna/index.php/acercadecenso/pilotos Instituto Nacional de Estadística e Informática. (2012). IV Censo Nacional Agropecuario 2012. Plan Directriz. Recuperado de: http://www.fao.org/fileadmin/templates/ess/ ess_test_folder/Workshops_Events/Census_Peru_2012/Technical_documents/Census_ guidelines_Peru.pdf Organization for Economic Co-operation and Development (OECD). (2013). Glosario de Términos Estadísticos. Recuperado de: http://stats.oecd.org/glossary/detail.asp?ID=4899 _ (2003). Quality Framework and Guidelines for OECD Statistical Activities. Recuperado de: http://search.oecd.org/officialdocuments/displaydocumentpdf/?cote=std/ qfs(2011)1&doclanguage=en Organización de las Naciones Unidas. (2007). Encuestas de hogares en los países en desarrollo y en transición. Recuperado de: http:// unstats.un.org/unsd/publication/seriesf/seriesf_96s.pdf

22 DIRPEN

DSO-030-LIN-10

Lineamientos para la definición y aplicación de pruebas en las operaciones estadísticas

Organización de las Naciones Unidas para la Agricultura y la Alimentación. (1998). Censos Agropecuarios y Género – Conceptos y Metodología. Recuperado de: http://www.fao.org/ docrep/004/x2919s/x2919s06.htm#bm6.2.11 Real Academia de la Lengua. (RAE). Diccionario de la lengua española. Recuperado el 18 de noviembre 2013, de: http://lema.rae.es/drae/?val=test. Statistics Division Economic and Social Commission for Asia Pacific Region. (2010). Guidelines for cognitive and pilot testing of questions for use in surveys. Recuperado de: http://www. unescap.org/stat/disability/Disability-question-testing-guidelines.pdf

23 DIRPEN

DSO-030-LIN-10