Story Transcript
Tema 4.- Elaboración de escalas
1
Tema 4-. Procedimientos y procesos para la elaboración de escalas psicológicas Desarrollo del esquema de construcción de tests 1) Establecer los objetivos 2) Identificar las conductas que representan al constructo o definir el dominio 3) Restricciones y especificaciones del test 4) Conjunto inicial base de ítems. 5) Revisar los ítems 6) Mantener a prueba los ítems preliminares 7) Poner a prueba los ítems de un campo en la muestra definitiva 8) Determinar propiedades estadísticas sobre las puntuaciones de los ítems 9) Diseñar y efectuar estudios de fiabilidad y validez sobre la forma final del test 10) Desarrollar guías para la administración, puntuación e interpretación de las puntuaciones
1
Tema 4.- Elaboración de escalas
2
Las dos etapas iniciales se estudiaron en el tema precedente y las etapas 5 en adelante se abordarán en los temas posteriores. 3) Restricciones de una prueba y especificaciones del test Introducción-I •
• •
En la etapa anterior surgen una serie de conductas concretas o manifestaciones del constructo (las conductas o tópicos a cubrir, las destrezas que se evaluarán, etc.) así como el conjunto de ítems para mediarlas. De lo que se trata ahora es de elaborar una tabla de especificaciones que ponga en relación ítems con conductas. Teniendo en cuenta la diferencia entre tests referidos a la norma versus referidos al criterio. Teniendo en cuenta los sistemas de categorización de operaciones cognitivas como el de Bloom (1956): conocimiento, comprensión, etc.
La construcción de un test debe plantearse considerando los límites impuestos por la práctica.
9 Una limitación hace referencia a las restricciones temporales. En ocasiones forman parte del constructo, pero más generalmente vienen impuestas por las características de la población o por las condiciones de la aplicación. El compromiso entre la necesidad de utilizar un test con un número suficiente de ítems para que la fiabilidad sea aceptable y las presiones de tiempo puede obligar a disminuir el número de opciones de respuesta, acortar los enunciados o renunciar a incluir una dimensión o una faceta. Una solución son los tests adaptados al sujeto o tests a medida en los que no es necesario administrar un número elevado de ítems para estimar fiablemente la puntuación de un sujeto. 9 Si la aplicación será individual o colectiva. Como la mayoría se aplican colectivamente las instrucciones deberán ser de fácil comprensión, de manera que se comprenda la tarea y se responda de manera estandarizada a las demandas de la misma. Incluso en los tests de aplicación individual hay que considerar muchos aspectos, como el tipo de material que podrá manipular el examinado, elementos que se le pueden presentar a continuación, tipo de ayudas que se le pueden proporcionar, número de intentos para responder a las preguntas, etc. 9 Que los contenidos de los ítems no favorezcan a unos grupos frente a otros. Puede ser que el test imponga un gran dominio del lenguaje y por ende favorecería a los grupos con mayor nivel educativo e iría en detrimento de clases con menor nivel socio-cultural.
2
Tema 4.- Elaboración de escalas
3
3) Restricciones de una prueba y especificaciones del test Introducción-II
9 Las especificaciones del test hacen referencia a una planificación sobre el énfasis o peso relativo que debería recibir cada uno de los componentes conductuales identificado en la fase precedente del constructo. Esto lo puede hacer el propio constructor del test o bien puede obtenerse a partir del juicio de los expertos, dependiendo de las técnicas empleadas para la elaboración del constructo. 9 Esta etapa coincide con lo que se entiende por planificación de la medida (i.e. Thorndike). 9 El resultado es entonces una dimensión que recoge el porcentaje o proporción y por ende el número de ítems que se dedicará a cada componente. 9 Las especificaciones deben de atender a dos propiedades ortogonales de los ítems: o Contenidos sustantivos (áreas o temas). o Procesos (operaciones o estrategias) psicológicos que se requieren. Es decir, las dimensiones de agrupación más pertinentes para esos contenidos. Lo que se espera que haga el examinado con ese contenido. Dependiendo del tipo de tests: Operaciones o procesos cognitivos Contextos sociales: familiar, escolar, amigos, etc. Sistemas de Respuesta implicados: cognitivo-subjetivo, motorconductual, fisiológico-emocional, etc. 9 Por ejemplo para el contenido “Fiabilidad” se pueden crear ítems que requieren conocimiento o bien mediante ítems que requieren más bien la aplicación. Posiblemente un psicopedagogo requiere más bien el segundo tipo y un psicólogo preferentemente el primer tipo. Posiblemente un ingeniero y un auxiliar técnico requieren operaciones cognitivas diferentes.
3
Tema 4.- Elaboración de escalas
4
3) Restricciones de una prueba y especificaciones del test Los procesos psicológicos-I
9 Se han propuesto taxonomías uniformes para expresar los diversos niveles del proceso que se va a probar. El sistema jerárquico atribuido a Bloom (1954) es el más popular pero excesivamente general por lo que en ocasiones es preferible trabajar con categorías un poco más simples y descriptivas como las del sistema de Thorndike y Hagen (1977). Proporcionan un marco de trabajo, una guía útil para el desarrollo de ítems que obligan al examinado a hacer algo más que tareas pasivas -recordar hechos, saber nombres, fechas, definiciones y cosas parecidas-. (1) Sistema de Bloom: 1) Conocimiento. recuerdo de material de forma similar a como fue presentado. 2) Comprensión: Traslado, interpretación o extrapolación de un concepto de forma algo diferente de la originalmente presentada o practicada. 3) Aplicación. Resolver problemas nuevos usando principios familiares o generalizadores. 4) Análisis. Romper un problema en sus elementos componentes utilizando un proceso que requiere conocimiento de elementos múltiples, relaciones y/o principios de organización entre estos elementos. 5) Síntesis. Combinar elementos en un todo usando una estructura original o resolver un problema que requiere la combinación de varios principios secuencialmente en una nueva situación. 6) Evaluación. Empleo de criterios internos (generados por el sujeto) o externos para hacer juicios críticos en términos de seguridad, consistencia, etc. (2) Sistema de Thorndike y Hagen (1977): 9 Reconocimiento de términos 9 Vocabulario. 9 Identificación de hechos, principios, conceptos y generalizaciones. 9 Evaluación de información. 9 Aplicación de principios a situaciones nuevas. (3) Ebel (1972) para tests de ejecución: 9 Conocimiento y uso de terminología. 9 Recuerdo de material factual -hechos-. 9 Uso de generalización, explicación, cálculo y predicción de resultados. 9 Recomendaciones para la acción.
4
Tema 4.- Elaboración de escalas
5
3) Restricciones de una prueba y especificaciones del test Los procesos psicológicos-II En general:
9 9 9 9 9 9 9 9 9 9 9 9 9
Observar-escuchar-. Recordar (reconocer). Interpretar. Comparar. Clasificar. Generalizar-Discriminar. Inferir –inductivo desde lo particular a lo general-. Deducir. Analizar. Hacer síntesis. Formar Hipótesis Predecir. Evaluar –enjuiciar-, extraer conclusiones o discusión.
9 En definitiva, se construye una tabla de especificaciones cruzando contenidos y operaciones y se detallan los ítems para cada combinación, indicando en los márgenes la proporción de ítems de cada categoría o contenido cubierto.
5
Tema 4.- Elaboración de escalas
6
3) Restricciones de una prueba y especificaciones del test Ejemplo-1 de tabla de especificaciones: NIVEL COGNITIVO Soluc. Categoría de contenidos base 1.- Dirección clase
Conocimiento
Aplicación
Problem.
Total
1
10
9
20
1
11
11
23
2
16
1
19
1
6
2
9
7
3
10
2
12
5
19
7
62
31
100
(contenidos 6, 12, 13, 15, 16, 17, 20, 22). 2.- Desarrollo estudiantes (contenidos 6, 10, 11, 12, 16, 17, 20, 21, 22, 23). 3.- Evaluación, registro y comunicación progreso de los estudiantes. (contenidos 6, 7, 10, 11, 12, 14, 18) 4.- Material enseñanza (contenidos 10, 12, 13, 15 21) 5.- Objetivos de enseñanza (contenidos 9, 10, 11, 12, 14) 21) 6.- Aprendizaje y enseñanza (contenidos 6, 9, 10, 11, 12, 13, 15, 17, 21, 22, 23) TOTAL
Valoración del profesorado. "Florida Teacher Certification Examination"
6
Tema 4.- Elaboración de escalas
7
3) Restricciones de una prueba y especificaciones del test Ejemplo-2 de tabla de especificaciones: Reconocim. Identificac. Identificac. Evaluac. Aplicac.principiosTOTALPORCEN. términos y Hechos principios, información y generalizac. Vocabularioespecíficos conceptos, (salud y anuncios) a situac. nuevas generalizac. ANUTRICIÓN la dieta nutrientes vitaminas enzimas metabolismo oxidación B ENFERMEDADES CONTAGIOSAS epidémicas patógenas endémicas protozoarios
C ENFERMEDADES NO CONTAGIOSAS Prototipos bocio diabetes por deficiencias cardiovasculares caries TOTAL PORCENTAJE
4-5
7-8
7-8
2-3
2-3
24
40
4-5
7-8
7-8
2-3
2-3
24
40
2-3
3-4
3-4
1-2
1-2
12
20
12 20
18 30
18 30
6 10
6 10
60
7
Tema 4.- Elaboración de escalas
8
3) Restricciones de una prueba y especificaciones del test Ejemplo-2 de tabla de especificaciones- continuación: Reconocim.
Identificac.
Identificac.
Evaluac.
términos y
hechos
principios,
información
Vocabulario
específicos
conceptos,
Aplicac.principios y generalizac.
(salud y anuncios)
a situac. nuevas
generalizac. A
NUTRICIÓN la dieta proteína incompl. Nutrientes esenciales salud nutrientesproteína compl.
Buenas fuentes nutrientes alim.
vitaminasAa
Partes sis.digestivo
enzimasGlucógeno metabolismoCarbohidratos
Bases de dieta bien balanceada Reacc. enzimáticas Intercamb. intercelular
Proc.digestión cada nutriente
Metabolismo celular
Fuentes inf. alimentos y nutrición
F(x)' nutrientes cuerpo
oxidación
Análisis publicidd alimen- Identif. dietas bien balanceadas tos y dietas Interpreta etiquetas alim. envasados Identifica buenas fuentes inf' d alim y dietas
Cálc. calorías para ganar-perder peso Predic' consec' cambios enzimát. en el sis.digestivo Identif. servicios y protec' de la ley de alimentos y medicam.
B
ENFERMEDADES CONTAGIOSAS epidémicasInmunidad
Las más comunes
Principios básicos control enf.
Discriminac' entre eviden-
patógenasvirus
Fr. de las diversas enf.
Ac' antibióticos
cia de adecua-inadecua.
endémicasportador
Formas contagio
Defensas cuerpo contra enf'
protozoariosanticuerpos
Tipos inmunizac'
Inmunorreacc' cuerpo
Incubación
Sintomatología de las comunes
medicinas Identifica anuncios capciosos medicam.
Reconocim. condiciones probb q pueden favorecer propagac' enf' contagiosas Identif.métodos apropiados esterilizac' Dar razones apropiadas reglamentac, proc' y tratamientos.
C
ENFERMEDADES NO CONTAGIOSAS Prototipos
Fr de las diversas enf.
Presión sis.cardiovascular
bocio
Específicas x fata Vitamina
Control diabetes
diabetes
...x desequilibrio hormonal
Carac.hereditarias anormales
por deficiencias Enf.por deficien Comunes en adolescencia y adultos jóvenes Crecim.anormal células cardiovascularescias.
Identif. err' o inf' engañosa Predic' consec' cambios en en publicac. salud Identif. fuentes inf' aprop. sobre probl salud
secrec' ciertas hormonas Predic' probb heredar condic' anormales
y adultos jóvenes
caries
8
Tema 4.- Elaboración de escalas
9
3) Restricciones de una prueba y especificaciones del test
Caracterización de las operaciones cognitivas-I: (1) Conocimientos.-Memorizar. En forma similar a como fue presentado durante la explicación. o De términos, hechos, datos específicos. o Métodos, clasificaciones, categorías. o Reglas-leyes-principios. o Conocimiento -recuerdo-, reconocimiento y uso de Terminología (Vocabulario) específico a la materia (el dominio de contenidos). o En general, aprendizaje de conceptos y categorías. o Ejemplos: o Nombrar ciudades de una provincia dada. o Nombrar las etapas del proceso de modelización. (2) Comprensión. A nivel elemental: expresarlo de otra manera, ejemplos y predecir/anticipar extraer conclusiones. Abstracción de las bases, los principios nucleares, el alcance. o Traducción o traslación. o Decirlo de otra manera –gráficos vs datos-. o Interpretación. o Identificar relaciones (igualdad, semejanza, causa-efecto, jerarquizar ideas). o Aportar o reconocer ejemplos. (tipo de diseño o de esquema de investigación). o Extrapolación. o Predecir tendencias o consecuencias probables (anticipación). o Interpolar. o Ejemplos: o Reconocer nombres en frases que no han sido usadas en los ejemplos de clase, o que tenga que dar un ejemplo de un n1 básico más que aquellos dados en el libro de texto o en los ejemplos de clase. o Poner un ejemplo (nuevo) de esquema de investigación descriptivo. (3) Aplicación (generalización) Saber hacer: habilidades intelectuales. Aplicación de principios a situaciones nuevas. o Resolver problemas nuevos mediante el uso de principios familiares o generalizaciones a otras circunstancias o situaciones. o Uso de generalización-discriminación. o Puede ser más o menos complejo en función de lo rutinario que sea el problema a resolver (muy similar a los que se han resulto en clase) y dependiendo del grado de estructuración del mismo. Ejemplo: o Calcular la resistencia de un conductor eléctrico usando la ley de Ohm cuando no se dan referencias a la ley en el enunciado del problema. o Aplicar el análisis adecuado en función del tipo de diseño, sin dar referencias directas en el enunciado.
9
Tema 4.- Elaboración de escalas
10
3) Restricciones de una prueba y especificaciones del test
Caracterización de las operaciones cognitivas-II: (4) Análisis (capacidad crítica básica) Comprensión a un nivel más profundo que requiere examinar cuidadosamente y desmenuzar el problema en sus partes componentes. o Descomponer una comunicación o problema en sus elementos componentes por el uso de un proceso que requiere reconocer múltiples elementos, relaciones entre esos elementos, y/o principios organizacionales. o Resolver problemas más complejos por asemejarse menos a los ya conocidos y por ser más difusos, que se pueden resolver a partir de cursos de acción alternativos. Tiene que ver con la optimización. o Ejemplo: o Hacer una identificación del género de un nuevo espécimen de planta basado en sus hojas y flores características. o Saber qué tipo de análisis estadístico es más adecuado para una investigación real. (5) Síntesis (creatividad) Conexión de contenidos a partir de diferentes conceptos. o Combinando elementos en un conjunto usando una estructura original o resolviendo un problema que requiere la combinación de varios principios secuencialmente en una situación nueva. o Hay que aportar nueva información al proceso, no basta con reorganización o aplicación de la que ya se conoce. o Ejemplo: o Escribir un programa de ordenador para realizar un cálculo de un conjunto de registros de datos usando sentencias de input, output, bucles y transferencia lógica en una secuencia eficiente de ejecución. o Diseñar una investigación para investigar un problema nuevo, combinando ideas de diferentes partes. (6) Evaluación (juicio) Capacidad crítica. o Empleo de criterios externos o internos (auto-generados) para hacer juicios críticos en términos de exactitud, consistencia de lógica, o puntos de vista artísticos o filosóficos. o Ejemplo: Escribir una revisión crítica de un artículo describiendo investigaciones empíricas en Ps.Social o de la Person.
10
Tema 4.- Elaboración de escalas
11
4) Construir un conjunto inicial base de ítems. Introducción-I • Le llamaremos Conjunto 1 y debe de contener ítems de sobra, a sabiendas de que muchos serán eliminados de la forma final del test. • Ya vimos lo tocante a qué medir y ahora abordaremos el cómo. • Etapas: 9 Seleccionar un formato adecuado de ítem. 9 Verificar que el formato propuesto es factible para los examinados. 9 Seleccionar y entrenar a los escritores del test. 9 Redactar o en general implementar los ítems. 9 Definir sugerencias para uniformar a los escritores. 9 Seguir los progresos del escritor y la calidad de los mimos. 9 Un estudio a pequeña escala usando unos pocos ítems prototípicos para probar la adecuación del formato elegido. • Hay que adoptar, pues, decisiones sobre el formato más adecuado, buscando uno que sea común a toda la prueba. • Antecedentes: • Revisar instrumentos similares que ya se han empleado en el campo en cuestión. • Consultar a expertos para planificar cuestiones como: 1. Tipo de test más adecuado: 9 Según el método: Grado estructuración: Psicométricos vs. proyectivos -personalidad total-. Factor tiempo: Velocidad vs. fondo. Por referencia a la norma vs. el criterio. Formato de Respuesta exigido: Invención, elección y emparejamiento de respuestas. 9 Según el material: Impresos o "papel y lápiz". Respuestas de tipo verbal o simbólico (por ejemplo vocabulario). Respuestas gráficas ó en general no verbales (por ejemplo dibujos). Manipulativos o de ejecución "performance". Con materiales como madera, papel, metal, aptos. mecánicos, ordenadores, rompecabezas, cubos, ritmo, clasificación de objetos, colocación de piezas geométricas. En tests de personalidad: preguntas, análisis de trazos, análisis de movimientos expresivos -gestos, canto, palabra, pasos, escritura-. En los tests proyectivos la personalidad se proyecta en su interpretación, por tanto el material de interpretación es muy variado: palabras, colores, manchas, material plástico, escenas de fotografías, viñetas o películas. 9 Según la población de examinados: Individuales vs. colectivos. Poblaciones normales vs. especiales -que no pueden emitir respuestas verbales- como: Sujetos analfabetos, retardados en el desarrollo, niños muy pequeños. Poblaciones generales vs. grupos específicos. Todas edades vs. edades concretas -primeros meses, primeros años,
adolescencia, adultos, vejez-. 2. Cuestiones pragmáticas: 9 ¿Tendrán tiempo suficiente los empleados de una compañía para implementar ítems de preguntas abiertas? 9 ¿Los niños pueden distinguir entre cinco puntos de un continuo de agradodesagrado?
9 Familiaridad con la población de examinados. 9 Evitar formatos novedosos o no estudiados.
11
Tema 4.- Elaboración de escalas
12
4) Construir un conjunto inicial base de ítems. Introducción-II
Decisiones sobre el tipo o formato de ítem más adecuado en función de la finalidad y tipo de test: En los tests de ejecución (óptima): o Alternativas o Elección múltiple o Emparejamiento. o Respuesta corta. o Completar. o Ensayo (respuesta elaborada). o Toma de decisiones. En los inventarios: o Agrado-Desagrado. o Tipo Likert. o Listas de adjetivos bipolares. Controversia sobre el tipo de formato más recomendable. Ebel (1982) a favor de los altamente estructurados por varios motivos: o A igualdad de tiempo permiten rastrear de forma más exhaustiva el dominio. o Actuación menos sujeta a la influencia de factores extraños, como el elevado nivel de lectura requerido por algunos items con formato más complejo. o Mayor claridad conceptual sobre la natura de lo q es examinado. Frederiksen (1981) en contra y defensor de tareas de solución de problemas por varios motivos: o Se corre el peligro de que lo que puede ser fácilmente medido puede ensombrecer consideraciones sobre lo que debería ser medido -fiabilidd entorpece a validez- y dejar habilidades importantes sin medir.
De cualquier se pueden tomar como recomendaciones generales para cualquier tipo de formato.
12
Tema 4.- Elaboración de escalas
13
4) Construir un conjunto inicial base de ítems.
TESTS DE EJECUCIÓN ÓPTIMA. (1) De 2 alternativas (V/F). Fiabilidad significa fundamentalmente consistencia interna. Verdadero Falso. (2) Elección múltiple. Un tipo es el de analogías; Rxx' es a como IG a ... La noción de Fiabilidad resalta algunos aspectos como: A. El grado de estabilidad del rasgo a medir. B. La homogeneidad que exhiben los datos. C. El grado de generalización a la población ideal. D. Todas las anteriores. E. Ninguna de las anteriores. (3) Emparejamiento (relación). ______ 1. Alucinaciones A. Autismo. ______ 2. Retraimiento social. B. Depresión. ______ 3. Problemas comunicación C. Esquizofrenia. ______ 4. Atribuciones internas preponderantemente. D. Epilepsia. ______5. Alteraciones fisiológicas importantes. E. Drogadicción. (4) De completar. (5) Respuesta corta. (6) Enasayo (Ej. Exponga sus conocimientos acerca de la validez aparente...). Problema de de objetivización. (7) Solución problemas.
13
Tema 4.- Elaboración de escalas
14
4) Construir un conjunto inicial base de ítems.
TESTS DE EJECUCIÓN ÓPTIMA. CONSEJOS PARA EL FORMATO "TIPO TEST"
• •
•
• • • • • •
Las alternativas incorrectas deben ser igualmente plausibles, que todas parezcan lógicamente razonables. Por ejemplo evitar que las alternativas se descarten por sentido común. Se sabe que las alternativas incorrectas más plausibles tienden a perjudicar a los sujetos más competentes debido a la confusión que pueden generar los matices introducidos. Para evitar esto podríamos rastrear información básica en formato tipo test y progresivamente la competencia mayor de las personas con otro tipo de formatos tipo resolución Problemas/síntesis/evaluación. Las alternativas incorrectas deberían guiarse según la evaluación de malas concepciones, malas interpretaciones, err' de cómputo -cálculo-, confusión de términos o conceptos básicos; o bien para explorar errores predictibles a partir de una estrategia de razonamiento mal adquirida o incompleta -por ejemplo las sobregeneralizaciones-. Cuidar la redacción, evitando enunciados usando la negación, pasiva, frases de estructura gramatical excesivamente compleja (i.e.. 3 subordinaciones encadenadas), expresiones que den pistas ("raras veces", "a menudo", "generalmente"). Además de debe cuidar la concordancia gramatical entre el enunciado general y todas las alternativas. No apelmazar los ítems de tipo elección múltiple para facilitar la comprensión. Evitar la introducción de distractores y facilitar en lo posible los procesos psicológicos generales. Por ejemplo la longitud y grado de elaboración de las alternativas debe ser equivalente (ej. principiante que elabora la correcta y despacha rápido las incorrectas). Evitar reiteraciones innecesarias de texto y el uso de alternativas generales como "todas las anteriores o ninguna de las anteriores" ya que esto va contra la equivalencia de las alternativas. También se debe evitar en la medida de los posible un formato confuso desde el punto de vista de los procesos de razonamiento que implica; como: A) Opciones a, b pero no c. B) Opciones a, c pero no a. • Por último, si se emplean cifras (números, fechas,...) presentarlas ordenadamente ya sea en orden creciente o decreciente.
14
Tema 4.- Elaboración de escalas
15
4) Construir un conjunto inicial base de ítems.
TESTS DE INVENTARIOS –ESCALAS DE PERSONALIDAD Y ACTITUDES-. (1) Acuerdo-Desacuerdo. Los niños deberían obedecer a sus padres sin discusión. Acuerdo Hoy día los niños necesitan fuerte disciplina en casa. Acuerdo Muchos niños con problemas conductuales se revelan contra un excesivo control de los padres. Acuerdo
Desacuerdo Desacuerdo Desacuerdo
o Continuo entre autoritarismo-permisividad. o Decisión sobre qué polo del continuo recaen las puntuaciones altas y bajas. Por ejemplo, puntuaciones altas para reflejar mayor permisividad (y en consecuencia menor autoritarismo). o Por lo tanto un patrón “Desacuerdo, Desacuerdo, Acuerdo” sería puntuado como “1, 1, 1” respecto a permisividad (la más alta posible en este caso); mientras que otro patrón como “Desagrado, Agrado, Desagrado”; en este caso se puntuaría como “1, 0, 0”; y en total 1 (muy baja; es decir se aproxima más al polo autoritarismo que al de permisividad). o Habría que fijar un punto de corte. Por ejemplo en un test con 20 ítems; a partir de 10 (puntuaciones altas) se considera tendente hacia la permisividad; mientras que por debajo de 10 (puntuaciones bajas) se considera tendente al autoritarismo. o Empleo de Ponderaciones en función de la fuerza percibida por ejemplo con el método de Thurstone. (2) Formato tipo Likert. o Frases claramente positivas y negativas -no hay neutrales- y se evalúan según una escala de 5 puntos. o Puntuaciones totales se obtienen a partir de la suma de los puntos asociados con la respuesta dada a cada uno de los ítems. Ej: Los niños deberían obedecer a sus padres sin discusión. 1 2 3 4 5. 5 4 3 2 Fuerte Desacuerdo Neutral Acuerdo desacuerdo
1 Fuerte acuerdo
(3) Pares de adjetivos bipolares o Propuestos por Osgood y otros (1957) para el estudio de sentido semántico de constructos psicológicos. o Dimensiones subyacentes al significado semántico de constructos verbales. Evaluación. Potencia. Actividad. o Método para analizar e interpretar puntuaciones: El diferencial semántico. Ej: Para evaluar la actitud de los profesores hacia el trabajo con niños mentalmente retardados (o a incluir gitanos en sus clases). Bonito _____ _____ _____ _____ _____ Feo Feliz _____ _____ _____ _____ _____ Triste Sucio _____ _____ _____ _____ _____ Limpio
15
Tema 4.- Elaboración de escalas
16
4) Construir un conjunto inicial base de ítems.
TESTS DE INVENTARIOS –ESCALAS DE PERSONALIDAD Y ACTITUDES-. CONSEJOS GENERALES
1. Frases o cuestiones en tiempo presente. 2. No emplear frases basadas en los hechos o que pueden ser interpretadas de tal manera. 3. Evitar frases que pueden tener más de una interpretación. 4. Evitar frases que es probable que puedan ser suscritas por casi todos o casi ninguno. 5. Intentar llegar a un número aproximadamente equivalente de frases expresando los dos polos de afectividad -sentimientos positivos y negativos-. 6. Frases que tiendan a ser cortas; por ejemplo no exceder 20 palabras. 7. Que cada frase sea adecuada en el aspecto gramatical. 8. Frases que contengan universales tales como todo, siempre, ninguno, nunca; a menudo introducen ambigüedad y deberían ser evitadas. 9. Evitar el empleo de cualificadores indefinidos tales como solo, algunos, pocos, rara vez. 10. En la medida de lo posible, las frases deberían ser simples más que compuestas. Por ejemplo evitar el uso de frases que contengan las cláusulas "si" o "porque". 11. Emplear vocabulario que pueda ser comprendido fácilmente por las personas a las que va dirigida la prueba. 12. Evitar el empleo de frases negativas (por ejemplo no, ninguno, nunca). 13. Problema con los sesgos de Respuesta en los inventarios (i.e. extremismo, aquiescencia). A veces se observan respuestas de cierta manera ante determinado tipo de formato, independientemente del contenido del ítem. Especialmente el consentimiento (tendencia a estar de acuerdo con una frase independientemente de su contenido) y la interpretación individual diferente de cualificadores indefinidos. 14. Uso de diferentes puntos de anclaje en el continuo de respuesta o un número diferente de alternativas de respuesta.
16
Tema 4.- Elaboración de escalas
17
4) Construir un conjunto inicial base de ítems.
EL FACTOR TIEMPO. 9 Si hay tiempo límite entonces surge la necesidad de distinguir entre tests de velocidad y de fondo (o Potencia), según que en los errores cometidos -RR no correctas- prime la variabilidad en ítems a los que no se les ha dado ningún tipo de R -velocidad pura- o cuando prima la variabilidad en los ítems a los que se ha respondido y en cambio no oscilan mucho las RR a los ítems no respondidos. 9 Hay que decidir si el factor tiempo es relevante al constructo que deseamos medir. Cuando el interés primario estriba en el grado de consistencia de la ejecución que podría haber sido observada si todos los examinados hubiesen terminado el test. 9 Ver tema de fiabilidad. 9 Índices indicadores de Velocidad (V) vs Potencia (P): 2 S Errores • IV = 2 2 S Errores + S NoInten •
CV =
∑X
Err
∑X +∑ X
NI
Omis
+ ∑ X NI
× 100
17
Tema 4.- Elaboración de escalas
18
4) Construir un conjunto inicial base de ítems. TESTS REFERIDOS AL CRITERIO-I
9 En el caso de los tests referidos al criterio se emplean algunas técnicas ligeramente distintas que en el caso de los tests referidos a la norma. Tres son las propuestas fundamentales para el muestreo de dominios: o Especificaciones del ítem, o Algoritmos -contenidos cuantitativos- y Formas de items -contenidos verbales-, o Frases en Mapas que se estudia expresamente en el apartado de escalamiento psicológico propuesto por Guttman.
18
Tema 4.- Elaboración de escalas
19
4) Construir un conjunto inicial base de ítems. TESTS REFERIDOS AL CRITERIO-II (1) Especificación del ítem
Subhabilidad: Descriptor del ítem:
Demostrar habilidad para multiplicar decimales. Multiplicación decimal.-Cálculos.
ATRIBUTOS ESTIMULARES ATRIBUTOS DE RESPUESTA 1. El problema requeriría la multiplicación 1. Formato: de dos números decimales, fracciones y/o Todas las elecciones numéricas serían alineadas de acuerdo al punto decimal y una mezcla. ordenadas en orden ascendente o descendente. 2. El problema sería escrito en forma de 2. Cuatro alternativas de respuesta: frases u horizontalmente. Para la forma a. La respuesta correcta. horizontal, instrucciones como "Encontrar b. Una incorrecta que reflejaría un error en reagrupación durante multiplicación. el producto" o "multiplicar". c. Una incorrecta que reflejaría un error de alineación durante multiplicación. d. Incorrecta que reflejaría ya (1) la omisión del punto decimal o (2) mala colocación del mismo. 3. Uno de los factores constaría de 3 dígitos 3. Otras posibles respuestas. no nulos; el otro tendría 3 dígitos pero 2 de "Ninguna de las anteriores" reemplazaría ya los cuales serían no nulos y mayores que 5. a, b ó c. Esta alternativa aparecería en la 40 posición. 4. Cada uno de los dos factores tendría al menos un lugar decimal. 5. El producto no contendría más de 4 lugares decimales. 6. Al menos 2 pasos de reagrupamiento serían necesarios. 7. Al elegir los factores, los dígitos no se emplearían más de 2 veces. Traducido del "Florida Teacher Examination Bulletin II"
19
Tema 4.- Elaboración de escalas
20
4) Construir un conjunto inicial base de ítems. TESTS REFERIDOS AL CRITERIO-III
(2) Algoritmos y Formas de ítems Algoritmo El estudiante será capaz de calcular la diferencia entre cualesquiera dos enteros positivos en la forma a - b = ______ , donde a > b. Forma de ítem Cuando un árbol de cítricos muestra síntoma de (B) . A 1. Hojas amarillentas. 2. Corteza quebradiza. 3. Puntos oxidación en las hojas 4. Sustancia negra en las hojas. 5. Corteza con escamas, etc.
(A)
, esto es probablemente un
B 1. Deficiencia nutritiva. 2. Herida herbicida. 3. Herida por clima frío. 4. Infección viral. 5. Infección bacterizida
20