TALLER: EXAMEN ESCRITO DRA. NORMA JUÁREZ DÍAZ GONZÁLEZ DR. FAUSTO GARCÍA CARRASCO

Taller: Examen Escrito

79

Dra. Juárez D./ Dr. García . . . .

TALLER: EXAMEN ESCRITO DRA. NORMA JUÁREZ DÍAZ GONZÁLEZ DR. FAUSTO GARCÍA CARRASCO

INTRODUCCIÓN

El examen escrito es la modalidad de evaluación más utilizada por los consejos de especialidad en nuestro país, la mayoría incluyen al examen escrito como uno de los medios de certificación, aunque sólo 7 de ellos lo utiliza como el único medio para definir la competencia, ya que los 39 restantes combinan el instrumento con otras modalidades. (Figura No.1) De los diversos tipos de reactivos existentes, los reactivos de opción múltiple

son

los más utilizados por los consejos de especialidad (44

consejos); aunque 35 consejos incluyen además casos clínicos, 24 añaden la identificación de imágenes, 11 utilizan reactivos de falso-verdadero-no sé y ocho prefieren

la correlación de columnas para identificar los

conocimientos. (Figura No. 2)

Taller: Examen Escrito

80

Dra. Juárez D./ Dr. García . . . .

Más de 50 % de los consejos cumplen con criterios de calidad relacionados con la ponderación del grado de dificultad del examen (37), del índice de discriminación (28) y de la ponderación de los contenidos (36), y han solicitado apoyo metodológico para su elaboración (28)(Figura No. 3) En relación al número de reactivos en el examen ,la mayoría lo llevan a cabo entre 100 y 300 reactivos (Figura No.4).

En cuanto al número de días que se requieren para aplicar el examen 22 Consejos lo aplican en dos días, en un solo día 16 Consejos. La totalidad de los participantes en la encuesta utilizan los tratados de especialidad como la fuente de información que sustenta la elaboración de los reactivas y 40 de ellos añade además revistas indexadas e información derivada

de

la

evidencia

científica probada (medicina basada en

evidencias)veinte y nueve Consejos

Bajo este panorama se decidió revisar el marco teórico de la evaluación mediante examen escrito y para ello se contó con la presencia de la Dra. Patricia Borrego Mora,

de la División de Estudios de Posgrado

de la

Facultad de Medicina, Ciudad Universitaria (UNAM) y la Dra. Gloria García Medina, de la Facultad de Estudios Superiores Iztacala (UNAM)

Taller: Examen Escrito

81

Dra. Juárez D./ Dr. García . . . .

Para los fines de la certificación, la evaluación es un proceso complejo que tiene como finalidad comprobar de modo sistemático en qué medida se han logrado en los especialistas médicos los resultados previstos en la competencia profesional.

Es un medio para predecir el desempeño esperado; es decir, sirve para adoptar una decisión en relación a sí se cumplen o no los estándares mínimos de competencia clínica en el ejercicio profesional; es un medio de aprendizaje sobre el comportamiento de los profesionales de la salud en torno al dominio de su especialidad y sirve para retroalimentarlos acerca de sus aciertos y de sus errores e instrumentar estrategias de perfeccionamiento en el desarrollo profesional individual.

La elaboración de un buen examen escrito tiene ciertas exigencias y en principio tiene que reconocerse cuáles son sus límites y limitaciones, como son el hecho de que la evaluación es un medio y no un fin en sí misma, que carece de técnicas y procedimientos infalibles, que se tiene que demostrar estadísticamente el proceso de evaluación para asegurar categóricamente su efectividad y que la mayor parte de las prácticas de evaluación se centran más en la capacidad de recordar o reconocer más que en la habilidad para aplicar los conocimientos o resolver problemas de la vida real.

Taller: Examen Escrito

Dra. Juárez D./ Dr. García . . . .

82

Existen varios tipos de exámenes escritos y pueden agruparse en dos relacionados con la necesidad de elaborar o seleccionar algún tipo de respuesta. Las primeras están representadas por las pruebas tipo ensayo, ya sea de ensayo extenso o resumido, o por las preguntas de respuesta breve o de complementación. Las segundas por reactivos que requieren la selección de una sola respuesta entre varias opciones (también se les denomina de respuesta única) como falso, verdadero, dudoso; falso, verdadero; siempre, nunca, a veces. Correspondencia o correlación; mejor respuesta; o las objetivas de opción múltiple.

De las modalidades de examen escrito, a las pruebas de opción múltiple se las ha considerado por Lindquist como superiores a todos los demás tipos de exámenes escritos dada su capacidad para medir capacidades de inferencia,

predicción,

discriminación,

interpretación,

evaluación,

extrapolación de los hechos y del conocimiento, entre otros.

En la elaboración del examen escrito habrá de considerarse ciertos elementos fundamentales que le confieren un alto grado de calidad como son

los

relacionados

con

la

confiabilidad,

validez,

dificultad,

discriminación, sensibilidad, adecuación, (adecuación al perfil profesional, al contexto y al tiempo), objetividad, representatividad, especificidad,

Taller: Examen Escrito

83

Dra. Juárez D./ Dr. García . . . .

eficiencia tanto del instrumento como del empleo de los resultados. Para los fines de este documento sólo haremos referencia a los cinco criterios básicos de calidad de un instrumento de evaluación. Confiabilidad, validez, dificultad, índice de discriminación y representatividad.

CONFIABILIDAD DE UN EXAMEN

La confiabilidad se define como la precisión con la cual un examen mide el atributo o característica de los sustentantes para la cual fue diseñada, en nuestro caso se refiere a la competencia clínica. Los procedimientos para establecer la confiabilidad se resumen en cuatro tipos: a) Prueba reiterada, se aplica el mismo examen dos veces al mismo grupo de sustentantes con un intervalo de tiempo determinado y a esto se le conoce como coeficiente de estabilidad. B) Formas equivalentes o paralelas, dos formas diferentes pero equivalentes de la misma prueba se administran al mismo grupo de alumnos en sucesión cerrada, es decir en intervalos muy breves. Este criterio establece el coeficiente de equivalencia. c) División por mitades. Una vez administrada la prueba a un grupo de sustentantes, se procede a obtener dos puntuaciones de cada uno al calificar por separado los reactivos nones y los reactivos pares. Por último, d) Coeficientes de variancia varianza o de consistencia interna que permiten estimar la confiabilidad de una prueba a partir de una sola administración y consiste en el análisis estadístico de los resultados empleando las fórmulas de

Taller: Examen Escrito

84

Dra. Juárez D./ Dr. García . . . .

Kuder-Richardson 20 y 21 y la de Alpha de Cronbach. Quzás esta última modalidad sea la más indicada para medir la confiabilidad de los instrumentos de certificación y recertificación. Se ha establecido que la confiabilidad puede incrementarse aumentando el número de preguntas (Figura no. 5)

CRITERIOS DE VALIDEZ DE UN EXAMEN

La validez de un examen está relacionada a que el instrumento mida lo que realmente se intenta medir.

En este sentido se identifican diversos criterios para garantizar la validez de un instrumento, siendo los más relevantes para nuestro caso. 1) Validez de contenido que tiene que ver con el campo disciplinar que se explora y expresa el grado en que los reactivos del examen constituyen una muestra representativa de los contenidos a explorar. Para este fin es necesario construir una tabla de especificaciones de los contenidos por medir e idealmente, el nivel de profundidad en que es necesario que el sustentante responda (Cuadro No. 1) 2) Validez predicitiva con la cual se pretende que con los resultados del examen se pueda predecir la ejecución futura del sujeto a partir de un criterio (en nuestro caso, la certificación de la competencia con respecto a su capacidad de desempeño)

Taller: Examen Escrito

85

Dra. Juárez D./ Dr. García . . . .

DIFICULTAD DE UN EXAMEN

La dificultad de una prueba está dada por la dificultad particular de las preguntas que la integran y se expresa como la proporción de alumnos que contestan correctamente. Se considera que un examen con dificultad media (se considera dificultad media de un examen cuando las preguntas son correctamente contestadas por una proporción de sustentantes entre el 40 y 60 % condiciona una mayor confiabilidad a la prueba.

Un reactivo puede ser muy fácil porque las opciones con función distractora son inverosímiles, el contenido explorado se encuentra en un nivel del recuerdo de los hechos. Un reactivo puede ser muy difícil debido a que la opción correcta es errónea, existen dos o más opciones correctas, el contenido explorado es raro, rebuscado o minucioso. El enunciado no está claramente definido, por falta de tiempo no se respondió.

El índice de discriminación de un examen es la capacidad que tienen los reactivos para distinguir a los alumnos que poseen el conocimiento correcto de los que no lo poseen. Se considera un índice de discriminación máximo, cuando el valor que se obtiene es de 1.0. Se considera que un examen tiene valores de discriminación altos cuando el índice obtenido oscila entre 0.41 y más; moderado cuando los valores obtenidos se encuentran entre 0.21 a 0.40; bajo 0.01 a 0.20 y negativo cuando el índice

Taller: Examen Escrito

Dra. Juárez D./ Dr. García . . . .

86

de discriminación es igual a cero. En un examen la distribución de los diversos grados de discriminación ideal es: alto, más de 25 % de reactivos del examen, moderado entre 24 y 16% del examen; bajo, menos del 15 % de reactivos del examen; con valores negativos, menos del 5 % del examen.

Las razones por las cuales un reactivo puede no discriminar están relacionadas con errores en la plantilla de respuestas, existencia de más de una respuesta correcta, ambigüedad en el enunciado, error en la respuesta correcta, falacia en la respuesta correcta, obviedad en la respuesta correcta, elección al azar por alto grado de dificultad de la respuesta, cuando la pregunta explora un contenido diferente al resto de los reactivos.

REPRESENTATIVIDAD DE CONTENIDOS

La representatividad del examen está relacionada con la importancia relativa de cada contenido temático que define el perfil del especialista para medir la competencia clínica. En ella hay que tomar en consideración la importancia del contenido en la competencia global (respuesta a necesidades), las exigencias contextuales al desempeño (epidemiología vigente), la ponderación a los contenidos relacionada con la importancia relativa

asignada

especificaciones.

y

expresar

estos

elementos

en

la

tabla

de

Taller: Examen Escrito

87

Dra. Juárez D./ Dr. García . . . .

CONCLUSIONES •

Es ideal que el instrumento de evaluación cumpla con los criterios de confiabilidad, validez, dificultad, discriminación y representatividad idóneos.

•

Es ideal que en la construcción del examen participen quienes dominan los contenidos y la técnica para su elaboración y una vez concluido sea revisado por expertos quienes no hayan participado en su elaboración.

•

La adecuada planificación del examen garantiza la calidad del instrumento.

•

Es aconsejable que la dificultad del examen permita que la mitad de los alumnos responda correctamente (dificultad media); se agrupen los reactivos de un mismo contenido; se establezca el tiempo de respuesta preciso de acuerdo a la complejidad del reactivo y se responda en el tiempo establecido; su formato no obstaculice su respuesta; elaborar una plantilla de respuestas y documentar el método y procedimiento seguidos para la elaboración del examen de modo claro y sencillo y verificar que expresen los tres momentos de la evaluación: planeación y construcción de los instrumentos,

Taller: Examen Escrito

Dra. Juárez D./ Dr. García . . . .

88

aplicación del examen y acopio de los resultados, emisión de juicios y toma de decisiones con respecto a la condición evaluada y la predicción de comportamientos futuros (evaluación propiamente dicha).

•

Es aconsejable contar con asesoría permanente sobre los métodos, técnicas y procedimientos para la elaboración de instrumentos de evaluación por personal profesional en el ámbito educativo.

•

La Facultad de Medicina de la Universidad Nacional Autónoma de México cuenta con medios automatizados, para llevar a cabo el análisis

de

reactivos

relacionados

con

la

colaboración

del

instrumento de evaluación (definición del grado de dificultad y cálculo del índice de discriminación), puesto a la disposición de las instituciones académicas de nuestro país.

Taller: Examen Escrito

Dra. Juárez D./ Dr. García . . . .

89

Figura No. 1. TIPO DE EXAMEN

18

18

16 12

14 12 9 10

Escrito-Práctico

7 8

Escrito-Oral Escrito

6

Los tres

4 2

Figura NO. 2

0 E sc rito -Prá

Esc ct ic o

TIPO DEEsREACTIVO

rito -Or a

crito

l

45 40 35 30 25 20 15 10 5 0

Los

t res

Correlación de columnas Identificación de imágenes Casos Clínicos Falso-Verdadero-No se Opción múltiple Si

No

Si

No

Opción múltiple

44

2

Falso-Verdadero-No se

11

35

Casos Clínicos

35

11

Identificación de imágenes

24

22

Correlación de columnas

8

38

Taller: Examen Escrito

Dra. Juárez D./ Dr. García . . . .

90

Figura NO. 3 EVALUACIÓN DE LOS REACTIVOS

40 35 30 25 20 15

Apoyo pedagógico Contenido Grado de dificultad Índice de discriminación

10 5 0

Si

No Si

No

Índice de discriminación

28

18

Grado de dificultad

37

9

Contenido

36

10

Apoyo pedagógico

28

18

Taller: Examen Escrito

Dra. Juárez D./ Dr. García . . . .

91

Figura NO. 4 NÚMERO DE REACTIVOS

Número de reactivos

40

37

35 30 25 20 15 10

5

4 0

5 0 100-300

301-450

451-500

501-600

Taller: Examen Escrito

Dra. Juárez D./ Dr. García . . . .

92

Figura NO. 5

La confiabilidad puede incrementarse aumentando el número de preguntas

Coeficiente de confiabilidad

1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1 0 10

20

40

80

160

Número de preguntas de la prueba

320

Taller: Examen Escrito

Dra. Juárez D./ Dr. García . . . .

93

Cuadro 1. Tabla de especificaciones

Tema

%

# reac

Biología de la reproducción

5

15

Corteza suprarrenal

7

20

Subtema

# reac

Infertilidad

5

Sx Turner

5

Anovulación crónica

5

Sx. Nelson

5

Hiperplasia adrenal congénita

5

Adenoma productor de cortisol

5

Uso de esteroides

5 5

Climaterio

2

5

Climaterio terapia

Diabetes

17

50

Diabetes clasificación

5

Diabetes tratamiento

15

Diabetes complicaciones

10

Diabetes gestacional

10

Diabetes hiperosmolar

10

Talla baja

20

Pubertad precoz

10

Endocrino. pediátrica

10

30

Hipotálamo hipófisis

2

5

Hiperprolactinemia no tumoral

5

Lípidos

3

10

Dislipidemias

5

Hiperlipidemia

5