Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp.

LA EVALUACIÓN DE LA ACTIVIDAD DOCENTE Magdalena Fresán Yolanda Vera La actividad docente, en su sentido más amplio, es la razón fundamental de ser de la universidad; la impartición de cátedra, la asesoría a estudiantes, la tutoría, la dirección de proyectos terminales o tesis, la continua revisión y actualización de planes y programas de estudio, la organización de seminarios, etcétera, conforman el área más importante del quehacer universitario y definen en forma general el perfil de la planta académica de la institución. El profesor es la figura central en el proceso de enseñanza–aprendizaje; por consiguiente, la calidad educativa tiene una vinculación obligada con la calidad de los profesores; de ahí que las políticas y proyectos de desarrollo de la educación giren alrededor del profesor y le encomienden una amplia diversidad de tareas, cuyo cumplimiento cabal requiere de su capacidad y de su compromiso pleno. Desde principios del siglo XX, la educación elemental y la educación media constituyeron actividades dirigidas a toda la población. En esa época, la educación superior sólo alcanzaba a un sector reducido de la misma. A partir de la Segunda Guerra Mundial, en todos los países se consolida la idea de la educación superior como palanca del desarrollo económico y social y, al mismo tiempo, como mecanismo fundamental de movilidad social. Si se suma a esta idea la explosión demográfica ocurrida al nivel mundial, se hace comprensible el proceso de masificación vivido dentro de las IES. En una primera etapa, este proceso de masificación se caracterizó por la improvisación del personal docente para atender niveles de demanda de educación superior nunca antes observados. Gil Antón (1994) señala que gran parte de quienes asumieron la función docente en el periodo referido, fueron profesionales que, en muchos casos, eran la primera generación con estudios universitarios dentro de sus familias y su incorporación a la educación superior ocurrió a partir de una trayectoria en el campo profesional. Según el mismo autor, más de un tercio de estos profesionales contaba con experiencia docente aunque en otros niveles; un 40% demostró tenerla en instituciones

1

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. universitarias públicas y un 36% en instituciones de tipo tecnológico y en universidades privadas. Donde prácticamente se calificaba como inexistente era en la función de investigación. En muchos casos, su incorporación en la vida académica tuvo como principales fuentes de habilitación para la práctica docente, la experiencia como ayudantes de profesores con alguna trayectoria y la acreditación de cursos o talleres de didáctica. En una etapa posterior, paralela a la aparición de incipientes procesos de evaluación institucional, a partir de las últimas dos décadas del siglo XX, la evaluación de la práctica docente parece haber cobrado especial relevancia. Dado que el reconocimiento de la producción científica, ocurrida en las IES alrededor de los años ochenta, distrajo la atención del profesor universitario de la actividad de docencia (Aguilar Sahagún, 1991), la existencia de mecanismos de evaluación de la misma, no constituyó una situación generalizada en todas las instituciones. La evaluación del docente ha permitido a las instituciones reflexionar sobre la enseñanza, su misión, su quehacer y en su conjunto, sobre la calidad de la enseñanza que imparten. La evaluación de la docencia es concebida como una valoración de las competencias de los profesores; su finalidad está encaminada a obtener información que permita la toma de decisiones institucionales para lograr una mejor calidad de la enseñanza. Son muchos los elementos susceptibles de evaluación en la práctica docente, por lo que, definir su importancia en la calidad del proceso de enseñanza-aprendizaje, es una tarea para los hacedores de políticas educativas. Todo modelo de evaluación docente, como ya se mencionó anteriormente, debe proporcionar una retroalimentación inmediata al profesor, que le permita replantear sus actividades y/o su comportamiento y a la institución, sustentar los procesos de desarrollo de sus dependencias. Las variables y los indicadores que sean definidos en la evaluación del personal académico deben surgir de los elementos que intervienen en el proceso educativo, para producir el desarrollo institucional esperado. Práctica docente El marco referencial de la evaluación del desempeño docente La figura del profesor ha constituido fuente de estudio y reflexión, en el contexto pedagógico, desde tiempos remotos. La idea de que su influencia en el aprendizaje del alumno es esencial, parece haber dirigido el análisis y la investigación respecto de la eficacia de su actividad. De aquí que la investigación sobre el tema haya encontrado objetivos como los siguientes: a) determinar el tipo de conductas que debe asumir un profesor para ser eficaz; b) evaluar si un profesor es eficaz y en qué grado; c) determinar qué características debe tender a potenciar un profesor eficaz en sus alumnos (Pérez Juste y García Ramos, 1995). La evaluación de la actividad docente es una actividad que actualmente preocupa a todas las instituciones educativas independientemente del nivel formativo que éstas atiendan. La mayoría de los mecanismos e instrumentos para la evaluación docente se derivan de las investigaciones sobre el papel del maestro en el proceso de enseñanza aprendizaje que, a partir de distintas vertientes y enfoques, han tratado de explicar la influencia del docente en el aprendizaje de los estudiantes. Los indicadores de la función docente se han enriquecido de los aportes de distintas disciplinas como la pedagogía, la psicología, la sociología, la filosofía, la cibernética y la comunicación, entre otras, que sin duda alguna, han permitido avances importantes en la evaluación de la docencia.

2

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. Los principales enfoques empleados para el estudio de este rol son los paradigmas presagio-producto, proceso-producto y los llamados paradigmas mediacionales (Pérez Gómez, 1996). Gimeno Sacristán (1982), señala que el maestro, en tanto elemento esencial del proceso educativo, ha sido un objeto de estudio natural en la investigación en el área de la educación. Inicialmente los estudios se centraron en la búsqueda de las características que debería tener el profesor para lograr el aprendizaje de los alumnos (este enfoque se conoce actualmente con el nombre de paradigma presagio-producto). Posteriormente, ante la insuficiencia de este enfoque, la investigación se orientó hacia la observación del comportamiento del profesor en el aula y a la relación de dicho comportamiento con el rendimiento académico de sus alumnos (paradigma procesoproducto). En ambos enfoques, afirma Gimeno Sacristán, es evidente la ausencia de una propuesta teórica que posibilite la consideración de las variables que intervienen en el complejo proceso de enseñanza aprendizaje. De estas aproximaciones se deriva, sin embargo, el concepto de “competencia docente”, que a la vez que impulsa diferentes tipos de análisis conducentes a identificar los rasgos que un profesor debiera tener, imprime características de alta especificidad a los programas de formación de profesores (paradigma conductual). Si bien este último enfoque contribuye a mejorar la formación docente al proponer programas muy completos para la formación de los profesores, su orientación conductual confiere a este proceso una gran rigidez. Sobre todo, no resuelve el problema básico de la elección, por parte del profesor, de las competencias y comportamientos adecuados a las situaciones tan diversas que plantea la práctica cotidiana de la docencia. Los aportes de la psicología cognitiva propiciaron la emergencia de nuevos paradigmas, los enfoques mediacionales y el paradigma ecológico, los que se orientan al descubrimiento de las interrrelaciones entre profesor, proceso de aprendizaje, alumnos y entorno. Estos enfoques parecen más adecuados que los anteriores y deberán ser considerados en el diseño de programas de evaluación docente que sean congruentes con las necesidades actuales de la educación en general y de las instituciones, en particular. A continuación se presentan en forma muy somera las características de estos paradigmas. El paradigma presagio-producto, sustenta la idea de que la eficacia de la enseñanza es un efecto directo de las características físicas y psicológicas de la personalidad del profesor. Las investigaciones realizadas a partir de este paradigma, se enfocan al estudio de las correlaciones entre las aptitudes del profesor y el rendimiento académico, evidenciadas mediante el juicio del alumno o el de especialistas y expertos. Los innumerables estudios centrados en la personalidad del profesor y en las correlaciones indicadas, en general, son insuficientes porque desconocen lo que ocurre en el aula, los efectos del contexto, los efectos de la intervención educativa y carecen de un modelo conceptual que los sustente. El paradigma proceso-producto se basa en la idea de que el método es el elemento central en el proceso de aprendizaje. Las investigaciones desarrolladas en el marco de este paradigma se pueden agrupar en dos tipos de estudios, por una parte se encuentran las investigaciones que se orientan a la identificación de patrones estables de comportamiento a través de la observación sistemática y, por otra, las que tratan de establecer correlaciones entre patrones estables de conducta y de rendimiento académico. En este tipo de estudios, los comportamientos observables del profesor constituyen las variables independientes o variables de proceso y las variables dependientes o variables

3

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. producto, están constituidas por rasgos relativos al rendimiento académico del alumno que son susceptibles de medición. Para este tipo de enfoque es requisito indispensable el conocimiento preciso del tipo de rendimiento deseable por parte del alumno. Pérez Gómez (1996) critica los enfoques sustentados en los paradigmas presagioproducto y proceso-producto y se refiere a la evolución de este último paradigma hasta la incorporación de variables contextuales, las cuales dediseñan e integran las dimensiones consideradas en los dos paradigmas anteriores con otros tipos de variables, configurando nuevos enfoques conocidos como el paradigma mediacional y el paradigma ecológico. Estos paradigmas reconocen dimensiones adicionales en el proceso de enseñanza aprendizaje, como son la formación previa, las experiencias personales del profesor y del alumno, el contexto escolar y social y el contexto del aula, los cuales son esenciales para determinar el comportamiento de los actores del proceso educativo y sin cuya presencia no es posible su comprensión. En los paradigmas mediacionales, se inicia la discusión sobre variables específicas respecto del profesor o del alumno, cuya influencia en el proceso de aprendizaje se considera relevante. También, en los estudios desarrollados a partir de este paradigma se pueden identificar dos vertientes, una centrada en el profesor y otra en el alumno. En el paradigma mediacional centrado en el profesor, se concibe a la enseñanza como un proceso tecnológico de resolución de problemas. Constituye un complejo proceso de planificación racional de actuaciones en un medio multidimensional, flexible y cambiante que no admite comportamientos estándar ni estilos docentes prefijados. La eficacia docente, en el paradigma mediacional centrado en el profesor, se encuentra en el pensamiento del profesor que le permite actuar de acuerdo con las exigencias de la racionalidad tecnológica, conocer y diagnosticar una situación particular, elaborar las estrategias y contrastar su eficacia. No hay comportamientos didácticos válidos para cualquier situación, es el profesor quien define la situación y quien decide cómo enfrentarla. Las decisiones docentes son, a su vez, determinadas por cuatro tipos de influencias, a saber: las expectativas del profesor respecto de sus alumnos (conocimiento previo de los alumnos, modelos de pensamiento utilizados en las apreciaciones); las creencias, teorías y actitudes del profesor respecto a la educación; la naturaleza de las tareas de instrucción (curriculum, objetivos y contenidos), y la disponibilidad de materiales y estrategias alternativas (posibilidades espaciales, temporales y materiales). En este paradigma aparece, por primera vez, la preocupación por la influencia de las expectativas del profesor en la generación de un proceso educativo de calidad. Se considera que si este actor central del proceso, no es capaz de reconocer todas las potencialidades del estudiante y el poder de la educación para desarrollarlas, necesariamente arribará a decisiones equivocadas que afectarán negativamente el proceso formativo. Por su parte, el paradigma mediacional centrado en el alumno, reconoce variables referentes al comportamiento cognitivo de éste, como los factores esenciales para el aprendizaje efectivo. El comportamiento docente y los materiales de instrucción no causan el aprendizaje, sino exclusivamente influyen en él, en tanto sean capaces de activar los procesos cognitivos del alumno. De esta manera, el aprendizaje efectivo tiene que ver más con procesos psicológicos que con procesos de planificación racional. El enfoque con mayor capacidad de integración, el paradigma ecológico, trata de visualizar todas las acciones recíprocas del proceso de enseñanza aprendizaje. Concibe al aula como un sistema complejo de relaciones e intercambios, en el que la información surge de múltiples fuentes y fluye en diversas direcciones. Considera la importancia del

4

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. contexto para la eficacia del aprendizaje; por ello, pondera la eficacia del profesor respecto a sus alumnos, en el contexto específico. La mayor parte de la investigación realizada se ha basado en la utilización del denominado paradigma presagio-producto, que supone, como se analizó antes, un marco teórico en el que básicamente se señala la importancia y sentido de analizar la eficacia docente, con base en el establecimiento de relaciones entre las conductas del profesor en situaciones de enseñanza escolar y los resultados del aprendizaje escolar. Dentro de este enfoque o paradigma, las dimensiones de la conducta del profesor operan como variables independientes, y los resultados del aprendizaje del alumno como variables dependientes. Los indicadores de presagio más utilizados han sido las características del profesor, intentando encontrar qué características del mismo tienen relevancia en los procesos de enseñanza aprendizaje. No se trata, pues, de conductas específicas que se producen en el aula, sino de características del comportamiento general del profesor. Las críticas más fuertes que han recibido este tipo de variables (experiencia, rasgos de personalidad, estilos de enseñanza), es el de ser ambiguas y estar mal definidas; en general, las variables de personalidad han demostrado tener poca influencia en los resultados del proceso educativo, posiblemente por ser muy generales y estar demasiado alejadas de dimensiones inherentes al proceso de enseñanza aprendizaje, cuya correlación con la calidad ha evidenciado ser alta. Las distintas instituciones que han desarrollado modelos para evaluar el trabajo del profesor, han asumido implícita o explícitamente alguno de los paradigmas que mencionados, todos ellos criticables y criticados cuando su utilización, a fuerza de intentar satisfacer la necesidad de aplicación general y sistemática, sacrifican, en orden de la factibilidad organizacional y económica, la evaluación de muchos de los aspectos necesarios para la valoración adecuada del proceso de enseñanza. Quizás el ámbito en el que ha tenido un mayor desarrollo el proceso tendente a evaluar la actividad docente en la educación superior, es el menos comprendido de todos los niveles. Lo anterior tiene que ver con la evolución de la planta académica que atiende este nivel educativo en los sistemas de educación nacionales. La construcción de un sistema de evaluación objetivo y equitativo para el personal académico, es necesario y urgente (Llarena, 1991). Este sistema de evaluación deberá ponderar y evaluar a los académicos según sus funciones reconociendo la especificidad de su trabajo. Sin embargo, de acuerdo con Zabalza (1990), la pregunta es: ¿Cómo se puede evaluar a alguien en algo que no se le ha enseñado a hacer?, si se sabe que el profesor es ante todo un profesional que evoluciona. A “ser profesional” se aprende, pero se requiere una formación permanente auspiciada por las instituciones educativas. Por último, este autor señala la necesidad de una evaluación constructiva orientada al perfeccionamiento que funcione como palanca de cambio; una evaluación que sirva para informar a los profesores sobre las características de su desempeño ofreciéndole, al mismo tiempo, las opciones de superación que requiere para mejorar su actuación como docente. Esta formación implica un compromiso compartido entre el profesor y la institución. En el Cuadro 5.1 se resumen las principales características de estos paradigmas y los indicadores derivados de los mismos, que suelen incluirse en los cuestionarios para la evaluación docente. Estudios clásicos sobre la evaluación docente

5

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. Diversos autores han realizado profundas investigaciones sobre los indicadores del desempeño docente. Ante la imposibilidad de citarlos a todos, se señalan a continuación algunos de los estudios que han contribuido al desarrollo de los distintos esquemas de indicadores que, en combinaciones diversas, se incorporan en los instrumentos de evaluación docente que manejan las IES en el continente americano. Entre los parámetros que se han utilizado para evaluar la eficacia docente se encuentran los relacionados con las denominadas competencias genéricas (Oliva, 1972 y Henson, 1980), que incluyen destrezas de comunicación, conocimientos básicos, destrezas técnicas, administrativas, interpersonales y éstas, en diferentes aproximaciones, se subdividen y clasifican de distintas maneras, según el enfoque que se utiliza en el proceso de evaluación. Los mismos autores (1980) trabajan este tema, fundamentalmente, mediante la evaluación de las características del profesor (paradigma presagio–producto). Cuadro 5.1 Paradigmas didácticos y evaluación docente

VARIABLES CONSIDERADAS

INDICADORES PARA EVALUACIÓN DOCENTE DERIVADOS DEL PARADIGMA

La eficacia de la enseñanza es efecto directo de las características físicas y psicológicas de la personalidad del profesor

• Características del profesor • Rendimiento del alumno

Entusiasmo Compromiso Dominio de la materia Habilidad de comunicación Claridad expositiva Pensamiento lógico Capacidad pedagógica

El método es el elemento central en el proceso de aprendizaje Se basa en la identificación de patrones estables de comportamiento en el establecimiento de correlaciones entre éstos y el rendimiento académico

Orden en la exposición de temas Seguimiento de una secuencia lógica en el orden del temario Vinculación de los nuevos conocimientos con lo visto anteriormente • Comportamiento del docente en Elaboración de síntesis o el proceso de enseñanza resúmenes de lo revisado y de lo • Rendimiento académico que se va a explicar Verificación del nivel de • Complejidad del proceso comprensión alcanzado por los enseñanza – aprendizaje alumnos al término de las sesiones. Uso de medios variados de apoyo al aprendizaje Trato respetuoso a todos los estudiantes

Paradigma de la enseñanza y el aprendizaje. Reconoce y utiliza dimensiones adicionales como la formación previa y las experiencias personales del profesor y del alumno, el contexto escolar y social y el contexto del aula, como esenciales para determinar el comportamiento de los actores del proceso educativo

Cultura general del profesor Conciencia de la potencialidad de la educación para transformar a los individuos y a la sociedad Altas expectativas respecto de la potencialidad de aprendizaje de los estudiantes Capacidad para el diagnóstico de conocimientos y/o destrezas de los estudiantes mediante tests de diagnóstico, observación directa y el análisis de los expedientes de los estudiantes. Capacidad para seleccionar, adaptar y/o elaborar materiales de enseñanza

PARADIGMA

CARACTERÍSTICAS

PRESAGIO – PRODUCTO

PROCESO – PRODUCTO

MEDIACIONAL

• Características personales del alumno y del profesor • Experiencia del alumno y del profesor • Actividades y estrategias implicadas en el procesamiento de la información • Contexto escolar, social y en el aula

Capacidad para seleccionar, desarrollar y elaborar secuencias de actividades de aprendizaje apropiadas para el logro de los objetivos de enseñanza y necesidades de aprendizaje

6

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. Dominio de los conocimientos relativos a los diferentes estilos cognitivos Dominio de destrezas que propicien el desarrollo del autoconcepto positivo y la interacción constructiva con otros. Dominio de destrezas didácticas que propicien el desarrollo de valores, aptitudes, actitudes positivas así como la autonomía para el aprendizaje

ECOLÓGICO

Visualiza todas las acciones recíprocas del proceso enseñanza – aprendizaje. El aula es un complejo sistema de relaciones e intercambios. Pondera la eficacia del profesor respecto a sus alumnos, en el contexto específico

• Proceso de enseñanza aprendizaje • Comportamiento del alumno y del grupo • El aula • El contexto • Eficacia del profesor

Pautas de desarrollo físico, psicológico y social de los estudiantes Habilidad para comprender e interpretar un mensaje después de escucharlo Utilización de estrategias orientadas a la solución de problemas Capacidad para estimular el diálogo y el análisis critico Habilidad para lograr la participación de los alumnos Apertura para tomar en cuenta la opinión de los alumnos Uso de evaluaciones orientadas a verificar la comprensión y no la memorización

Cuadro 5.2 Competencias genéricas del profesor

Peter F. Oliva • Está bien preparado en su asignatura • Tiene una amplia educación general • Comprende el papel de la escuela en nuestra sociedad • Mantiene un concepto adecuado de sí mismo • Pone de manifiesto técnicas efectivas de instrucción • Gobierno eficaz de la clase • Posee características personales que conducen al éxito en la clase

K. Henson • Se interesa por los alumnos como individuos • Tiene paciencia y está dispuesto a repetir lo que dice • Muestra sentido de equidad • Termina las explicaciones de las cosas • Tiene sentido del humor • Tiene una mentalidad abierta • No se siente superior, se conduce informalmente • Conoce su materia • Se interesa por su materia • Tiene aspecto pulcro

Dwight Allen y Kevin Ryan (1969) utilizan varios indicadores menos comunes para la evaluación del profesor, como los siguientes: Cuadro 5.3 Indicadores para la evaluación del profesor

• Variación de estímulos • Capacidad de inducción • Fluidez en el planteamiento de preguntas • Realización de preguntas de prueba • Realización de preguntas de alto rango de dificultad • Realización de preguntas divergentes • Reconocimiento del comportamiento atento

• Capacidad de conclusión • Capacidad de silencio y recursos no-verbales • Capacidad de reforzar la participación de los alumnos • Ilustración y utilización de ejemplos • Explicación magistral • Repetición planificada • Comunicación completa

A partir de las competencias identificadas intentan definir subdimensiones que, a su vez, dan origen a las preguntas que conforman los cuestionarios de evaluación docente. De esta manera, se inició el desarrollo de cuestionarios de opinión que se emplean en estudios, primero de carácter institucional, pero que muy pronto alcanzaron dimensiones nacionales en varios países. A partir de estos estudios se desencadenó un amplio proceso de búsqueda y de adecuación de indicadores que se ajustaran a las características de distintos contextos sociales y educativos. En 1975, el State Board of Education de Estados Unidos (Oliva y Henson, 1980) llevó a 7

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. cabo un proceso que implicó la participación de numerosos profesores del Estado de Florida en el cual, después de efectuar una revisión minuciosa de todas las investigaciones realizadas sobre el tema, identificó varios grupos de destrezas que debe poseer un profesor y que, necesariamente, deben ser consideradas en la evaluación de su desempeño. Los grupos de destrezas identificados se presentan en el Cuadro 5.4. Cuadro 5.4 Destrezas a ser consideradas en la evaluación del desempeño del profesor

Destrezas de comunicación • Habilidad de comunicar oralmente información sobre un tópico dado de forma coherente y lógica • Habilidad para escribir con estilo lógico, fácil y comprensible, con corrección gramatical y estructura de frase apropiada. • Habilidad para comprender e interpretar un mensaje después de escucharlo. • Habilidad para leer, comprender e interpretar materiales profesionales. • Conocimiento de las pautas de desarrollo físico y social de los estudiantes Destrezas interpersonales • Destreza para aconsejar a los estudiantes, tanto individual como colectivamente, respecto de sus obligaciones académicas • Respeto por la dignidad y el valor de otros grupos étnicos, culturales, lingüísticos y económicos. • Destrezas de enseñanza y sociales que ayuden a los estudiantes a desarrollar un autoconcepto positivo. • Destrezas de enseñanza y sociales que ayuden a los estudiantes a interactuar constructivamente con sus semejantes. • Destrezas didácticas que ayuden a los estudiantes a desarrollar sus propio

Destrezas técnicas Capacidad para el diagnóstico de conocimientos y/o destrezas necesarios para lograr los objetivos de enseñanza, usando tests de diagnóstico, observaciones directas y expedientes de los estudiantes. • Capacidad para identificar objetivos a largo plazo para una materia dada • Capacidad para construir y ordenar secuencialmente objetivos relacionados entre sí a corto plazo para una materia dada • Capacidad para seleccionar, adaptar y/o elaborar materiales de enseñanza para un conjunto de objetivos de instrucción y necesidades de aprendizaje de los alumnos. • Capacidad para seleccionar, desarrollar y elaborar secuencias de actividades de aprendizaje, apropiadas para el logro de los objetivos de enseñanza y la atención de las necesidades de aprendizaje de los alumnos • Capacidad para entablar relación con los estudiantes en la clase, utilizando recursos motivacionales verbales y/o visuales • Capacidad para diseñar exámenes para medir el rendimiento de los alumnos, de acuerdo con criterios basados en los objetivos. • Capacidad para identificar causas de mal comportamiento en el aula y para emplear una(s) técnica(s) para corregirlas.

Algunos autores amplían esta lista de factores a otras dimensiones que no se reflejan estrictamente en el modo de enseñar. Así, Overall y Marsh (1977) y Marsh y Overall (1980), trabajando con las siguientes dimensiones obtuvieron seis factores: 1. Entusiasmo - preocupación por la tarea docente 2. Amplitud de tratamiento de los temas presentados 3. Organización de la tarea 4. Fomento de la interacción con los alumnos 5. Valoración del aprendizaje realizado por parte del alumno 6. Adecuación de la evaluación al desarrollo de la clase 7. Trabajo - dificultad que ha supuesto lograr los objetivos.

8

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. EVALUACIÓN DE LA TRAYECTORIA DEL PERSONAL ACADÉMICO Magdalena Fresán Alejandra Romo Introducción Los profesores son uno de los dos principales actores del acto educativo; otro son los estudiantes y su permanente interacción es sustento del proceso de enseñanza aprendizaje. Ellos, quienes constituyen el objeto del presente trabajo, asumen diferentes categorías y denominaciones, en función de los estatutos de cada institución y de su perfil profesional. La consolidación de las IES, en lo concerniente a la conformación de su planta docente, requiere de la existencia de procesos de ingreso, promoción y permanencia del personal académico, regidos por preceptos y criterios de carácter académico suficientemente definidos y explícitos. Para su instrumentación es necesario que existan órganos colegiados, integrados por pares académicos con legitimidad en la comunidad, tanto la institucional como la externa, concebidos para evaluar las actividades propias del quehacer universitario y sustentar, a través de sus decisiones, las políticas de formación y actualización del personal académico. La experiencia y la capacidad de cada profesor, se pueden evidenciar a través de un conjunto de indicadores que pueden ser similares en todas las instituciones de educación superior; sin embargo, la misión y características de cada una de ellas, determinan un diferente peso específico para cada indicador en los procesos de ingreso, promoción y permanencia del personal académico. A efecto de promover una evaluación integral de los profesores, es necesario diferenciar los distintos procesos en los cuales se requieren indicadores y mecanismos específicos. En general, los procesos de evaluación del personal académico pueden clasificarse esencialmente en:• Procesos de selección (ingreso). • Procesos de promoción, para determinar el avance de los profesores a través de los esquemas de diferenciación, estatus e ingreso (carrera académica) que operan en las instituciones. • Procesos de permanencia, diseñados para propiciar la retención y la emulación de los desempeños deseables de los profesores en el contexto de cada institución (sistemas para la permanencia de los profesores y programas de estímulos). Procesos de ingreso, promoción y permanencia Procesos de ingreso El ingreso a las IES ocurre en dos modalidades esenciales. Cuando se trata de plazas de carácter temporal o interino, suele utilizarse una simple revisión curricular para verificar si los aspirantes a las plazas reúnen los requisitos necesarios para el desempeño de las funciones. Para el ingreso a plazas de carácter definitivo, el único procedimiento válido, de acuerdo con la legislación vigente en México, lo constituye el examen de oposición. En algunas instituciones no existe un sistema integral de evaluación en el cual se estipulen los espacios y las normas para estos procesos, y se emplean procedimientos distintos al del examen de oposición. El examen de oposición aplicado para ingresar a una dependencia de educación superior constituye una garantía para la admisión de profesores poseedores de los elementos 9

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. profesionales requeridos para el desempeño de las funciones académicas, tales como una formación integral, lo que significa conocer y dominar aspectos teóricos y prácticos del ejercicio de su profesión, especialidad o disciplina, así como una experiencia adecuada o aceptable en la docencia, en la investigación o en la difusión del conocimiento. El currículo de cada aspirante a ocupar una plaza académica dentro de una IES, tiene que ser revisado utilizando como referente el programa docente y de investigación al que tiene interés en incorporarse. Como un primer paso es necesario analizar su formación y nivel de habilitación, garantizando por lo menos el mismo nivel formativo y, preferentemente, un nivel mayor al del programa al cual se adscribiría, en caso de ser contratado. El académico deberá demostrar que cuenta con cualidades o experiencia en la práctica docente y en el desarrollo de la investigación. Mejor aún si existen evidencias tangibles de la divulgación de resultados a través de mecanismos idóneos. A lo anterior, puede agregarse la participación en programas de formación y actualización en su propio beneficio o en el de otros individuos. El examen de oposición permite, en principio, la selección, entre los aspirantes a la plaza del académico cuyo currículo tenga mayor correspondencia con el programa de trabajo de la dependencia. Sin embargo, también ofrece la posibilidad de apreciar la habilidades del sustentante para hacer una exposición clara y su capacidad para formular argumentos frente a preguntas expresas, así como para plantear un problema por escrito. Procesos de promoción Los procesos de evaluación del desempeño académico con fines de promoción, constituyen la plataforma sobre la cual se desarrolla la carrera académica. La promoción supone un avance importante en cuanto a la calidad y la cantidad del trabajo académico desarrollado por un profesor, en el lapso transcurrido entre su ingreso y la primera promoción, o entre una promoción y la siguiente. De ahí que sea necesario que este lapso sea lo suficientemente amplio para permitir la acumulación de evidencias de un trabajo académico de calidad y lo suficientemente reducido para constituir un estímulo para el progreso ascendente del personal académico. De hecho, en muchas instituciones se considera que un periodo de tres años entre una y otra promoción cubre ambas expectativas. Plazos menores generan simulación o acumulación de productos de poca trascendencia y plazos mayores tienden a desalentar el esfuerzo por la superación de los profesores en el trabajo académico. La dinámica de la promoción debe estar asociada al propósito de generar una carrera estable que, en esencia, vele por los intereses de los alumnos y de la institución, manteniendo al profesor con la tranquilidad que le proporcionan la estabilidad laboral y las perspectivas de desarrollo individual. Dentro de cada institución, la trayectoria deseable de los académicos debiera estar prevista en la normatividad y derivar de ella los criterios para la promoción del personal académico. Su aplicación debe regirse por procedimientos apoyados en una lógica estrictamente académica que salvaguarde la calidad de la enseñanza en la dependencia, mediante la profesionalización de la actividad docente, con base en la correspondencia entre la formación y la experiencia de la persona y el programa académico de que se trate. Los mecanismos que se establezcan para efectos de la promoción deben lograr su legitimidad dentro de la comunidad académica de la institución, a través de la transparencia y objetividad con que se lleven a cabo. Para ello, es fundamental la participación de académicos de alto nivel internos y externos en las comisiones dictaminadoras. Es, sin duda, determinante, que las comisiones dictaminadoras 10

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. consideren la calidad de la formación integral de los sujetos que buscan ser promovidos, es decir, que demuestran conocer y dominar aspectos prácticos y del ejercicio de su profesión. El efecto inmediato de esta evaluación se observa en la motivación hacia la constante superación y actualización del personal académico. Los procesos de evaluación relacionados con la permanencia o con el otorgamiento de estímulos a la trayectoria Los procesos de evaluación relacionados con la permanencia se asocian frecuentemente con el otorgamiento de reconocimientos o estímulos. De ahí que sus mecanismos tiendan a la revisión de indicadores sobre productividad académica que, por último, se traducen en montos económicos, dejando a un lado, en algunos casos, la revisión de los procesos para la generación de los productos reportados e incluso la calidad y originalidad de los mismos. En el marco de las políticas de deshomologación salarial, el gobierno federal ha promovido la instrumentación de diversos mecanismos alternativos de remuneración para el personal académico, entre los cuales se menciona la creación de becas y estímulos al desempeño académico que, en modalidades particulares, son estructurados desde la administración central de cada institución. Si bien se establece que dichos mecanismos tienen como principal finalidad “la de recompensar la permanencia, calidad y dedicación de tiempo completo, apoyando así la recuperación salarial del profesor y/o investigador en función de su propio rendimiento” (Ibarra, 1991), su otorgamiento es precedido por un complejo proceso de evaluación del desempeño de quien solicita recibir el beneficio de cualquiera de estas modalidades. Una consecuencia inmediata ha sido la modificación de los tabuladores de ingreso y promoción del personal académico, lo que ha derivado en procesos objetivos de cuantificación, traducibles en puntos, que se suman a partir de la producción académica individual y que supone un acotamiento al “juicio” de los evaluadores. Se considera que este procedimiento representa la oportunidad de planear y evaluar el trabajo académico, porque facilita la orientación del esfuerzo de los profesores, incluso de los investigadores, hacia la realización de actividades estimadas como prioritarias. Vistos como un instrumento de diferenciación institucional, los tabuladores cuantitativos contribuyen a la construcción de un modelo de educación superior, al tener la posibilidad de distribuir y organizar las actividades tanto de profesores como de investigadores, de acuerdo con las prioridades institucionales. El sistema de indicadores denominado “analítico” podrá encontrarse en el capítulo siguiente “La evaluación del personal académico. En busca de sistemas de orientación sintética”, elaborado por Felipe Martínez Rizo. En la revisión del estatus académico de cada profesor hay aspectos fundamentales sobre los que se debe hacer especial énfasis, tales como la correspondencia entre su formación personal y docente, su desempeño profesional y productividad académica. Sin embargo, no deberá existir diferencia, en términos de remuneraciones o estímulos, al juzgar la trayectoria docente y la de investigación, ya que, si cualquiera de las dos es ejemplar y productiva tendrán que recibir reconocimientos equivalentes. Vale recordar que la inclinación por la docencia o la investigación es una característica inherente a cada profesor (vocación), y que es de suma importancia que las instituciones desarrollen la capacidad para reconocer la excelencia en ambas funciones. Uso de indicadores y establecimiento de prioridades para la evaluación del personal académico 11

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp.

Las actividades a desarrollar por los profesores deberán estar señaladas, de una manera general, en los marcos legislativos de la institución educativa. A su vez, los programas académicos deben especificarlas, sin coartar el principio de la libertad de cátedra. Hecho lo anterior, la generación de criterios y de indicadores tiene que corresponder a un sistema que atienda las diferentes categorías del personal académico. Frecuentemente, los estatutos y demás normas relativas señalan criterios de evaluación del desempeño docente de aplicación general, sin identificar el peso que se asigna a cada uno de ellos, según el tipo de sujeto al que se evalúa y sus características, cuestión que produce injusticia y parcialidad en la valoración. En la medida en la que se identifiquen los distintos grupos por categorías del personal, se pueden diferenciar los tipos de indicadores que es recomendable utilizar para la evaluación de los mismos. De igual forma, es necesario establecer las prioridades con las que se tienen que operar los procesos de evaluación. Para establecer las prioridades conviene tener claras ciertas dimensiones de observación sobre las cuales deben establecerse criterios y parámetros diferentes, por categoría y nivel. Entre las dimensiones a ser consideradas en un proyecto de evaluación del personal académico, se encuentran: a) Formación y experiencia del docente b) Práctica de la docencia c) Desarrollo de actividades de investigación d) Participación en actividades de extensión y de difusión e) Participación en la gestión académica y administrativa Dentro de cada dimensión cabe un conjunto amplio de variables a partir de las cuales se deberán determinar los indicadores que permitan tener una evaluación precisa. La evaluación del desempeño de los docentes, en cualquiera o en todas las dimensiones propuestas, no tiene que hacerse necesariamente en un sólo proceso ni para todos los docentes. Sin embargo, la posibilidad de explorar el desempeño en todas ellas puede dar una visión integral de la posición que la docencia guarda en la institución, en relación con la planta académica, desde un punto de vista personal, y en relación con el ejercicio de las diferentes funciones académicas. Necesidad de indicadores de carácter cualitativo En la búsqueda de la calidad de la educación superior lo que importa son los resultados de calidad, es decir, las evidencias del logro cabal de los objetivos. Los procesos de evaluación orientados en esa dirección emplean mecanismos técnicos y metodológicos para constatar la medida en la que los propósitos planteados por un sistema educativo están siendo alcanzados. En el ámbito de este trabajo, el desempeño de los académicos, no basta con hacer uso de indicadores de carácter cuantitativo; es muy importante, aunque notoriamente más complejo, incorporar herramientas de tipo cualitativo que ofrezcan una visión ampliada del problema. La precisión de los indicadores para la evaluación del personal académico requiere de la identificación de variables que constituyan el puente entre el desempeño individual y los objetivos de la carrera académica en la institución. Este concepto de variable es determinante para estructurar un proceso de evaluación congruente con los fines institucionales y permite conocer aspectos particulares de la realidad en estudio. Tiene la ventaja de que, analíticamente, permite aislar conceptos clave y asignar valores 12

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. diferentes, en función de los sujetos sobre los cuales se efectúa una indagación. La utilización de indicadores, derivados de las variables propuestas, debe proveer según T. Wyatt (Martínez Rizo, 1998), al menos, alguna información como la siguiente: a) Logros de un sistema educativo, en lo relativo a la obtención de determinados resultados (punto de contraste con avances alcanzados). b) Características de la investigación, relacionadas con ciertos resultados (valor predictivo). c) Rasgos centrales del sistema, para conocer cómo opera o cuáles son sus problemas. d) Aspectos relevantes, que apoyen la toma de decisiones sobre la política educativa vigente. Desde un punto de vista técnico, se recomienda que los indicadores cumplan con las siguientes características: a) Medir aspectos que se encuentren en todo el sistema y que permitan hacer comparaciones. b) Medir aspectos duraderos del sistema, a fin de analizar tendencias y cambios en el tiempo. c) Ser inteligibles a todo tipo de consulta. d) Ser factibles de medición en razón de tiempos, costos y capacidad técnica. e) Ser aceptables por su validez y confiabilidad. f) Ser precisos para desalentar la simulación. Martínez Rizo (1998) define a los indicadores como datos sintéticos que resumen, en forma numérica precisa, la situación actual de ciertos aspectos significativos de un sistema educativo. Señala también que, ante la complejidad de un sistema educativo como es una universidad, ningún indicador particular puede funcionar, por lo que se recomienda la utilización de varios indicadores para cubrir sus diversas dimensiones. Demasiados indicadores tampoco resultan operativos si no están integrados en torno a un sistema organizado y coherente de indicadores, soportado conceptualmente en relación con la calidad educativa. Reconocimiento de los resultados académicos significativos Los resultados logrados en el desarrollo de las distintas tareas académicas deberá ser objeto de reconocimiento y de apoyo cuando representen una aportación significativa por su calidad, utilidad y pertinencia. Dicha producción tiene que ser evaluada, no sólo a partir de los criterios mencionados, sino con base en alguna clasificación que corresponda a niveles de exigencia según las diferentes categorías docentes. Es decir, los requerimientos de productos tendrán que ser ponderados de acuerdo con antigüedad, capacitación, tiempo de contratación, etcétera, de la planta académica.

13

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. LA EVALUACIÓN DEL PERSONAL ACADÉMICO. EN BUSCA DE SISTEMAS DE ORIENTACIÓN SINTÉTICA Felipe Martínez Rizo Introducción La importancia del personal académico en relación con la calidad de las instituciones de educación superior es un punto de consenso entre quienes se dedican a estos asuntos, tanto en el papel de directivos o responsables de programas, como en el de investigadores y estudiosos del tema. Menos unánime es la opinión en cuanto a la conveniencia de que existan en las IES sistemas de evaluación diseñados expresamente para valorar el desempeño de los académicos. Si bien en abstracto parece sencillo aceptar el principio de que evaluar puede contribuir a que la calidad mejore, en concreto, es bastante difícil llegar a consensos sobre las características que debería tener un buen Sistema de Evaluación del Personal Académico (SEPA). Las experiencias no muy afortunadas de algunas instituciones en este terreno, a veces combinadas con posturas ideológicas que las rechazan en principio, llevan a muchas personas a oponerse a cualquier tipo de sistema de esta naturaleza. Lo anterior se ve favorecido por las limitaciones reales que caracterizan a muchos de los SEPAs que se han implantado en México. Dada la complejidad de la cuestión, es normal que sistemas simples, como suelen ser los primeros en desarrollarse, resulten insuficientes para atender la gran variedad de situaciones institucionales e individuales que presenta el personal académico. En las páginas siguientes se presentan algunas consideraciones sobre las características deseables de un sistema de evaluación que tome en cuenta la complejidad de la actividad de los académicos y pretenda contribuir efectivamente al mejoramiento de esos actores, tan importantes para la educación superior. La variedad de actividades del personal académico El personal académico que trabaja por horas en las IES suele realizar exclusivamente una actividad: la que consiste en la enseñanza directa de cierta materia a un grupo de alumnos. Como este tipo de personal ha representado en el pasado una proporción muy elevada del total de los académicos en la mayoría de las IES mexicanas, es normal que los SEPAs más sencillos desarrollados hasta ahora consistan básicamente en encuestas de opinión, mediante las cuales se interroga a los alumnos sobre el desempeño de sus maestros, ignorando otras posibles actividades de los académicos. La real consolidación de las IES, por su parte, requiere de proporciones más altas que en el pasado de académicos de carrera, si bien la proporción precisa en que sea deseable combinar personal de tiempo completo y por horas es muy distinta en los diversos campos del conocimiento. Pero en todos ellos el personal de carrera es indispensable en alguna medida, si no se desea que la acción de las IES se reduzca a la docencia de pregrado en las carreras de orientación profesional más tradicionales, sino que se pretende tener otras menos usuales, en ingenierías, ciencias básicas y humanidades, para atender de manera más completa las necesidades del entorno, con buenos programas de pregrado y posgrado y con actividades de generación y aplicación del conocimiento, de extensión de los servicios y vinculación con la sociedad, entre otras. En parte por la importancia real de las actividades de generación de nuevos 14

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. conocimientos, y en parte por una tendencia poco reflexiva que hace de las IES con programas de punta en ese campo los puntos de referencia implícitos para todas las demás, un riesgo opuesto al anterior suele presentarse en los sistemas de evaluación más recientes: el que consiste en valorar de manera casi exclusiva las actividades de investigación de los académicos, en detrimento tanto de la docencia como de otras acciones. En este campo la experiencia mexicana coincide con las de las grandes universidades estadounidenses, como se ha visto desde la creación del Sistema Nacional de Investigadores en 1984, seguida por los sistemas de estímulos al desempeño de los docentes impulsados por la Secretaría de Educación Pública desde finales de los años 80. Como han señalado diversos autores (cfr. Bennett et al. 1996; Bowen y Schuster, 1986; Glassick et al, 1997), en realidad las actividades de los académicos son muy variadas. La clasificación más conocida, debida a Ernest Boyer, incluye las de enseñanza y las de investigación (que él llama descubrimiento), pero añade las que llama de integración y de aplicación (Boyer, 1990). Una clasificación más detallada, que parte de la distinción tradicional de las tres funciones sustantivas de las IES y la función adjetiva de apoyo, y en cada una de ellas precisa acciones particulares diversas, se presenta en el Cuadro 8.1. Cuadro 8.1 Clasificación de actividades desarrolladas por el personal académico de las IES

Actividades de enseñanza: • docencia directa, con preparación y correcciones; • diseño curricular y de programas de cursos; • elaboración de textos y material didáctico; • tutoría de alumnos. Actividades de investigación: • investigación básica, descubrimiento; • investigación aplicada; • actividades de desarrollo tecnológico. Actividades de difusión: • vinculación con sectores “productivos”; • difusión de la cultura; • divulgación científica. • servicio a la comunidad. Actividades de dirección y gestión académico-administrativa.

No puede establecerse una jerarquía simple en el seno de esta variada gama de actividades; la investigación puede ser, sin duda, muy importante y compleja, pero también pueden serlo las demás acciones de la lista. Todas pueden hacerse mejor o peor y, bien hechas, todas pueden ser aportaciones de gran valor para las IES. Por ello un buen sistema de evaluación tiene que tomarlas en cuenta todas, cada una con sus peculiaridades. La importancia particular de un tipo de actividad depende especialmente de la misión de la institución en que trabaje su autor, la que difiere mucho de una institución a otra. Como establece la tipología de IES que adoptó recientemente la ANUIES, el sistema mexicano de educación superior está formado por cientos de instituciones, muchas de las cuales no pretenden desarrollar actividades de investigación. El Cuadro 8.2 nos presenta la integración del sistema, según los seis tipos de instituciones definidos. Cuadro 8.2 Distribución de las IES del sistema mexicano de educación superior

IES cuya misión incluye únicamente la transmisión del conocimiento: 1,227 Tipo I IDUT: exclusivamente en el nivel de técnico superior 36 Tipo II IDEL: exclusiva o mayoritariamente en licenciatura 1,130

15

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. Tipo III IDLM: en licenciatura y posgrado hasta maestría 61 IES cuya misión incluye transmisión y generación/aplicación del conocimiento: 41 Tipo IV IDILM: en licenciatura y posgrado hasta maestría 25 Tipo V IDILD: en licenciatura y posgrado hasta doctorado 16 IES cuya misión es la generación del conocimiento con docencia derivada: 24 Tipo VI IIDP: casi exclusivamente en maestría y doctorado 24 TOTAL DE INSTITUCIONES DE EDUCACIÓN SUPERIOR 1,292

Fuente: ANUIES, 1999, Cuadro 2.40. Como puede apreciarse, sólo 65 (5%) de las 1,292 IES mexicanas registradas en 1998 incluían en su misión la realización de actividades de investigación. Según el estudio de la ANUIES (1999), de ellas 54 eran públicas y 11 privadas. Los sistemas de evaluación del personal académico,de orientación analítica La diversidad de actividades realizadas por los académicos ha llevado a las IES a desarrollar sistemas de evaluación, de una orientación que designaré con la expresión de “analítica”, que consiste esencialmente en la enumeración de los diversos tipos de producto derivados de las acciones del personal, asignando a cada tipo un número de puntos, de manera que la productividad total de cada académico se manifieste en el total de puntos alcanzado. Los sistemas más desarrollados de este tipo, como el de la Universidad Autónoma Metropolitana, han llegado a definir decenas de tipos distintos de productos, distinguiendo matices muy sutiles entre ellos, y contemplando varios niveles de calidad en cada uno, en un esfuerzo por dar cuenta de la inmensa gama de productos posibles. En la versión de la reglamentación de la UAM aprobada en 1985 se distingue, por ejemplo, la impartición de cursos en el nivel medio superior, de licenciatura o de posgrado; la elaboración de planes de estudio de los diversos niveles; los programas respectivos; notas de curso normal; notas de curso especial; manual; antología; libro de texto; audiovisual; modelos tridimensionales de laboratorio; paquetes de cómputo; traducciones; dirección de tesis de distinto nivel; reportes de investigación; artículo especializado; prólogo; capítulo en libro; edición de libro colectivo; libro científico; patente; prototipo; asesoría; conferencia; coordinación de congresos; participación en comités editoriales; guión de cine; y muchas actividades más. En cada renglón pueden asignarse puntos en un rango de un mínimo a un máximo, según la calidad del producto. El total de puntos que puede alcanzar una persona puede rebasar largamente los 50,000 puntos, debiendo establecerse topes para subgrupos de productos. La lógica de este tipo se sistemas de evaluación puede comprenderse teniendo en cuenta el contexto de las relaciones laborales en las universidades públicas mexicanas en los años 80, tras su ubicación en el apartado A de la Ley Federal del Trabajo, con la problemática jurídica y política de la época. Ayuda también tener en cuenta la tradición del derecho romano y napoleónico en que se enmarca la legislación mexicana. En esta tradición jurídica se pretende que la ley sea exhaustiva, buscando que contemple todos los casos posibles, de manera que el que la aplique no necesita mucho criterio sino que, teóricamente, le basta ubicar cada caso real en la hipótesis legal correspondiente y sacar las consecuencias legales que proceda. Y si bien en el ámbito del derecho penal lo anterior puede ser muy razonable, en otros, como el que nos ocupa, puede llevar a un trabajo sin fin que parece, además, de escaso provecho, dadas otras de las circunstancias que rodean la cuestión. En suma: tales evaluaciones se utilizan básicamente para efectos administrativos, en 16

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. especial para decidir sobre la ubicación de un académico en el tabulador. Por otra parte, las categorías posibles son bastantes en total, en el orden de una veintena: seis o siete básicas (técnico académico auxiliar o titular; personal académico por obra determinada; ayudante; profesor de carrera asistente, asociado o titular) y tres subcategorías en cada caso, A, B o C. Sin embargo, en realidad las categorías que es posible asignar a una persona en un momento dado normalmente no pasan de tres o, a lo más, de seis, ya que en realidad una persona sólo puede ser ubicada en una de las tres subdivisiones de una o dos de las categorías básicas. Si las posibilidades de clasificación se reducen a tres o seis, parece poco adecuado un sistema que maneja decenas de miles de puntos. Además, la aparente precisión del sistema es discutible: finalmente, la asignación de puntos a cada producto es hecha por personas que deben aplicar su juicio. Por otra parte, y por su misma concepción, este tipo de sistemas tienden a producir efectos claramente indeseables, en el sentido de inducir a los evaluandos a acumular productos de dudosa calidad, buscando maximizar su puntuación. A la luz de la experiencia, no parece injusto afirmar también que estos sistemas de enfoque analítico, pese a sus esfuerzos, no logran abarcar toda la gama de actividades de los académicos, descuidan algunas muy importantes como las de tutoría de alumnos. Por ello, no son los más adecuados para efectos formativos, es decir, para promover el mejoramiento del desempeño de los académicos mismos. La construcción de sistemas de evaluación de orientación sintética A partir de lo anterior, a continuación se presentan algunas ideas para el diseño de sistemas de evaluación basados en una concepción diferente, que designaremos con la expresión “de orientación sintética”. En forma análoga a lo que hemos hecho en el apartado anterior, partiremos de unas consideraciones sobre los sistemas jurídicos anglosajones. A diferencia de los sistemas derivados del derecho romano, los que se ubican en la tradición de la common law se caracterizan por normas de alcance muy general, que se complementan con interpretaciones hechas por personas de amplio criterio. En vez de buscar la exhaustividad de la norma, se apuesta por la calidad y el criterio del juzgador. En el caso que nos ocupa, el personal académico, se propone como estrategia fundamental para un sistema de esta orientación la que se conoce técnicamente como evaluación por portafolio. De acuerdo con el uso norteamericano, la palabra portafolio no designa lo mismo que en castellano sino, típicamente, los conjuntos de dibujos, acuarelas, u otras obras gráficas que algunos artistas presentan a posibles compradores como muestra de su producción. A partir de aquí la noción se extiende al campo educativo, en lo relativo a la evaluación de alumnos y de académicos. En este campo, portafolio se entiende como muestra de la producción del alumno o del profesor, con base en la cual se evalúa la calidad de su formación o desempeño. En la bibliografía se dan algunas referencias de obras que presentan las características de esta metodología, precisamente en lo relativo a la evaluación de profesores (Anderson, 1993; Edgerton et al., 1991; Green y Smyser, 1996; Hutchings, 1993; Seldin, 1991 y 1993). Una referencia (Forrest, 1990) presenta su aplicación a la evaluación de los alumnos. A continuación se resumen algunas ideas clave del enfoque, a partir del artículo de Froh et al. (1993). Después de algunas consideraciones, similares a las que se han hecho antes en este texto, sobre las definiciones tradicionales de las actividades de docencia, investigación y 17

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. servicio, y sobre la necesidad de una definición amplia de lo que puede considerarse trabajo académico “legítimo”, Froh y colaboradores plantean la idea central de que un portafolio puede servir para representar todo tipo de trabajos de las más diversas disciplinas, y desarrollan ocho principios para el desarrollo de portafolios profesionales. Tales principios son los siguientes: 1. Los portafolios son útiles en cualquier etapa de la carrera académica, desde el posgrado hasta la situación de “post-tenure”. El planteamiento es interesante: por una parte la carrera académica comienza desde antes de la primera contratación, cuando los mejores alumnos de posgrado comienzan a interesarse por ella. Desde entonces un portafolio puede ser útil para seguir la trayectoria de un prospecto, ayudándolo a detectar puntos fuertes y débiles para aprovechar unos y corregir otros. Alcanzada la definitividad (tenure) los portafolios siguen siendo útiles para alentar a los académicos a reflexionar sobre su crecimiento profesional. En las etapas intermedias de la carrera, los portafolios pueden ser valiosos para apoyar las decisiones relativas a la contratación, la definitividad y la promoción de los profesores. 2. El primer paso para la construcción de un sistema de evaluación por portafolio consiste en tener claro lo que la institución espera del académico, así como lo que considerará como evidencia apropiada de un desempeño exitoso. Como se ha dicho, un portafolio puede aplicarse a cualquier campo y cualquier tipo de actividad académica; pero, para que el sistema pueda operar, cada IES deberá precisar los puntos anteriores, de acuerdo con su propia misión. 3. El formato y los contenidos del portafolio deberán ajustarse a los propósitos, las audiencias y las normas de cada institución. Este principio se explica por sí mismo. 4. El proceso de desarrollar un portafolio es tan importante o más que el producto. Este principio es importante, si lo que se pretende no se limita a propósitos administrativos; si se tienen fundamentalmente propósitos de mejoramiento, entonces el proceso es básico. 5. El componente de un portafolio llamado “planteamiento reflexivo” es el elemento organizador y orientador básico. Además de una colección de productos, muestra del trabajo de un académico, un portafolio debe contener una reflexión de su autor, en la que exprese el sentido de los productos en el conjunto de su producción, autoevalúe sus puntos fuertes y débiles, proponga líneas de trabajo para el futuro, etcétera. 6. La etapa más difícil en la organización de un sistema de evaluación por portafolio es la inicial. Este tipo de sistemas implica una cantidad considerable de trabajo y supone una organización compleja pero, una vez puestos en marcha, los involucrados se acostumbran a su dinámica y la continuación de su operación es mucho más sencilla. 7. Una buena evaluación por portafolio consume mucho tiempo pero vale la pena. Un buen sistema puede tener efectos muy positivos para el mejoramiento del desempeño de los académicos, por lo que el trabajo invertido en su desarrollo está bien empleado. 8. Un portafolio es mucho mejor que un curriculum vitae para fundamentar decisiones de tipo laboral. Un curriculum vitae simple es insuficiente para tal tipo de decisiones; con el complemento de un buen portafolio, en cambio, las decisiones podrán tomarse sobre bases mucho más sólidas. Puede pensarse que el sistema de portafolio se parece mucho a los SEPAs de tipo analítico, como el de la UAM, a los que se hizo referencia antes. Las siguientes explicaciones de otros rasgos de un sistema sintético mostrarán que tal semejanza es superficial. En un sistema sintético no importa tanto la cantidad de productos como su calidad; dada 18

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. la diversidad de productos que puede tener un portafolio, su evaluación no se hace sumando puntos asignados a cada uno con base en una tabla, sino valorando el conjunto, tomando en cuenta las circunstancias particulares de cada caso. Para que esto pueda funcionar se necesita, por una parte, un proceso reflexivo de integración del portafolio por parte de su autor, que se refleje en comentarios que contextualicen los productos y aporten elementos para valorarlos adecuadamente y, por otra, un cuerpo evaluador de gran experiencia y objetividad, según el enfoque del derecho anglosajón mencionado antes. El portafolio de un académico dedicado especialmente a docencia y tutoría de alumnos de pregrado, incluirá típicamente copias de los programas de cursos diseñados por el profesor, pero además deberá tener datos sobre las cifras de aprobación y reprobación en sus cursos, las calificaciones obtenidas por sus alumnos, muestras de trabajos finales de éstos, informes de las actividades de tutorías, con testimonios de casos difíciles atendidos, etc. En el portafolio de un académico dedicado ante todo a la investigación, el más clásico, no podrán faltar copias de los artículos publicados, pero además podrán incluirse testimonios de los alumnos de posgrado asesorados. Mientras, en el de uno orientado básicamente en la dirección de la extensión, podrá haber testimonios de las comunidades atendidas. En todo caso, según el principio 5 de los presentados por Froh, la reflexión del interesado sobre los productos que presenta es básica. Este elemento, una autoevaluación, supone que, desde que el portafolio se comienza a integrar, se incluya un autodiagnóstico inicial, con un plan de trabajo para cierto período, que servirá de referencia a la autoevaluación posterior y a la evaluación externa. La última idea nos llevará, como conclusión, al punto relativo a las características del evaluador del portafolios, para que tenga la calidad que un enfoque sintético implica, pero antes debemos hacer algunas consideraciones metodológicas. Tradicionalmente se considera que un sistema de evaluación de calidad debe distinguirse por dos propiedades, que son su validez y su confiabilidad. En los medios académicos mexicanos, sobre todo en el campo de las ciencias sociales, suelen encontrarse opiniones desfavorables sobre la tradición metodológica llamada, de manera poco precisa, cuantitativa, con la que se asocian los conceptos de confiabilidad y validez. Puede mostrarse que estos conceptos tienen su equivalente, y lo requieren, en el terreno de la tradición llamada cualitativa, como han hecho dos destacados representantes de estos enfoques, Yvonna Lincoln y Elton Guba (1985). De acuerdo con estos autores, los conceptos de la metodología clásica tratan de responder cuatro preguntas fundamentales en cualquier investigación. Esas preguntas plantean las cuestiones de la verdad de un hallazgo, o sea su correspondencia con la realidad (trhut value); la aplicabilidad de un hallazgo en contextos diferentes a aquel en el que se encontró (applicability); la consistencia de los hallazgos, esto es, la posibilidad de replicarlos (consistency); y la neutralidad, esto es la medida en que los hallazgos no dependen de perspectivas o sesgos particulares de los investigadores (neutrality). Según Lincoln y Guba, las respuestas que la metodología convencional ha dado a esas cuatro preguntas se expresan con los cuatro criterios tradicionales de calidad de un estudio que son la validez interna, la validez externa, la confiabilidad y la objetividad, cada una de las cuales tiene sus reglas y condiciones. Según esos autores, los acercamientos cualitativos deben responder las mismas preguntas, pero lo hacen de maneras diferentes, y proponen a su vez cuatro conceptos que, en su opinión, expresan cuatro dimensiones de la calidad de los trabajos cualitativos en forma más adecuada a su naturaleza, evitando las concepciones estrechamente asociadas a los conceptos tradicionales anteriores. Esos cuatro conceptos alternativos propuestos por Lincoln y 19

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. Guba son los de credibilidad, transferibilidad, lo que podríamos llamar confiabilidad alternativa (dependability) y confirmabilidad. En el caso de la evaluación de académicos, la validez del sistema se logrará si el obtener resultados mejores o peores depende efectivamente del desempeño del interesado, y no de factores ajenos al mismo, como podrían ser su edad, su género, su filiación ideológica o política, etcétera. Por su parte, la confiabilidad de un sistema se dará cuando aplicaciones independientes del sistema a un mismo caso arrojen resultados iguales. Conclusión Para que un sistema de evaluación de enfoque sintético pueda ser válido y confiable, el evaluador deberá ser muy sólido en el campo en que se desarrolle la actividad del evaluado, y muy objetivo. En el campo de la evaluación de académicos, y en el contexto mexicano, se estima que estas cualidades sólo pueden lograrse si el evaluador es un sujeto colectivo, independiente y con integrantes tanto de la institución de los evaluados como externos a ella. En otras palabras, si la evaluación está a cargo de comités académicos muy serios. Aun el mejor comité de evaluación puede equivocarse, pero esto también puede ocurrir en un sistema analítico. No hay sistema infalible, y puede argumentarse que la confiabilidad de los sistemas sintéticos puede ser tan buena como la de los analíticos, en tanto que estos últimos enfrentan serias dificultades en lo relativo a su validez. Si se debe decidir a quién contratar entre varios aspirantes en un concurso de oposición; si mantener en la planta de profesores a uno recientemente contratado y darle o no el carácter de definitivo; si promover a una categoría superior a un académico; si recomendar o no la separación de una persona; en todos estos casos, la opinión ponderada de un comité serio, basada en el análisis de un portafolio bien preparado, no será menos confiable que el mejor sistema de puntos. Y si se busca que, más allá de los usos administrativos -de apoyo a las decisiones de contratación, definitividad, permanencia y promoción de los académicos- los sistemas sirvan para apoyar los esfuerzos para mejorar el desempeño de los profesores, los sistemas sintéticos y, particularmente, los de tipo portafolio, parecen tener ventajas importantes. También parecen tenerlas para atender una dimensión fundamental, que los sistemas analíticos difícilmente cubren: la que tiene que ver con el trabajo colectivo, con el desempeño de los cuerpos académicos, más que con el de los individuos que lo forman. Además, los sistemas de portafolio no se oponen a la utilización de otros instrumentos. La investigación muestra, por ejemplo, contra lo que piensan muchos profesores del sector educativo superior mexicano, que las encuestas de opinión entre alumnos sobre el desempeño de sus maestros, si están bien diseñadas y aplicadas, son medios de evaluación válidos y confiables (cfr. Braskamp y Ory, 1994; Centra, 1989 y 1993; Seldin, 1985; Theall y Franklin, 1990). Una institución que decida implementar un sistema de portafolio no deberá eliminar este otro tipo de evaluaciones, y el expediente de cada académico incluirá, en este caso, los reportes de las que hagan los alumnos de un profesor dado, como también podrá incluir elementos de los estudios de seguimiento de egresados, los que se podrán aprovechar para interrogar a los exalumnos sobre sus antiguos profesores, con la posibilidad de detectar interesantes cambios de perspectiva que puede dar el tiempo. Los esfuerzos de mejoramiento de la planta académica de las IES deberán tener una concepción integral (cfr. Boice, 1992; Diamond y Adam, 1993; Eble y Mc Keachie, 1985; Schuster, Wheeler et al, 1990), atendiendo a las diferencias de sus miembros; 20

Evaluación del Desempeño del Personal Académico Análisis y propuesta de metodología básica. México, ANUIES, 207 pp. considerando desde los futuros académicos, antes de su ingreso a la institución, hasta los jubilados; y tomando en cuenta las aportaciones individuales y las de grupo. Igualmente integrales deberán de ser los sistemas de evaluación respectivos. Cabe un señalamiento adicional, en la revisión de los sistemas analítico y sintético de evaluación del desempeño académico. En el segundo caso es preciso un nivel mayor de madurez del personal docente. Es deseable que en el futuro, la evaluación del personal académico esté sustentada, preferentemente, en criterios de carácter cualitativo. Sin embargo, el paso de un sistema analítico a uno sintético supone una transición larga y compleja, paralela a un proceso de maduración de la institución.

21