Experiencias de evaluación y acreditación de programas de maestría Cecilia Polaino de los Santos, Osvaldo Balmaseda Neyra y Carlos Menéndez Gutiérrez*

La acreditaci ón es valorada como una etapa final y definitiva en la consecución de la calidad y no como

Introducción

un momento de un mejoramiento continuo y permanente de la calidad.

ó

ó

ó ú

L

os recursos humanos calificados requieren de la constante y permanente actualización de conocimientos ya sea para mejorar sus desempeños laborales, dominar nuevas tecnologías, reorientar sus perfiles ocupacionales o para perfeccionar sus destrezas profesionales; también se generaliza la tendencia de formar a los profesionales en un perfil amplio que deberá ser especializado en estudios del cuarto nivel. La realidad contemporánea nos demuestra cada día que a todo proceso de formación le corresponde intrínsecamente la posesión de niveles de calidad que propicien su eficiencia y eficacia, su pertinencia e idoneidad, entre otras cualidades, así como la necesidad de que los actores de estos procesos tengan plena conciencia de las fortalezas y debilidades que les impiden o favorecen el alcance de parámetros de calidad cada vez más elevados, aceptados por la comunidad académica, profesional o empresarial. En esta ponencia presentaremos las experiencias prácticas de la implantación del Sistema de Evaluación y Acreditación de Maestrías (SEA-M) de la República de Cuba, por lo que haremos referencia sucinta a los fundamentos que lo sustentan, así como a los procedimientos organizativos y de gestión esenciales que guían todo el proceso, sus particularidades y niveles de acreditación. 91

Los orígenes En 1995, la maestría, como figura de posgrado, recibió reconocimiento oficial debido a su inclusión en el Reglamento de la Educación de Posgrado de la República de Cuba. Desde entonces, el número de programas de este tipo ha ido en constante crecimiento. En decenas de nuestras instituciones de educación superior (IES) y centros de investigación de elevado prestigio internacional gran cantidad de profesionales se gradúan con el título de master. La necesidad de medir la calidad de esas maestrías, la certificación del cumplimiento de parámetros cualitativos asumidos internacionalmente por la comunidad académica, el intercambio y la homologación de programas y titulaciones con otros países, condujo a estudiar y aplicar variados sistemas internacionales de evaluación de programas de posgrado, entre ellos la Guía de Autoevaluación de la Asociación Universitaria Iberoamericana de Posgrado (AUIP). La práctica acumulada en el uso de esta guía propició la creación de un sistema propio, nacional, más cercano al contexto cubano. Las consideraciones sobre nuestra realidad y el estudio de sistemas de evaluación y acreditación de programas de posgrado en varios países europeos, latinoamericanos y de Estados Unidos, así como la experiencia nacional acumulada en este tema, hicieron posible el diseño y puesta en práctica del SEA-M vigente, luego de más de tres años de reflexiones en extensas jornadas de discusión colectiva. El SEA-M fue previamente validado en diez programas de la Universidad de La Habana. Hasta el momento de elaborar este artículo, en el breve periodo de dos cursos, ya se habían sometido voluntariamente al proceso de evaluación y acreditación más de 88 maestrías, de las cuales 32

92

ya han sido acreditadas, 7 de ellas con la máxima categoría de programa de excelencia. Entre los resultados más trascendentes obtenidos con la aplicación de este sistema se encuentra la mejoría en el diseño y desarrollo de los programas de maestría, cuyas correcciones se asumen desde los mismos procesos de autoevaluación realizados por los comités académicos y la evidente adquisición de una cultura de la calidad entre los actores de todo el sistema de educación superior y, particularmente, entre los dedicados al posgrado. El SEA-M establece tres niveles de acreditación: Programa Autorizado, Programa Acreditado y Programa de Excelencia.

La autorización de un programa de maestría El diseño de un programa de maestría tiene su base conceptual y metodológica en los lineamientos establecidos en el Reglamento para la Educación de Posgrado de la República de Cuba y en el Patrón de Calidad de Programas de Maestría. La autorización para el desarrollo de un programa de maestría en Cuba está sujeta a la valoración previa de diversos órganos científicos y/o académicos. Este proceso garantiza un primer nivel de calidad de esos programas al requerir dictámenes positivos de los consejos científicos del Centro de Educación Superior ( CES) o institución autorizada y la aprobación de la Comisión Asesora para la Educación de Posgrado (Copep), refrendada por resolución del ministro de Educación Superior. La Copep es presidida por el viceministro que atiende la actividad de posgrado en el Ministerio de Educación Superior (MES) y está integrada por destacados profesores e investigadores de IES de todo el país que trabajan en siete subcomisiones: ciencias técnicas, ciencias agropecuarias, ciencias pedagó-

gicas, ciencias naturales y exactas, ciencias biomédicas, ciencias sociales y ciencias económicas. Su objetivo es determinar la autorización de programas de maestría diseñados o solicitados por IES autorizadas para impartir programas de este tipo. Hasta el momento de elaborar esta ponencia habían sido autorizados 330 programas de maestría. Un programa autorizado puede abrir ediciones en un plazo que no exceda los cuatro años a partir de la fecha en que es emitida la resolución ministerial que lo aprueba. Durante el desarrollo de las ediciones se efectúan diversos procesos de supervisión de la calidad que abarcan la autoevaluación y la evaluación externa; si en estos controles se advierte que no se cumplen las condiciones declaradas en el momento de autorización del programa, puede determinarse su interrupción temporal o cancelación definitiva por el nivel institucional que realiza el control. En el transcurso del periodo de autorización, un programa puede experimentar dos cursos alternativos: • Seguir un proceso de evaluación externa para su acreditación y obtener la categoría de programa acreditado o programa de excelencia.

• Solicitar la renovación de su autorización, lo que es válido aún para aquellas maestrías que hayan pasado la evaluación y no obtienen la certificación como programa acreditado o programa de excelencia.

La acreditación propiamente dicha Para iniciar el proceso de acreditación de una maestría autorizada se exigen: • Dos ediciones concluidas. • Haber realizado dos autoevaluaciones con base en la Guía de Evaluación del SEA-M. • Una solicitud oficial de evaluación externa expedida por el rector o el director de la institución a la Junta de Acreditación Nacional. 93

• Haber desarrollado satisfactoriamente un proceso de evaluación externa desplegado por la Junta de Acreditación Nacional. • Un dictamen favorable de un comité técnico evaluador adjunto a la Junta de Acreditación Nacional. • La decisión positiva de esta entidad. Un elemento básico para determinar la categoría de programa acreditado o programa de excelencia es la calificación obtenida durante el proceso de evaluación externa, de la siguiente manera: para obtener la categoría de programa acreditado deben obtenerse, al menos, 70% de los puntos posibles de la Guía de Evaluación (de 110 puntos), en tanto que para obtener la de programa de excelencia deben contar, al menos, con 85%. Con independencia de la puntuación total obtenida, para considerar la propuesta de acreditado o de excelencia, la maestría debe aprobar los indicadores de la Guía de Evaluación que valoran si: a) El programa se justifica por necesidades sociales relevantes, actuales y perspectivas. b) Existe efecto del programa en las funciones sociales de los egresados. c) Hay tradición reconocida en el posgrado académico. d) En la institución existen grupos y líneas de investigación que han desempeñando un papel protagónico en el desarrollo científico de las áreas del programa. e) No menos de 70% de los profesores y tutores son doctores dedicados al área de conocimiento para un programa acreditado y no menos de 80% para un programa de excelencia. f) Existe respaldo y se garantiza el acceso a la información científico-técnica que requiere el programa.

94

g) El equipamiento e insumos garantizan la elevada calidad de las actividades docentes y de investigación. h) Se realiza un proceso de selección de estudiantes adecuado a los objetivos del programa y a las capacidades y méritos personales. i) No menos de 50% de los estudiantes que aprobaron todas las actividades precedentes defienden las tesis en el plazo previsto en el calendario para un programa acreditado y no menos de 75% para un programa de excelencia. j) El currículo satisface los propósitos del fortalecimiento de la identidad cultural, el logro del desarrollo social sostenible y otros objetivos sociales. k) Los programas de las disciplinas evidencian, en su desarrollo, actualización teórico-práctica. La investigación ocupa un lugar central en la organización del currículo, y se desarrolla y evalúa a todo lo largo del programa. Se considera aprobado un aspecto de la Guía de Evaluación cuando se obtienen, al menos, dos terceras partes de los puntos que concede, excepto en los incisos e) e i), en los cuales se debe obtener 100% de los puntos. Una maestría que obtenga la certificación de programa acreditado o de programa de excelencia se beneficia porque: • Certifica la calidad del programa. • Posibilita su promoción nacional e internacional por el MES, entre otras vías, mediante una publicación periódica. • Los diplomas que emite para sus egresados son específicos y tienen un sello distintivo. • Constituye un criterio para la evaluación de la actividad de posgrado de una institución. • Adquiere autonomía relativa al funcionamiento del programa de la siguiente forma: a) el certifi-

cado de acreditado tiene vigencia durante un periodo de cuatro años; b) el certificado de excelencia tiene vigencia durante un periodo de seis años; c) el comité académico de un programa acreditado o de un programa de excelencia puede hacer modificaciones que permitan su perfeccionamiento sin la aprobación de los órganos que intervienen en el proceso de autorización del programa. • Los estudiantes titulados de un programa de excelencia pueden ser eximidos del examen de la especialidad correspondiente a los estudios de doctorado siempre que éste se desarrolle en la misma área del conocimiento. • Los programas de excelencia pasan a formar parte del Padrón de Maestrías de Excelencia de la República de Cuba.

El Patrón de Calidad Este patrón es un referente estructurado por un conjunto de estándares que, de acuerdo con la teoría y la práctica de la evaluación académica internacional y la experiencia cubana en el área del posgrado, deben ser satisfechos para garantizar la acreditación nacional de programas de maestría. En la formulación del Patrón de Calidad se propone identificar un modelo ideal al cual deben aproximarse los programas de maestría que se desarrollan en Cuba; el que define el “deber ser” del posgrado cubano, entendiendo por calidad la conjunción de la excelencia académica y la pertinencia social en su acepción más amplia. Con el fin de garantizar la calidad del proceso de evaluación externa son designados uno o más miembros del Comité Técnico Evaluador ( CTE ) para brindar asesoría metodológica en las siguientes etapas.

La selección de los pares Para realizar el proceso de evaluación externa en su segunda etapa (visita in situ) se forman comisiones evaluadoras para cada programa, compuestas por no menos de tres pares de expertos en el área de conocimientos del programa que se evalúa. Estos pares son seleccionados por el CTE a partir de la bolsa de expertos aprobada por la Junta de Acreditación Nacional. Los integrantes de la comisión evaluadora deben observar los siguientes requisitos: • Tener un reconocido prestigio en el área de conocimiento del programa a evaluar. • Poseer el grado científico de doctor en el área que aborda el programa. • Ser profesor-investigador titular o profesorinvestigador auxiliar. • Tener no menos de cinco publicaciones y/o participaciones en eventos científicos en los últimos cinco años. • No pertenecer al CES o UCT que ofrece el programa ni haber pertenecido al claustro de la maestría a evaluar. El CTE selecciona a uno de sus miembros de acuerdo con el área de conocimiento del programa y su participación en la revisión documental, para que asesore a la comisión evaluadora en el proceso de evaluación externa en esta segunda etapa.

La preparación de los pares Una experiencia muy valiosa ha sido la realización de los seminarios de preparación de expertos. Ésta es una de las etapas más importantes que ocurren durante el proceso de acreditación de maestrías. Tiene una duración de uno o dos días; es dirigido por el presidente del Comité Técnico Evaluador y organizado por la Dirección de Educación de Posgra-

95

do del Ministerio de Educación Superior (DEPMES); participan los miembros del CTE designados para realizar la evaluación externa de aquellos programas cuyas instituciones hayan solicitado su acreditación, y de los cuales ya se posean antecedentes suficientes para precisar la visita definitiva al centro —cuya importancia se señalará más adelante—, así como los expertos seleccionados por la Junta de Acreditación Nacional. El seminario satisface los siguientes objetivos: • Dotar a los expertos de los conocimientos necesarios para aplicar correctamente el Reglamento del SEA-M. • Constituir las comisiones que se encargarán de los procesos de evaluación externa de las maestrías que solicitan la acreditación. • Establecer criterios de expertos en las diferentes áreas de conocimientos de las maestrías que serán acreditadas. • Homogeneizar los procesos de evaluación que tienen un carácter más general, con respecto a los juicios de valor para la comprensión y medición de los indicadores en cada variable. • Precisar la posibilidad de evaluación de los programas analizados por el CTE. • Elaborar el cronograma de trabajo de la comisión evaluadora. El seminario de preparación de los pares expertos se divide en dos partes: la primera está dirigida a ofrecer una información de carácter general; y la segunda a propiciar un conocimiento más específico del programa y de las acciones que desarrollarán los pares expertos. Pero no sólo ha sido una experiencia positiva por la preparación de los pares expertos para la evaluación externa. Los seminarios han devenido un espacio idóneo para detectar los lados más débiles 96

del sistema, perfeccionar la organización misma del proceso, aclarar conceptos, tomar conciencia de los elementos que deben ser mejor precisados y, sobre todo, para percibir la progresiva aceptación del SEA-M por aquellos que están involucrados de manera más directa con la ejecución de los programas.

La visita al centro Un momento importantísimo en el proceso de evaluación externa es la visita a los centros donde las comisiones evaluadoras desarrollan los programas de maestría, pues en esta visita se verifican las fortalezas y debilidades que los protagonistas del programa encontraron en sus autoevaluaciones, así como la existencia de las condiciones acreditables en las variables fijadas en el Patrón de Calidad del SEA-M, lo que se hace mediante la revisión documental, visitas a instalaciones del centro, como aulas y laboratorios, y la realización de entrevistas a profesores, alumnos del programa, directivos de la institución, a los egresados y a sus empleadores. La visita comienza con la recepción que ofrecen las autoridades institucionales a la comisión evaluadora, y continúa con la presentación de un informe del comité académico, portador de una valoración del estado de la maestría, sus logros e insuficiencias. De inmediato la comisión evaluadora ajusta el cronograma de trabajo presentado con una semana de antelación; es entonces cuando comienza el trabajo de los expertos. Las visitas han sido encuentros transparentes y enriquecedores en los que ha prevalecido el intercambio académico franco y respetuoso. Los integrantes de las comisiones evaluadoras, tras finalizar la visita que alcanza unos cuatro o cinco días, elaboran un informe cuyo contenido no es dado a conocer al comité académico, aunque sí la valoración que tienen los expertos del desarrollo del progra-

ma, centrada en las fortalezas y debilidades detectadas y sugerencias para mejorarlo. Una semana después, el CTE discute este informe y elabora un dictamen que presenta a la Junta de Acreditación Nacional con una propuesta de acreditación. Este proceso se ha perfeccionado al incorporarse un miembro del CTE en los procesos de evaluación de los programas que participa como experto en evaluación, lo que garantiza una mayor homogeneidad de los procesos. Este experto estudia el programa que solicita la acreditación, así como la información remitida por el comité académico de la maestría; participa en la visita como asesor de los pares y colabora en la elaboración del informe. De este modo, el CTE obtiene un mayor dominio de lo que acontece en las visitas, independientemente de que pueda disponerse de la presencia del coordinador de la comisión evaluadora o de todos los pares, si fuera necesario para aclarar cualquier duda.

Los resultados Apenas tres años han sido suficientes para poder conocer cuáles son los centros de mejor desempeño en la ejecución de programas de maestría, los elementos más consolidados, los que requieren de una mejor atención y las tendencias más generales del desarrollo en esta esfera del posgrado académico. El estudio de los resultados refleja que los programas poseen una elevada pertinencia y, como consecuencia, un notable impacto. Se aprecia que existen claustros fuertes, excelentemente preparados, así como programas bien diseñados, generalmente eficientes si tenemos en cuenta la cantidad de egresados, así como el rigor en el desarrollo de los procesos académicos. Las mayores insuficiencias se revelan en la disponibilidad de recursos, fundamentalmente los re-

lacionados con determinados equipamientos e insumos para laboratorios, originadas por las condiciones que genera el bloqueo de Estados Unidos de América, sobre todo en maestrías de ciencias naturales y de ciencias técnicas. No obstante, se aprecia una destacada actitud de los profesores por vencer estos obstáculos. Se hacen grandes esfuerzos para mantener la bibliografía permanentemente actualizada en cada programa y se establecen relaciones de colaboración interinstitucional. El indicador de eficiencia de graduación, aunque adecuado, aún puede ser mejorado. No son pocos los alumnos que no terminan las tesis en el tiempo que establece el programa. Las causas que lo provocan ya son estudiadas y se toman las medidas oportunas. La acreditación es valorada como una etapa final y definitiva en la consecución de la calidad y no como un momento de un mejoramiento continuo y permanente de la calidad. No existe una cultura o hábito de reunir la memoria de la maestría (publicaciones y otros resultados producidos por el programa, del claustro, etcétera), por lo que en ocasiones se pierde la riqueza intelectual que generan estos programas. En la mayoría de los casos, el contacto con los egresados se hace de manera asistemática, lo que no permite hacer un mejor análisis del impacto o la repercusión del programa a corto y largo plazos.

Perfeccionar el SEA-M La evaluación de la evaluación, o lo que se ha dado en llamar metaevaluación es un factor permanentemente presente en la aplicación del SEA-M y con carácter sistemático. Ambas etapas del proceso de evaluación externa son una evaluación del rigor de las decisiones tomadas por la Copep al autorizar los programas; el análisis en el CTE de los informes

97

de las comisiones evaluadoras es una evaluación del proceso de la visita in situ y del trabajo de los pares; la presentación de los informes y su discusión en la Junta de Acreditación Nacional se constituye en una evaluación del proceso realizado a cada maestría. No se excluyen, por supuesto, los seminarios a expertos, que son la mejor fuente de retroalimentación del impacto del SEA-M. La información obtenida por estas vías nos indica que aunque el saldo general es altamente satisfactorio, debemos perfeccionar el SEA-M y su aplicación. Para ello se prevén las acciones siguientes: • Hacer algunas correcciones en los puntajes que se otorgan en ciertos indicadores de la Guía de Evaluación del SEA-M.

98

• Realizar una mayor divulgación del SEA-M y sus particularidades para que la comunidad universitaria trabaje en pos de la calidad total. • Incorporar expertos extranjeros en nuestros procesos de acreditación de manera sistemática. • Realizar encuentros de perfeccionamiento del SEA-M con la participación de evaluadores y evaluados, en los que se establezcan debates sobre la evaluación y se compartan experiencias de las buenas prácticas de evaluación. • Hacer una mayor divulgación de los resultados de las acreditaciones, fundamentalmente de sus protagonistas.