Evaluación de la calidad educativa en medicina José Joaquín Mira Profesor Titular del Departamento de Psicología de la Salud de la Universidad Miguel Hernández de Elche

Mesa Redonda sobre El aprendizaje de la Medicina en el marco del Espacio Europeo de Enseñanza Superior.

Real Academia de Medicina de la Comunidad Valenciana.

Valencia, junio 2004

Contenidos: 1. Cambios en el entorno normativo de la enseñanza superior en España. 2. Breve historia calidad universitaria en España. El cambio de enfoque. 3. El Modelo de ANECA para la acreditación de titulación.

1. Cambios en el entorno normativo de la enseñanza superior en España.

La reciente entrada en vigor de la Ley Orgánica 6/2001, de 21 de diciembre de Universidades (LOU) ha propiciado un cambio sustancial en la forma de entender la evaluación y mejora de la calidad universitaria, especialmente en el ámbito de la docencia. Aunque la anterior norma, la Ley Orgánica 11/1983, de 25 agosto de Reforma Universitaria (LRU), contemplaba entre su articulado la responsabilidad de las universidades públicas y privadas españolas de velar por la calidad de la docencia y de la investigación y señala su responsabilidad en impulsar métodos para asegurar la misma, es cierto que no se especificaba medida concreta alguna a este respecto, circunstancia que cambia sustancialmente con la nueva norma.

Más aún, la LOU establece la creación de una Agencia Nacional de Evaluación y Calidad y Acreditación (ANECA) que nace con la misión de “contribuir, mediante informes de evaluación y otros conducentes a la certificación y acreditación, a la medición del rendimiento del servicio público de la Educación Superior conforme a procedimientos objetivos y procesos transparentes, como medio para la promoción y garantía de la calidad de las Universidades, así como para el establecimiento de criterios para la rendición de cuentas a la sociedad”. Y con las funciones de “medir y hacer público el rendimiento de la Educación Superior y reforzar la transparencia y comparabilidad de nuestro sistema universitario”. Este nuevo escenario plantea nuevos deberes y obligaciones para las universidades de nuestro país. Ahora bien, ¿significa esto que antes de la LOU no existía la calidad en la universidad?. La respuesta claramente es que no. Aunque pueda ser cierto que la LRU planteó abiertamente la responsabilidad de las universidades en la garantía de la calidad de las enseñanzas que ofrecían y, posteriormente, que la LOU define un procedimiento de garantía de calidad basado en la acreditación de las enseñanzas, tanto del pregrado como del postgrado, no puede afirmarse que las universidades, los docentes e investigadores y el personal, en términos generales que venía prestando sus servicios en las universidades españolas, trabajara al margen de la calidad, desvinculado de ella o sin preocuparse por ella. El buen docente, con independencia de la norma en vigor, ha estado desde su inicio, afortunadamente, presente en nuestra universidad y contamos con ejemplos de maestros que se han preocupado de forma muy notoria por impartir lo que hoy seguimos definiendo como una docencia de calidad. Sí que es cierto, en cambio, que se han producido modificaciones en las metodologías de evaluación de esa calidad, en los métodos de trabajo y en las tecnologías docentes. En este sentido, hay que subrayar que no todos los efectos han sido siempre del todo positivos ya que se han protocolizado fórmulas de trabajo que, en ocasiones, han “normalizado” en exceso el buen hacer de nuestros docentes. La universidad de masas, característica de hace unas décadas de nuestro país, ha ido dejando paso a un modelo algo distinto de universidad, principalmente por la reducción de la matrícula (derivado por la reducción de la tasa de natalidad pero también por el incremento en la diversidad de titulaciones universitarias y el desarrollo de una formación profesional de alta calidad), por cambios en las técnicas docentes por efecto de las nuevas tecnologías, por la exigencia de una investigación básica y aplicada y por el efecto de la creación del Espacio Europeo Educación Superior consecuencia de las políticas de convergencia europeas. La conocida como Declaración de Bolonia, plantea un escenario muy distinto al de hace solo unos pocos años para nuestras universidades. No es solo una adaptación a un sistema de créditos (unidad básica de la medida de la actividad docente universitaria) sino que va más allá, planteando un estilo de enseñanza-aprendizaje bien distinto que obliga a una transformación de las estructuras físicas y, cómo no, de los objetivos y las técnicas docentes. Pero, además, los objetivos cambian sensiblemente cuando los gobiernos de los países de la Unión Europea (ahora ya 25) fijan como meta que los futuros estudiantes universitarios puedan iniciar sus estudios en un país, continuarlos en otro y finalizarlos en un tercero, siendo compatibles (y por tanto convalidables) todos ellos y dando lugar a un mismo título. La convergencia europea entraña una reforma de los planes de estudio en los distintos países de la Unión Europea que España ha empezado, abriendo un debate y

solicitando propuestas a las distintas titulaciones y universidades. En estos momentos estamos a la espera de la publicación de directrices por parte del Ministerio de Educación y Ciencia sobre cómo se debe proceder para llevar adelante esta reforma de los planes de estudio que tiene como horizonte, como se ha señalado, la homologación de títulos en el contexto de los 25 países que integran actualmente la Unión Europea. La movilidad de los estudiantes y profesorado universitario necesita no solo de planes de estudio equivalentes. También se hace necesario generar la suficiente confianza entre los países y sus universidades para que efectivamente sea realidad ese reconocimiento mutuo de los estudios. La acreditación de las titulaciones, entendida como una evaluación de la calidad de las mismas que da origen a un dictamen sobre si deben o no continuar dichos estudios, es el método elegido para fomentar esa confianza entre los estados miembros. La acreditación, definida como método para asegurar la calidad docente, conlleva algunos cambios importantes como, por ejemplo, el compromiso por difundir datos de resultado de la actividad docente (tasas de éxito, número de años que como promedio se precisan para concluir los estudios, tasas de inserción laboral, etc.) haciendo patente el compromiso de transparencia ante la sociedad de las universidades fruto de la amplia autonomía de la que gozan. Investigación, resultados en materia de calidad y la demanda de enseñanza son parámetros que se vislumbran como decisivos a la hora de financiar las universidades. Los sistemas de financiación estructural dejan paso a otras fórmulas que tienen en cuenta el producto de la actividad universitaria. En los próximos años cabe esperar cambios en la financiación de las universidades y, probablemente, asistiremos a nuevas fórmulas de cooperación entre las universidades a fin de hacer frente a las nuevas demandas y exigencias sociales y al creciente coste de las enseñanzas universitarias. Estos cambios han afectado a las enseñanzas pero también a la investigación. Las agencias nacionales e internacionales que financian la investigación básica y gran parte de la investigación aplicada han ido cambiando sus objetivos y prioridades. El doctorado ha sufrido también modificaciones y se espera que todavía haya más cambios en línea con potenciar los doctorados de excelencia. La gestión universitaria también se enfrenta a nuevas demandas y a una más alta exigencia por obtener buenos resultados. Es en este entorno en el que la calidad universitaria es vista como una potente alternativa para dar una mejor respuesta a estos nuevos retos.

2. Breve historia calidad universitaria en España. El cambio de enfoque. En 1992, y con carácter experimental, el Consejo de Universidades puso en marcha el Programa Experimental de Evaluación de la Calidad del Sistema Universitario y posteriormente en 1994 el Proyecto Piloto Europeo de 1994-95, que reunió en una misma orientación metodológica la evaluación de la enseñanza superior de 17 países participantes. A esta experiencia le sucedió, también bajo la coordinación del Consejo de Universidades, convocatorias anuales de evaluación de las distintas titulaciones (PNECU) que, en 2001, culminaron con la convocatoria en el Boletín Oficial del Estado del Plan de Calidad Universitaria (PCU).

En esencia tanto el PNECU como el PCU planteaban la autoevaluación como método para evaluar e incrementar la calidad de las enseñanzas. En la práctica este método de la autoevaluación consiste en la evaluación de cada uno de los aspectos que inciden en la docencia de una titulación por profesores, estudiantes y PAS que participan en la misma, identificando aquellos aspectos que funcionan mejor y aquellos otros que precisan de cambios a fin de mejorarlos. La estructura del plan de estudios, la distribución de la carga docente, los recursos en bibliotecas y laboratorios, las prácticas clínicas, horarios, instalaciones, etc. son analizados a fin de hacer pública una reflexión sobre su estado y funcionamiento. Toda la información recogida, junto a datos objetivos de resultado de las enseñanzas, permiten proponer acciones para mejorar las enseñanzas. El Consejo o las agencias autonómicas creadas al efecto diseñaron y pusieron en práctica guías para llevar a cabo esta autoevaluación, guías que han permitido impulsar la medida de la calidad en el ámbito universitario. Este sistema ha sido puesto en práctica en todas las universidades de nuestro país y ha permitido evaluar las enseñanzas clínicas, incluyendo a Medicina, en un buen número de las facultades. A diferencia del PNECU, donde las universidades proponían qué titulaciones deseaban evaluar en cada anualidad, el Plan de Calidad Universitaria (PCU) planteó un horizonte diferente. En este caso, las universidades debían plantear un plan global de evaluación de la calidad de todas las enseñanzas en un plazo de seis años. La metodología era la misma, la de la autoevaluación, pero el alcance diferente al comprometer al conjunto de titulaciones. La entrada en vigor de la LOU en enero de 2002 y la creación de la ANECA ha supuesto un cambio sensible ya que este PCU ha sido derogado y la nueva ANECA ha asumido la responsabilidad de conducir los procesos de evaluación de las enseñanzas además de asumir la responsabilidad de acreditar las enseñanzas conforme a lo que marca la nueva norma. En el esquema de la figura 1 se representa la evolución desde el Plan Experimental arriba comentado hasta hoy. En la figura se añade la acreditación que se lleva a cabo de los programas de doctorado, dentro de la convocatoria nacional de doctorado de excelencia que también ha sido asumido por la ANECA.

Figura 1. Evolución de la metodología para evaluar la calidad universitaria

Plan Experimental PNECU PCU

Evaluación Institucional

ANECA Certificación Plan Piloto Acreditación Doctorado de Calidad

La acreditación, a diferencia de la autoevaluación, significa un cambio metodológico muy significativo. En la acreditación un equipo auditor, tras revisar concienzudamente el estado de las instalaciones, recursos, entrevistarse con el personal docente, estudiantes y revisar los datos de resultado, emite su informe acerca del estado de las enseñanzas que, posteriormente, es empleado por la ANECA para formalizar su dictamen sobre si las enseñanzas reúnen los mínimos de calidad docente prefijados. Este informe es sumamente importante ya que la LOU contempla la posibilidad de que las enseñanzas pierdan su validez en caso de que no se alcance ese mínimo nivel de calidad prefijado. Dicho de otro modo, una facultad de medicina en este nuevo escenario, podría perder la validez del título que imparte si no logra esos niveles de calidad a los que aludimos. El cambio fundamental de enfoque que esto supone se representa en la figura 2. Hasta ahora, la garantía de la calidad docente venía determinada por la homologación del plan de estudio (que aseguraba los contenidos que debían ser conocidos por los futuros profesionales), la adecuada selección del profesorado y del resto de personal colaborador (por comisiones y tribunales de acuerdo a las normas de la función pública y las propias de selección de profesorado), la idoneidad de los estudiantes para cursar la carrera universitaria (por la vía de la selectividad) y la idoneidad de las instalaciones (conforme a los criterios para ordenar su apertura). Es, por tanto, una garantía basada en la calidad de la estructura y, por tanto, a priorística. Tras la puesta en práctica de la LOU la garantía de calidad viene determinada por la evaluación de los resultados que se alcanzan. Más que la calidad de la estructura interesa asegurar que los resultados de las enseñanzas responden a los objetivos y a las demandas actuales.

Figura 2. Cambio de enfoque en el método para asegurar la calidad universitaria

Garantía Calidad

Garantía Calidad

Estructura

Resultado

El Real Decreto 49/200, sobre homologación de planes de estudio y títulos de carácter oficial y validez en todo el territorio nacional, contempla que los estudios de una enseñanza universitaria deben superar evaluaciones periódicas (cada ciclo completo cinco o seis años) que demuestren que ofrecen un nivel de calidad suficiente. Para ello se acredita que se superan unos estándares de calidad prefijados por la ANECA, pudiéndose dar cuatro opciones. La primera, supone la acreditación de excelencia cuando se superan de forma significativa dichos estándares. La segunda situación que se contempla es la de la acreditación cuando se superen los estándares. La tercera, una acreditación temporal por un año cuando alguno de los estándares no se cumpla y la titulación requiera de un tiempo para poner en orden sus enseñanzas. La cuarta, la desacreditación cuando no se cumplan los estándares de calidad. En este último caso, el título perdería la validez oficial al no ser homologado.

Figura 3. Acreditación vs desacreditación de las enseñanzas

Homologación plan de estudios Acreditación Homologación título

¿Se superan estándares?

sí

no

Acreditación de Excelencia

No acreditación temporal

Acreditación

No acreditación

3. El Modelo de ANECA para la acreditación de titulación. La acreditación precisa de un modelo o norma de referencia que permita a los auditores realizar su trabajo con transparencia, objetividad y coherencia. La ANECA está trabajando para ultimar este modelo de referencia que tendrá la estructura que se recoge en la figura 4.

Figura 4. Modelo ANECA para la acreditación de titulaciones

6 criterios PROGRAMA PROGRAMA FORMATIVO FORMATIVO

ORGANIZACIÓN ORGANIZACIÓN DE DE LA ENSEÑANZA LA ENSEÑANZA PROCESO RESULTADOS FORMATIVO RECURSOS RECURSOS HUMANOS HUMANOS

RECURSOS RECURSOS MATERIALES MATERIALES

En este modelo se contemplan 6 criterios para la acreditación y para cada uno de ellos una serie de recomendaciones para los auditores y una serie de indicadores que deben medirse para asegurarse de que los niveles de calidad de las enseñanzas son apropiados. El primero, denominado Programa Formativo, contempla los siguientes apartados (en cada caso se incluye alguna breve descripción de las cuestiones clave a las que deben responderse para optar a la acreditación): Objetivos del programa formativo. ¿Están definidos los objetivos?. ¿Son accesibles y públicos? Existe un suficiente nivel de detalle en la determinación de los perfiles de ingreso de los estudiantes de primer curso. Existe un suficiente nivel de detalle en la determinación de los perfiles de egreso. ¿Están definidos los conocimientos y competencias necesarias en el perfil ingreso y esta información es accesible y pública?. ¿Es congruente con los objetivos?. Por otro lado se analiza el plan de estudios y su estructura. En concreto, el contenido curricular, la coherencia curricular y la flexibilidad curricular. Son análisis también por parte de los auditores el grado de internacionalización de las enseñanzas (entendida en el sentido de si facilita la movilidad de estudiantes y profesores y si se realiza aprovechando acuerdos de cooperación entre universidades de distintos países). Se cuestiona si la secuencia de las asignaturas es coherente. Las prácticas clínicas se analizan en cuanto a su posición e importancia en el plan de estudios y la conexión entre teoría y práctica. Se pregunta expresamente sobre los mecanismos puestos en práctica para evitar duplicidades de contenidos entre asignaturas. Si existe suficiente coordinación entre niveles y cursos y si existe una guía para el estudiante que le facilite la elección de materias y, que en definitiva la permita conocer mejor sus estudios. La actualización curricular de las diferentes materias es abordada también en este punto como garantía de que los contenidos de los estudios se van actualizando conforme avanzan los conocimientos científicos. Para ello, la norma requiere que exista algún mecanismo para asegurar de forma regulada, sistemática y periódica la revisión de contenidos de las asignaturas, así como un procedimiento para captar información acerca de las necesidades de formación de los futuros profesionales. Por último, en este primer criterio se pide a las facultades que hayan realizado estudios sobre la factibilidad real del plan de estudios, por ejemplo, estimando los tiempos de trabajo y estudio del estudiante que siga este plan de estudios para comprobar que es posible seguirlo. En cuanto al segundo de los criterios, la Organización de la Enseñanza, el modelo de la ANECA contempla evaluar el sistema de dirección y de planificación de las enseñanzas que se lleva a cabo en la facultad. Expresamente se solicita información a la titulación sobre cómo aplican métodos de evaluación y mejora de la calidad (ciclo de mejora continua) y otras cuestiones acerca de la efectividad de la comunicación interna y externa. En particular se pide a los auditores que expresamente revisen las acciones de mejora implantadas en los últimos años y la revisión del programa formativo que se haya efectuado. También un

análisis sistemático de los mecanismos de evaluación de los resultados (incluyendo el impacto en la sociedad de las enseñanzas). En este criterio es objeto de análisis la organización y revisión de las enseñanzas en cuanto a los aspectos de: matrícula, normas para realizar exámenes, elaboración y seguimiento de los horarios, prácticas, etc.... Se solicita a los equipos decanales que las decisiones sobre estos aspectos estén basadas en datos objetivos. Cómo se llevan adelante estos procesos organizativos y otras cuestiones sobre el presupuesto liquidado, nivel de equipamientos (incluyendo el de los centros sanitarios) terminan de configurar los aspectos organizativos más relevantes. El tercer criterio hace referencia los Recursos Personales. Específicamente se solicita de la titulación información acerca de la adecuación del profesorado para llevar adelante el programa formativo diseñado. La idoneidad del profesorado en cuanto a la estructura, la investigación realizada, la experiencia docente adquirida, la formación pedagógica con que cuenta, la movilidad del profesorado, y la idoneidad de los colaboradores. En este criterio se analiza también si el personal de administración y servicios (por ejemplo de laboratorio) está suficientemente capacitado para el tipo de prácticas que se realizan y si cuentan con las suficientes oportunidades de formación continuada. Un cuarto criterio se centra en los Recursos Materiales. El estado de las instalaciones e infraestructuras para llevar adelante con garantías el proceso formativo son objeto de análisis en este punto. Aulas; espacios de trabajo y de prácticas; laboratorios, talleres y espacios experimentales; biblioteca y fondos de documentales; y condiciones de los centros sanitarios para recibir estudiantes son vistos desde la óptica de si cumplen con los mínimos exigidos por la ANECA para la acreditación de la titulación. El quinto criterio evalúa la puesta en práctica del Programa Formativo. En este caso, se solicita de los auditores que realicen una valoración del sistema de acceso al programa formativo, de los mecanismos de captación y selección de estudiantes y si el resultado final es concordante con el perfil de ingreso que se pretendía. La atención al estudiante, cómo se realiza la acogida a los nuevos estudiantes o si existen programas de apoyo al aprendizaje son analizados en este punto. Otro de los puntos a analizar son los mecanismos que la titulación haya puesto en marcha para conocer la opinión de estudiantes y profesores acerca de las enseñanzas y, por ende, los mecanismos de participación con que cuenten. La formación integral del estudiante es uno de los objetivos a satisfacer. Por esta razón, específicamente el modelo contempla el análisis de los mecanismos para asegurar esa formación integral, la orientación profesional que se facilita y los posibles programas para hacer más sencilla la inserción laboral de los futuros titulados. Por último, en este criterio se analiza el proceso de enseñanza-aprendizaje. En concreto, se solicita información sobre: metodología de enseñanza-aprendizaje que se aplica, la metodología de evaluación que se practica, las prácticas externas que se realizan, la movilidad de estudiantes y profesores y la realización de tutorías. El sexto criterio valora los Resultados del programa formativo en términos de: efectividad del programa formativo, satisfacción del alumno, resultados en los egresados (cumplimiento del perfil de egreso, satisfacción de los egresados, e

inserción laboral). Y resultados en la sociedad (vinculación social y satisfacción de los empleadores y de más grupos de interés).

Aunque no pueda afirmarse que la calidad universitaria sea una novedad en el contexto de la enseñanza superior existen cambios normativos significativos que hacen que la calidad sea un eje central de las políticas de los rectorados de las universidades españolas. El reto de la convergencia europea, que pasa por la creación del Espacio Europeo de Educación Superior, ha traído a primera línea de la discusión los métodos para evaluar y mejorar la calidad de la docencia, de la investigación y de la gestión universitaria. La ANECA en España y las agencias nacionales en el resto de países han empezado a plantear modelos de referencia para determinar los niveles de calidad de las enseñanzas. Estos modelos son la base de procedimientos de auditoría para determinar si se cumplen mínimos de calidad que permitan continuar las enseñanzas en una facultad al darle validez al título universitario (y así sucesivamente en los distintos países europeos). Este enfoque supone un cambio muy significativo desde planteamientos de aseguramiento de la calidad a priorísticos, basados en asegurar una estructura idónea, hacia un modelo que se preocupa por los resultados que se alcanzan. En definitiva, este enfoque tiene como objetivo incrementar la confianza entre los estados miembros respecto de la calidad de sus universidades y contribuir a la creación de una Europa de los ciudadanos, por el momento de 25 estados.

Agradecimientos: Inmaculada Blaya, responsable del Servicio de Gestión y Control de la Calidad de la Universidad Miguel Hernández de Elche, he revisado el texto incorporando matices que mejoran el texto original.