Percepciones sobre impactos del aseguramiento de la calidad (AC) de la educación superior en Iberoamérica.

Gonzalo Zapata, Daniela Torre1.

Introducción Este trabajo recoge parte de los resultados del proyecto ‘Aseguramiento de la Calidad: políticas públicas y gestión universitaria’, desarrollado por el Centro Interuniversitario de Desarrollo, CINDA2. El objetivo general del proyecto ha sido evaluar el impacto de los mecanismos de AC en diversos contextos con el objeto de desarrollar capacidades e informar políticas para una mejor gestión de la calidad. En las siguientes páginas se presenta muy brevemente el tema de investigación, se discuten algunas consideraciones relativas al debate internacional, se describe sucintamente la metodología utilizada y luego se reportan los principales resultados alcanzados.

Impactos del AC El AC ha llegado a ocupar un lugar relativamente importante en el contexto de las políticas de educación superior, en Chile y en el resto del mundo. Aunque se trata de un asunto relativamente reciente, existe un amplio consenso de que el AC ha llegado para quedarse. El AC puede alcanzar una muy alta visibilidad y las expectativas depositadas en él tienden a ser significativas. Son procesos altamente demandantes en tiempo y dedicación de personal académico especializado. De allí que exista una amplia preocupación y debate por los impactos del AC Los estudios disponibles han generado debate a propósito de la magnitud de los beneficios institucionales y sociales obtenidos. Mientras que para algunos autores, el AC ha movilizado significativamente a las instituciones de educación superior, impactando 1

Autores: Gonzalo Zapata, profesor de la Facultad de Educación de la P. Universidad Católica de Chile. Daniela Torre, Secretaria Ejecutiva del Consejo Nacional de Educación, CNED. 2 Proyecto ALFA Nro. DCI-ALA 2008/42, financiado por la Comunidad Europea. El informe definitivo del estudio será próximamente publicado por los autores en un libro que se encuentra editando CINDA. Este documento corresponde a una versión resumida del documento final.

1

visiblemente en el control y/o mejoramiento de la calidad, para otros, aunque reconocen ciertos avances, prima más bien una tendencia a la burocratización de los procesos y una excesiva carga rutinaria, que poco contribuye a una genuina cultura de la calidad. Evaluar los impactos del AC, tiene numerosas complicaciones, entre las que destacan la multiplicidad de perspectivas desde donde puede abordarse el concepto de calidad, la diversidad de propósitos y objetivos que presenta el AC en contextos en que compiten múltiples intereses, y la evidente dificultad de separar causas y efectos en una materia en la que concurren numerosas políticas simultáneamente (Zapata & Tejeda, 2009) Los sistemas de AC en el ámbito de la educación superior se enfocan a la evaluación de la calidad. Sin embargo, la experiencia internacional comparada muestra una gran variedad de objetivos perseguidos. Diversos autores identifican, a lo menos, tres grandes objetivos del AC externo: el control de la calidad, la rendición de cuentas y el mejoramiento. Aquellos países que han avanzado en el diseño de sistemas de AC, han optado explícita o implícitamente por desarrollar estos objetivos (o bien una combinación de ellos) mediante diversos modos. Estos se expresan ciertamente en aproximaciones distintas, en énfasis de unos objetivos por sobre otros, en usos variados de instrumentos y metodologías y, lo más importante, en tensiones y expectativas mixtas (ver, entre muchos otros, a: Kells, 1999; Van Vught & Westerheijden, 1994; Vroeijenstijn, 1995; Billing, 2004). Los impactos del AC pueden darse en diversos ámbitos también, así como lo son los ámbitos en los que se desarrollan los procesos. El punto es, justamente, que el AC externo (desarrollado desde las agencias o autoridad), tiene por propósito impactar en procesos de AC internos (en las instituciones), y se espera que estos últimos redunden e impacten sobre la calidad de la educación superior. Que las políticas externas de AC lleven a procesos internos de AC y que estos últimos, a su vez, conduzcan a cambios e impactos sobre la calidad de la educación superior es un argumento complejo y difícil de probar desde el punto de vista metodológico. Con todo, la apuesta es justamente esa: promover cambios de la calidad, de un modo indirecto (Zapata & Tejeda, 2009). Las evidencias aportadas hasta la fecha por la evaluación de impactos del AC son parciales y poco concluyentes. Ciertamente se ha avanzado mucho en el conocimiento sobre los cambios ocurridos tras los procesos de evaluación en el plano organizacional

2

(Brennan & Shah, 2000) o bien el impacto percibido por los diversos actores institucionales (Newton, 2002; Horsburgh, 1999; Bornman et al., 2006). Aún queda pendiente, eso sí, la que es probablemente la dimensión más importante del AEC y que tiene que ver con la calidad del proceso de enseñanza-aprendizaje (Stensaker, 2008). La gran mayoría de las investigaciones empíricas disponibles son de alcance institucional, a lo más a nivel nacional; los menos, de alcance multinacional/regional, no existiendo a nivel global. En Chile, por ejemplo, pueden consultarse varios estudios que señalan cambios en la cultura de las instituciones de educación superior, a propósito del aseguramiento de la calidad (Silva, 2006; Lemaitre, 2005; González, 2008). A nivel internacional, uno de los estudios de mayor alcance realizado hasta la fecha fue aquel desarrollado por el IMHE/OECD (Brennan & Shah, 2000), que destacó importantes cambios organizacionales ocurridos luego de procesos de evaluación en 29 universidades, de 14 países. El estudio desarrollado por CINDA y cuyos resultados se resume aquí, es uno de los proyectos más ambiciosos desarrollados a la fecha, generando una gran cantidad de información sobre la percepción de impactos del AC en la región de Iberoamérica. Se trató, a diferencia de otras iniciativas similares, de una investigación con una fuerte orientación de políticas, que identifica los avances y dificultades en aquellos países más adelantados, y fija la atención en la definición de acciones de apoyo necesarias para acompañar estos procesos en países con un AC emergente. En este trabajo sólo se resumen algunos aspectos muy generales del estudio.

Metodología Este estudio abordó empíricamente un tema relativamente nuevo en la región y respecto del cual la investigación y literatura disponible es aún muy limitada. De allí su carácter fundamentalmente exploratorio. Se trata de un estudio que recaba opiniones de distintos actores calificados y que, por tanto, puede calificarse como un estudio de percepción de impacto. El proyecto completo involucró a un total de 23 universidades pertenecientes a 16 países latinoamericanos y europeos. Su diseño e instrumentos fueron desarrollados y ajustados por amplios grupos de especialistas representantes de los distintos países

3

involucrados. Se desarrolló una primera etapa piloto, con el objeto de validar y ajustar el diseño e instrumentos, pero también para despejar una multitud de diferencias relacionadas al uso de conceptos y modos de entender el AC entre los distintos países. La etapa de aplicación final se enfocó en una muestra de 16 universidades, perteneciente a los siete países de la región con un mayor avance en el desarrollo de sus sistemas de AC: México, Costa Rica, Colombia, Chile, Argentina, Portugal y España. La opción por un estudio de percepciones tiene que ver, en parte, con la dificultad (a nuestro juicio, imposibilidad) de aislar el efecto de los procesos de AC de otras iniciativas desarrolladas para mejorar la calidad de las instituciones de educación superior, especialmente su gestión y la docencia; algunas implementadas por las propias instituciones y otras impulsadas por los gobiernos. Un estudio de percepciones es una buena aproximación a los impactos, especialmente cuando también apunta al objetivo de mejorar la calidad de la política. El estudio se enfocó en identificar percepciones del impacto del AC en tres dimensiones clave: i) el sistema de educación superior (macro), ii) la gestión institucional (meso) y iii) la docencia (micro). Los actores involucrados en el estudio fueron escogidos por su relevancia, en virtud de su papel y perspectiva asociada al AC (interno y externo); en algunas oportunidades como responsables directos y en otras como simples usuarios. Se consideraron los siguientes actores para el levantamiento de opiniones sobre impactos del AC: -

Autoridades gubernamentales, como representantes de la política pública.

-

Directivos de agencias de AC, como autoridades responsables del diseño y gestión de los procesos externos de AC.

-

Vicerrectores y directores de planificación, como responsables de la gestión institucional y de liderar la gestión de calidad.

-

Decanos y docentes, como actores directamente involucrados en el desarrollo de los procesos, pero también en el trabajo más directo con la calidad de la educación superior.

-

Alumnos y egresados, como actores interesados y usuarios internos del AC.

4

-

Y finalmente asociaciones profesionales3, como actores interesados y externos al AC. La información fue levantada mediante entrevistas semi estructuradas, grupos

focales y cuestionarios estructurados. El análisis consideró diversas técnicas de análisis cualitativo, fundamentalmente destinadas a conocer las percepciones sobre impactos del AC en los países seleccionados, proponiendo ciertas hipótesis y levantando evidencias de cambios positivos y negativos. El procedimiento para recabar la información fue realizado por el equipo responsable de CINDA, con la participación de especialistas locales en cada uno de los países participantes. La selección de la muestra de instituciones y actores también se desarrolló con una amplia participación de cada uno de los países considerados. Es importante destacar que se trató de un estudio de gran complejidad, que debió hacerse cargo de diversos desafíos metodológicos, desde diferentes usos idiomáticos, hasta la participación de especialistas de trayectorias heterogéneas entre los países. El análisis final consideró una selección de los aspectos más relevantes identificados mediante el análisis transversal de los diversos informes elaborados en cada uno de los países participantes. La información recibida fue de enorme valor y gran alcance. El nivel de detalle de los informes, aunque algo disímil entre los países, contiene una gran riqueza de información, que será utilizada sin duda en futuras investigaciones. Para la síntesis y resultados finales del estudio, se revisaron todos los informes nacionales, mediante lecturas sucesivas, que permitieron identificar un conjunto de regularidades y especificidades para cada una de las tres dimensiones del estudio y en referencia a los distintos países y universidades participantes. Así, se consideró fundamentalmente regularidades y especificidades de la evidencia arrojada entre países, de las percepciones identificadas entre los actores, y de acuerdo a la información reportada entre tipos de universidades. Las lecturas de los informes de los países permitieron formarse no sólo un juicio acerca de las regularidades y singularidades en las dimensiones antes mencionadas, sino 3

En la etapa piloto del estudio se incluyó también a una muestra de empleadores; sin embargo, la dificultad para identificar informantes calificados en ese sector, así como la escasa información recogida hicieron que se los eliminara de la siguiente etapa del estudio. Se optó, en cambio, por incorporar información acerca de la inserción laboral a través de la consulta a egresados.

5

también formular ciertas inferencias que pudieran explicar los hallazgos del análisis comparado. Estas inferencias se entienden en el contexto de las características de los sistemas de educación superior, los sistemas de AC y las perspectivas de los actores considerados. De este modo, la historia y desarrollo de la educación superior y su institucionalidad es clave para entender las diferencias en las percepciones de impacto identificadas.

Resultados El estudio identificó regularidades en las percepciones de los actores consultados en las tres dimensiones consideradas. Los hallazgos más significativos y transversales tienen que ver con los importantes avances en el desarrollo de sistemas de información, en el continuo desarrollo y profesionalización de la gestión de la calidad en las universidades, y en el creciente reconocimiento de la docencia como función institucional principal. En términos generales, en la dimensión del sistema de educación superior, se aprecian cambios en la institucionalidad del AC, valoración de la información para la toma de decisiones y el nuevo papel del estado en educación superior y en su relación con las instituciones. Sin embargo, en algunos países se aprecian serios problemas de legitimidad y transparencia. Adicionalmente, existe una percepción creciente acerca de la burocratización de los procesos, la que coincide con el avance en la cobertura y la masificación de éstos. Se constatan críticas al deterioro de los espacios de participación y se reclama que la definición de criterios y especialmente la ejecución de los procesos han perdido rigor, disminuyéndose la participación y compromiso de académicos calificados. Respecto de la dimensión asociada a la gestión institucional, se reconoce, como uno de los cambios de mayor magnitud, aquel vinculado a la profesionalización de la gestión e incorporación de más información en los procesos de control interno y toma de decisiones. La evaluación de la calidad se manifiesta organizacionalmente y se incorporan nuevas prácticas internas, por lo general vinculadas al control y planificación institucional. También se detecta un creciente reconocimiento de la docencia, como función clave de las universidades, lo que impacta a su vez en la evaluación y en el desarrollo docente. Sin embargo, estos avances son también percibidos como una tendencia al gerencialismo de la función académica, hoy gestionada por cuerpos profesionales distintos a los académicos,

6

deteriorando valores tradicionalmente aceptados y generando tensiones al interior de las universidades. Sobre el proceso de enseñanza aprendizaje, el estudio muestra claramente que estudiantes y profesores ven cambios en la docencia, asociados a la evaluación y acreditación de las carreras. Aunque existen numerosos factores involucrados, el AC es percibido como un motor de cambio en el diseño y programación curricular, los procesos de enseñanza-aprendizaje y las metodologías y prácticas asociadas. Con todo, se trata de procesos que dependen de una multitud de factores, siendo el AC sólo uno de ellos. En algunos países, se cuestiona que el AC concentre la atención en esta dimensión en materias de carácter formal, y no enfrente la evaluación de aspectos sustantivos, pese a que es justamente la docencia aquella dimensión en la que podrían desarrollarse cambios más significativos de calidad. En este sentido, se critica que los mecanismos de AC se mantengan en una evaluación de procesos, cuando la madurez de los sistemas permitiría recabar información acerca de los resultados. El estudio reveló también un conjunto de materias relativas a la perspectiva particular de los actores consultados, varias de las cuales generan tensiones y problemas que se repiten entre los distintos países estudiados. -

En primer lugar, las autoridades gubernamentales muestran bastante desconocimiento acerca de las características y alcances de los procesos de AC, aunque la reconocen como un instrumento de enorme importancia en el contexto actual de la educación superior.

-

Los directivos de las agencias, por su parte, tienden a sobredimensionar el impacto percibido en la dimensión de gestión institucional, en desmedro de la docencia.

-

Las autoridades superiores de las universidades aprecian positivamente el AC interno, asociándolo a los cambios a las prioridades de la gestión de rectoría a la que pertenecen y, por ende, a sus propias decisiones, las que no siempre estarían impulsadas ni influidas por las políticas públicas de AC. De allí que su acento sea el AC interno, criticando en ocasiones al AC externo por su poca flexibilidad y apertura a la innovación y diversidad.

-

Es a nivel de las autoridades de las facultades/escuelas y programas/carreras donde se percibe una mayor valoración de las normas y prácticas del AC y de cómo éstas

7

contribuyen al logro de los objetivos de las carreras y al mejoramiento de la calidad del servicio. Destacan como el AC ha incidido significativamente en la cultura institucional a favor de la calidad. La claridad de su opinión respecto de las distintas dimensiones involucradas, no sólo refleja su conocimiento acabado en las dimensiones meso y micro, sino que pone en evidencia que es justamente en estos niveles donde los sistemas de AC y acreditación tienen una mayor incidencia, aunque no siempre suficientemente apreciada.

Por último, es importante indicar que si bien respecto de la distinción entre universidades públicas y privadas se encontraron algunos hallazgos, estos no fueron gravitantes a la hora de identificar los cambios e impactos más significativos en las dimensiones consideradas.

Conclusión El estudio identificó importantes regularidades en las percepciones sobre impactos en diversos actores y dimensiones de la educación superior en la región de Iberoamérica. Destacan los avances en los sistemas de información pública, información y profesionalización de la gestión universitaria, e introducción de diversos procesos de gestión curricular y de procesos. Al mismo tiempo, se aprecian importantes críticas por los escasos logros obtenidos en ciertas materias, la lejanía de los procesos respecto de las necesidades de información del público en general, los problemas de legitimidad y transparencia, la excesiva formalización (y burocratización de los procesos) y las tensiones que produce la fuerte tendencia al gerencialismo al interior de las comunidades académicas. Las dificultades observadas en los distintos países/regiones sugieren reevaluar ciertas opciones, ajustando las políticas y destinando mucha más atención a la dimensión de la docencia impartida, valorando las prácticas y cultura académica y promoviendo la gestión de calidad en el nivel de la enseñanza-aprendizaje.

8

Referencias

Billing, D. (2004) International comparisons and trends in quality assurance of higher education: commonality or diversity? Higher Education, 47. Bornmann, L et al. (2006) Quality assurance in higher education meta-evaluation of multistage evaluation procedures in Germany. Higher Education, 52(4). Brennan, J. & Shah T. (2000) Quality assessment and institutional change: experiences from 14 countries. Higher Education, 40. González, L.E. (2008) El impacto del proceso de evaluación y acreditación en las universidades de América Latina. CINDA-IESALC/UNESCO. Horsburgh, M. (1999) Quality monitoring in higher education: the impact on student learning. Quality in Higher Education, 5(1). Kells, H. (1999) National Higher Education Evaluation Systems: Methods for analysis and some propositions for the research and policy void. Higher Education, 38. Lemaitre M.J. (2005) Aseguramiento de la calidad en Chile: impacto y proyecciones. En Aseguramiento de la calidad: impacto y proyecciones. Santiago de Chile: Serie Seminarios Internacionales, CSE. Newton, J. (2002) Views from below: academics coping with quality. Quality in higher education, 8(2). Silva, C. (2006) Aseguramiento de calidad en gestión de instituciones de educación superior: expectativas y desafíos. Calidad en la Educación, CSE N° 24. Stensaker, B. (2008) Outcomes of quality assurance: a discussion of knowledge, methodology and validity. Quality in Higher Education, 14(1). Van Vught, F.A. & Westerheijden, D.F. (1994) Towards a general model of quality assessment in higher education. Higher Education, 28(3). Vroeijenstijn, A. (1995) Improvement and accountability, navigating between Scylla and Charybdis. Guide for quality assessment in higher education. London: Jessica Kingsley. Zapata, G. & Tejeda, I (2009) Impactos del aseguramiento de la calidad y acreditación de la educación superior: consideraciones y proposiciones. Calidad en la Educación, CSE N° 31.

9

10