V Jornada de la Facultad de Letras sobre Calidad - 15 noviembre 2012 La evaluación de la producción científica en Artes y Humanidades, y en Ciencias Sociales y Jurídicas

Laevaluación evaluación en en Ciencias y yy La Sociales La evaluación enCiencias CienciasSociales Sociales Humanidades: entre la la emigración Humanidades: apocalípticos oy el Humanidades: entre marginación autismo único integrados y el pensamiento Dr. Evaristo Jiménez-Contreras GI "Evaluación de la Ciencia y de la Comunicación científica-EC3". Facultad de Comunicación y Documentación (Universidad de Granada)

Guión • Contexto: Participación de los drs Giménez y Reyero. ¿qué puedo añadir? • Contexto: Los fundamentos filosóficos e institucionales – CNEAI y ANECA

• La percepción de las evaluaciones (y los rankings) en la universidad desde las CCSS y las Humanidades • Elementos para la reflexión

Los fundamentos del actual sistema de promoción académica • Un poco de historia: – Promoción en la universidad desde la época franquista hasta la LRU. • Convocatorias nacionales. Temarios cerrados, discrecionalidad (casi absoluta) de los tribunales • La universidad como empresa familiar, imposiciones ideológicas • Ventajas

– LRU • Convocatorias a la medida de acuerdo a la política doméstica de los departamentos. Temario libres. Discrecionalidad de los tribunales • Ruptura del mandarinato ´”catredalicio”. Crecimiento y estabilización • Endogamia incontrolada, sesgos ideológicos

– Habilitaciones nacionales: • Convocatorias universitarias (departamentales). Temarios libres, discrecionalidad de los tribunales (menor?) • Reducción de la endogamia, de hecho, Paralización del sistema

– ANECA

La CNEAI (1989→) • Objetivos: – Internacionalización, homologación, criterios objetivos – mejora salarial asociada a la investigación.

• Principios generales de funcionamiento – – – –

Sistema de valoración ex post Autogestionado Similar a otros internacionales Evaluación formal externa , basado en las valoraciones de los científicos pares sobre obra publicada

• Siendo originalmente un complemento económico a la productividad productividad ha terminado siendo un valor asociado al prestigio y condiciona la promoción académica • Voluntario

Las controversias asociadas a la CNEAI • El modelo aplicado es una traslación directa de los procedimientos empleados en las áreas científica (esto es históricamente cierto) • Las bases de datos empleadas están sesgadas hacia las Ciencias y hacia el mundo anglosajón • Las formas de publicación en CCSS y Humanidades son diversas • Hay diferentes hábitos de citación y formas de reconocimiento • Como consecuencia hay mucha más incertidumbre en la evaluación en Humanidades

ANECA (2002 →)

Docencia

• 2008 programa ACADEMIA 22.000 evaluaciones) … pero, de(>hecho.

Gestión

INVESTIGACIÓN Transferencia

ANECA (2002 →) • La “filosofía” de la CNEAI se ha trasladado a la valoración de los méritos de investigación en ANECA y a otras agencias • La investigación es el apartado tiene el mayor peso en la valoración de PCD, TU y CU • Conceptos: intensidad, continuidad, liderazgo, relevancia internacional… en la investigación • El referente vuelven a ser la publicaciones aparecidas en índices de impacto internacionales, aunque para las Ciencias Sociales la definición no es tan cerrada como en Ciencias.

Criterios CU

TU

Investigación

Investigación

Docencia

Docencia

Formación

Formación

Gestión

Gestión

Desagregación de los criterios de investigación 100%

100%

90%

10

10

90%

80%

6

6

80%

70%

5

5

70%

60%

60%

50%

50%

40%

40%

30%

38

38

30%

20%

20%

10%

10%

0%

0%

Sociales y Juridicas

Humanidades

Articulos y libros

Congresos y otros

Proyectos y contratos

Transferencia

7

7

4 5

4 5

35

35

Sociales y Juridicas

Humanidades

Articulos y libros Congresos y otros Proyectos y contratos Transferencia

Aneca: presentados

ANECA: resueltos • Some facts: – Promedio 71% – Tendencia decreciente en las evaluaciones positivas – Peticiones crecientes: 2200 aprox. 2012

ANECA: resueltos • Some facts: – Promedio 68% – Tendencia estable en las evaluaciones positivas – Peticiones crecientes: 3100 aprox. 2012

Resultados por comisiones

Resultados por comisiones

Más estadísticas • No hay diferencias por género (ligeramente a favor de las mujeres en Ciencias, ligeramente en contra en Sociales y Humanidades) • El factor sexenios:

¿Qué dimensiones/aportaciones evalúa ANECA? ACTIVIDAD ACTIVIDAD INSTGADORA INVESTIGADORA • • • • •

Artículos en revistas Libros y Capítulos Proyectos y contratos Transferencia Congresos

FORMACIÓN ACADÉMICA • • •

MÉRITOS DOCENTES

Títulos y premios Becas y ayudas Estancias de investigación

Docencia universitaria Dirección de tesis, tesinas, trabajos grado… Cursos de formación docente

• • •

GESTIÓN • • •

Cargos Académicos Puestos en la administración Liderazgo de grupos de investigación y docentes

OTRO MÉRITOS

Valores de referencia e indicios En los ámbitos de Arte y Humanidades, Ciencias Sociales y Jurídicas se valoran especialmente las publicaciones en

revistas y libros de prestigio, así como creaciones artísticas y profesionales innovadoras

La aplicación

La aplicación

LA AUTORÍA.específicos CNEAI-ANECA para revistas Criterios ANECA por revistas área

Humanidades • Preferentemente publicaciones en revistas de prestigio: i.e. revistas

incluidas en Social Science Citation Index (SSCI) y Arts & Humanities Citation Index (A&HCI)

• También se citan al mismo nivel de preferencia las revistas incluidas en: FRANCIS, IBSS, BHA, HA, IMB, RILMS, etc… También se podrá utilizar como referencia de calidad para las publicaciones españolas el DICE

Criterios específicos para revistas por área

Ciencias Sociales • Preferentemente trabajos publicados en revistas de Science Citation Index, Social Science Citation Index y el Journal Citation Reports. • También se citan como productos las revistas en: Econlit, Catálogo Latindex u otros listados admitidos. También se podrá utilizar como referencia de calidad para las publicaciones españolas el DICE

Criterios específicos para revistas por área

Derecho • Preferentemente publicaciones en revistas de prestigio y amplia

difusión académica y profesional; en este campo no se indica explícitamente que las revistas tengan ICR

• Se hace hincapié en el contenido de los trabajos: desarrollo de nuevas perspectivas de ordenamiento jurídico, evolución histórica, social, … • Referencia básica citada para revistas españolas: DICE • Alternativa: IN-RECJ y RESH para revistas ICR.

.

Cuadro bases de datos

AUTISMO?, EMIGRACIÓN? REFLEXIONES PARA UN DEBATE

Lo que se valora en las especialidades

La percepción de las evaluaciones • En general la actitud es maximalista • A favor, “todos” a los que les ha ido bien, en general las ciencias • En contra, aquellos a los que les ha ido mal, en general las letras (no porque les haya ido necesariamente mal) – Se perciben como algo sobrevenido al igual que los rankings – La endogamia no se ve como problema

Problema percibido a nivel europeo • Encuesta realizada en la universidad francesa (presentada en Montpellier, abril, 2010) – Fully agree 0% – Agree at different levels, 85% – Hostile 15%

• Limitaciones/críticas que se señalan en la evaluación en Humanidades – Hiperespecialización – Las Humanidades son diferentes de tal manera que es futil desarrollar indicadores – Escasa financiación (no se les puede pedir mucho) – Los indicadores no captan la calidad ¿? – Los indicadores se han convertido en un objetivo en sí mismo – Las bases de datos están sesgadas – Las formas de publicación son diversas

Las formas de publicación tradicional • Libros en la editorial de la universidad u organismos públicos cercanos: diputaciones… • Homenajes • Revistas del departamento o de la universidad, sin evaluación • Congresos (raramente internacionales) • Temas de investigación: lo que a cada uno le interesa

Qué ha cambiado CNEAI/ANECA: logros • Continuidad y estabilidad • Internacionalización de la El sistema va a seguir investigación presionando en esa dirección • Homologación • Mayor difusión • Colaboración • Incremento de la productividad • Cultura evaluativa • Carreras académicas planificables • Financiación reglada

Otras consecuencias • (In)directamente mejora espectacular del sistema de publicación en España – Regularidad, puntualidad – Introducción del sistema de evaluación por pares – Apertura de comités… – Bases de datos bibliográficas – Portales, mejora de la visibilidad y del archivo – Mayor competencia entre las revistas

Otros hechos a considerar • El sistema se refina continuamente – Caso BBAA

• El sistema es recurrible (y se gana ocasionalmente) • Se está introduciendo una agenda de investigación desde la administración

Las consecuencias: el pasivo • Males menores: – Micro méritos • Cuéntalo todo que todo cuenta

– Dispersión: provocada por la propia aplicación – Hasta cierto punto se necesita ser experto en la propia aplicación

• Internacionalización o emigración? • Olvido de las necesidades locales?

Localismo o hiperespecialización • • • •

La dédicace des livres dans l'Islam médiéval L'incastellamento dans le Latium. Remarques à propos de fouilles récentes Jérusalem ou Valence : la première colonie d'Occident La prostitution au Pays basque entre XIVe et XVIIe siècles

•

Last Rites for a ‘Pure Bandit’: Clandestine Service, Historiography and the Origins of the Turkish ‘Deep State’ Hora: Social Conflicts and Collective Memories in Piana Degli Albanesi Gauchos, Gringos and Gallegos: The Assimilation of Italian and Spanish Immigrants in the Making of Modern Uruguay 1880–1930 ‘Chosen Peoples, Holy Tongues’: Religion, Language, Nationalism and Politics in Bohemia and Moravia in the Seventeenth to Twentieth Centuries

• • •

Internacionalización o emigración? • Problema sin respuesta (por ahora) • Se ha incrementado la presencia internacional de forma abrumadora en CCSS y no tan clara en Humanidades • JCR centrismo? o bases de datos nacionales – Amenaza de paletismo – ERIH, CIRC,…