La Cienciometría, fortalezas y debilidades Una aproximación desde la ciencia de la información

Félix de Moya Anegón

Grupo SCImago CSIC/CCHS/IPP

____________

UNIVERSIA, Miami, Noviembre2011

Instrumentos de Interface

Sistema Científico-Tecnológico

Subsistema Instrumentos Subsistema de de de Generación de Conocimiento interface Innovación

R&D expenditure in the OECD and non-OECD area 12

Japan

10

Finland

Researchers per 1,000 Labour Force

Iceland Sweden

Russia

8

Norway United States

Australia France Denmark

6

Canada

Germany Switzerland United Kingdom

Belgium Ireland

New Zealand

4

Spain Poland

Austria

Romania Hungary Greece Portugal Argentina

2

Turkey

0.0

Italy Czech Republic

China

GERD in US$

Brazil

Mexico

0

Korea

Netherlands Slovenia Slovak Republic

0.5

1.0

1.5

2.0

2.5

GERD as % of GDP

3.0

3.5

4.0

4.5

Estado actual de la Ciencimetría • Tres áreas de actividad: – Ciencimetría para los cienciómetras: • Desarrollos metodológicos. Investigación básica en el campo.

– Ciencimetría para otras ciencias • Análisis de la estructura y evolución de las ciencias a partir de sus procesos de comunicación. Representaciones de dominios disciplinares.

– Ciencimetría para los gestores y/o políticos • Análisis del uso de la ciencimetría en la evaluación y diseño de políticas públicas de ciencia. Representación de dominios institucionales y/o políticos

Investigación y servicios Política científica Gestión de la investigación

Información científica Unidades de información

Sevicios para Investigación en Económicas Sociología de la ciencia

Historia de la ciencia aplicada

Ciencimetría Documentación

básica

Ciencias de la vida

Informetría Matemáticas/Física Webometría Sistemas de Información

Recuperación de Información Adaptado de: W. Glänzel and K. Debackere

Análisis empíricos y cuantitativos de la ciencia • Su desarrollo para monitorizar y evaluar la actividad investigadora supone la asunción de las siguientes premisas: – La investigación que no está registrada no existe. – La publicación es el producto final de la actividad investigadora que se produce por acumulaciones, combinaciones y/o asociaciones de trabajos previos

– Los indicadores y representaciones ciencimétricas son unas herramientas auxiliares en los procesos de evaluación y análisis que pueden complementarse con análisis cualitativos – Cualquier indicador que se utilice en estos procesos tiene que venir precedido por una explicación de su construcción, uso y limitaciones

Retos de la ciencimetría actual • Se esfuerza por describir el comportamiento multifacético de la actividad investigadora a diferentes niveles: – Estructural, es capaz de mapear la estructura intelectual de una disciplina y hacer el seguimiento de su evolución en el tiempo, así como predecir su evolución. – Dinámico, al construir modelos suficientemente sofisticados como para describir el incremento del potencial investigador, los procesos de citación, los consumos de información científica, etc. – Evaluativo, porque desarrolla indicadores que se usan para caracterizar el rendimiento científico en distintos niveles de agregación a fin de que puedan ser usados por ejemplo en los procesos de ajuste en la orientación de las políticas de investigación.

• El reto: Crear indicadores y representaciones cada vez más sólidas que permitan el análisis de la interacción entre el desarrollo científico y los desarrollos sociales, económicos y políticos

Qué hace y qué no hace la ciencimetría • La ciencimetría puede ser usada para desarrollar herramientas orientadas a la evaluación de la investigación, pero no puede evaluar los resultados de investigación • La ciencimetría no tiene por objeto reemplazar métodos cualitativos por cuantitativos • Por tanto, la ciencimetría no pretende sustituir o corregir los procesos de evaluación por expertos (peer review) por métodos cuantitativos, en todo caso complementarlos

Proceso de toma de decisiones

Basandonos en la cuantificación de la producción científica podemos evaluar:

MESO  Universidades, facultades, deptos.  Institutos de investigación y sus secciones  Hospitales  Empresas, editoriales  Revistas MICRO  Pequeños grupos de investigación  Investigadores individuales

Nivel de confianza

NIVEL

Regiones geopolíticas Continentes Paises Campos científicos Frentes de investigación

Muestra de datos

MACRO     

El triángulo de la coordinación

Autoridad gubernamental

China Suecia Francia

Estados Unidos

Canada Japón Inglaterra

Italia

Oligarquía académica

Mercado

Proceso de reinterpretación del concepto de citación y de sus consecuencias

interpretación

citación Bibliometría/ Ciencia de la Información

repercusión (posibles cambios en las actitudes de los citantes)

Evaluación de la Investigación/ Política científica

No citado: Información no usada Muy citado: Buena aceptación Autocitado: Parte de la comunicación científica

Indicador del uso de la información

reinterpretación

Sistema de Incentivos/ Medidas de calidad

Tomado de: W. Glänzel and K. Debackere

No citado: Baja calidad Muy citado: Alta calidad Autocitado: Manipulación del impacto

Revistas arbitradas en el mundo Arbitradas (±30000)*

SCOPUS (±18400)

ISI-WOS (±8000)

(*) Fuente UlrichsWeb

Representación del FI

Factores que influyen en el FI • El campo científico y dentro de cada uno el nivel de generalización • La antigüedad del trabajo • La relevancia social del trabajo a través de sus autores y/o revista • El tipo de documento • La ventana de citación • La cobertura de la fuente

Influencias y sesgos en el cálculo del FI • El periodo de observación afecta al resultado • La tasa media de citación evoluciona de manera distinta según la revista (fuente: 1980) Citation window 1980-80 1980-81 1980-82 1980-85 1980-89

Mean citation rate ASR LANCET 0.2 0.6 1.8 2.4 4.3 4.5 12.1 9.7 20.9 14.0

Impacto de los diferentes tipos de documentos

# Journal 1 SCIENCE

Total 32.86

2 NATURE 3 LANCET

Impact Factor Articles Reviews

Letters

42.30

145.35

0.41

32.88

49.73

96.07

3.93

5.25

17.55

14.68

1.99

4 CELL

75.68

74.82

78.63

75.64

5 ANGEW CHEM INT ED

11.01

9.37

32.03

19.00

6 J ACQ IMMUN DEFIC SYND HUM R

4.05

4.64

39.00

1.04

7 INT J RAD ONCOL BIOL PHY

3.52

4.15

35.00

0.37

8 J PHYS CONDENS MATTER

2.72

2.47

9.57

3.99

FI por tipos de documentos

Influencia de los campos científicos • Tasa media de citación por campos científicos (fuente: 1996, ventana de citación: 1996-1998) – – – – –

Ingenierías Matemáticas Química analítica Física de estado sólido Neurociencias

1.12 1.46 3.00 3.06 4.54

• Las medidas basadas en citación son – sin nomalización – inapropiadas para el análisis comparado de campos científicos.

La única forma posible de compensar las diferencias temáticas es una correcta normalización y la apliacción exacta del mismo período fuente y ventana de citación a todos los documentos objeto de análisis.

• Los indicadores de citación pueden calcularse usando una referencia estandar basada en las revistas de las materias en las que los trabajos objeto de estudio han sido publicados:

Obstáculo: La asignación de categoría no es única por revista • Relative Citation Rate (RCR): Cites per paper (CPP) / Journal Citation Score (JCS) • Normalised Mean Citation Rate (NMCR): (CPP) Cites per paper / (FCS) Field Citation Score • Factor de Impacto Tipificado: Distancia a la media del FI en la categoría / la desviación estandar de la distribución de impactos de la categoría temática

Sobre el papel del FI • El FI de Garfield/ISI se ha convertido en un elemento crítico de la investigación en bibliometría/ciencia de la información • El FI se usa frecuentemente en diferentes ámbitos y ha adquirido un sólida posición en el mercado de la información científica • Es fácil de calcular y fácil de interpretar, aunque es frecuente que se haga un uso inapropiado del indicador • En origen, sólo representa la media de citas por trabajo en una revista para un período concreto • Se puede considerar que por encima de cualquier otra cosa mide la visibilidad internacional de los resultados de investigación publicados • Sin embargo, es posible su aplicación con las debidas cautelas para analizar dominios científicos

Problemas con el uso del FI • La popularidad del FI radica en su comprensibilidad, aparente reproductibilidad y estabilidad a lo largo del tiempo • Esta misma popularidad está en el origen de muchos de sus usos. El FI se usa con frecuencia para sustituir la ausencia de información de citación • Aunque se supone que mide el impacto de las revistas, está afectado por factores que nada se relacionan con la relevancia científica de las mismas • Ell tamaño de las revistas le afecta

Problemas con el uso del FI (cont.)  La falta de ponderación de las citas recibidas por una revista es una limitación reiterada por muchos especialistas  Existe un cierto sesgo en favor de las revistas con artículos mas extensos  Como la obsolescencia de las ciencias es variable, la ventana de citación de dos años favorece a unas y perjudica a otras  No es adecuada la delimitación de documento citable  Incorrecta identificación de los documentos citados (no normalizados)

Se pueden identificar y corregir las siguientes estrategias de manipulación editorial • • • •

Publicar documentos no citables Publicar más reviews Publicar los mejores trabajos en enero Publicar artículos oportunistas que consiguen una alta citación en plazos cortos • Citar la revista en editoriales escritar por el editor • Pedir a los autores que citen la revista

Visibilidad versus FI • Publicar en una revista con mucho FI asegura visibilidad pero no alta citación necesariamente • En muchos campos científicos es más importante llegar a la audiencia adecuada que tener mucha • El FI no puede medir todos los aspectos que deben ser tenidos en cuenta en los procesos de evaluación de la investigación tanto ex-ante como ex-post

El mito del reconocimiento tardío • Un argumento reiterado sobre las limitaciones de los indicadores basados en citación es que trabajos importantes nunca recibieron citas en principio sino mucho después de su aparición. Citas que se realizan una vez cerrada la ventana de citación usada para calcular el FI • Existe evidencia suficiente de que un trabajo que no ha sido citado cinco años después de ser publicado, veinte después tampoco lo es. Incluso en áreas con tasas de obsolescencia muy altas • Sólo 1,3 trabajos de cada 10.000 fueron olvidados al comienzo y reconocidos más tarde

Mal uso y abuso de los indicadores bibliométricos • La política científica induce cambios en las pautas de comunicación científica, especialmente los sistemas de incentivos • El uso inadecuado de los indicadores bibliométricos puede generar efectos perversos en el desarrollo de un sistema CyT • El uso de referencias pertenecientes a otros dominios científicos o simplemente inadecuadas provoca actitudes defensivas en los investigadores o deserciones • La coautoría, la autocitación, las listas categorizadas de revistas, la no ponderación de las citas…, en definitiva, la falta de control sobre el proceso de generación de indicadores

Se puede incrementar el impacto… 1. Mediante la autocitación?

2. Publicando en revistas de alto impacto? 3. Colaborando más? 4. Publicando con autores norteamericanos? 5. Publicando menos, sólo trabajos muy buenos? 6. Haciendo arreglos de citación con otros? Henk F. Moed

Evaluar siempre mejor • Disponer de indicadores, estudiar sus sesgos y minimizar sus efectos negativos debe ser una constante • Favorecer la competencia por la visibilidad y la reconocimiento a través del sometimiento a la revisión por pares es mejor que su contrario para el sistema de generación de conocimiento • Sin embargo, publicar en revistas con alto FI puede hacer invisibles estos resultados de investigación a quienes no tienen acceso. La visibilidad se alcanza sobre todo entre quienes pueden pagar la información

Conclusiones • Tomar el control de la generación de indicadores científicos • No perder la necesaria perspectiva global de este proceso • Homologar internacionalmente nuestros canales de comunicación científica • Convertirlos en canales de confianza no sólo para nosotros sino para el conjunto de la comunidad científica • La visibilidad no es sólo un problema de publicación también lo es de edición y, por supuesto, de buenos resultados de investigación