Caracterizaci´on de las Publicaciones en Ciencia de la Computaci´on Andrea Rodr´ıguez Centro de Investigaci´on de la Web, y Universidad de Concepci´on, Chile [email protected]

Mauricio Mar´ın Yahoo! Research Latin America, y Universidad de Santiago de Chile [email protected]

Resumen Extendido En este art´ıculo se presentan estad´ısticas que muestran la tendencia observada en las u ´ltimas d´ecadas sobre el tipo de publicaciones realizadas en Ciencia de la Computaci´on. Se utiliza como m´etrica de calidad la cantidad de citas que reciben los art´ıculos de los medios de publicaci´on m´ as difundidos en la disciplina. En base a este indicador se estudia el impacto en el estado del arte de la disciplina de art´ıculos publicados tanto en revistas como en conferencias, tomando la palabra conferencia como sin´ onimo de congreso, workshop o simposio. Por publicaciones en conferencias nos referimos a art´ıculos completos evaluados por un comit´e cient´ıfico internacional y publicados por editoriales reconocidas tales como IEEE-CS, ACM y LNCS de Springer, donde cada art´ıculo recibe al menos tres evaluaciones y donde la decisi´ on de aceptaci´ on es tomada por un comit´e de programa especialista en el ´ area a la cual pertenecen los art´ıculos, y con tasas de aceptaci´ on bajo el 30%. Dichos art´ıculos son habitualmente indexados por medios alternativos a la indexaci´on ISI del “Web of Science” tales como DBLP, “ACM Digital Library Portal”, “IEEE Computer Society Digital Library” y CiteSeerX , los cuales son especializados en Ciencia de la Computaci´on y son ampliamente conocidos por la comunidad. Los resultados muestran que las publicaciones en conferencias pueden ser muy relevantes para determinadas ´ areas de Ciencia de la Computaci´on, y el impacto de estas publicaciones en el desarrollo de la disciplina ha ido creciendo en importancia en los u ´ltimos a˜ nos. Aplicando en CiteSeerX m´etricas tales como el total acumulado de citas que reciben estos art´ıculos — suma realizada sobre las 100 publicaciones de cualquier tipo (incluyendo revistas y libros) m´ as citadas desde 1990 — se obtiene que las publicaciones en conferencias son responsables de al menos 1/3 de las contribuciones m´ as relevantes para el estado del arte en Ciencia de la Computaci´on. Esto sube a 1/2 cuando consideramos las 10 mil publicaciones m´ as citadas de un total de 22 millones indexadas desde 1990, donde dentro de estos 10 mil art´ıculos existe una cantidad muy similar de art´ıculos en revistas y conferencias. Los resultados obtenidos desde CiteSeerX fueron validados utilizando el sistema ISI “Web of Science” (datos a Mayo del 2008), desde el cual hemos contabilizado el total de referencias bibliogr´ aficas presentes en cada art´ıculo de la colecci´on de Ciencia de la Computaci´on y Sistemas de Informaci´on. En este caso los resultados muestran que, en promedio, m´ as del doble de dichas citas son hacia art´ıculos que no est´ an indexados en ISI, los cuales en su gran mayor´ıa pertenecen a conferencias. As´ı mismo, una muestra de m´ as de 110 mil citas bibliogr´aficas presentes en las listas de referencias bibliogr´aficas de libros y art´ıculos en el sistema DBLP, nos indican una distribuci´ on de 60 mil citas a art´ıculos de conferencias (54%), 42 mil citas a art´ıculos de revistas (38%) y 8 mil citas a libros (8%). 1

El propio Web of Science da cuenta de la gran importancia de los art´ıculos en conferencias en la literatura de Ciencia de la Computaci´on. Al 29 de Noviembre del 2008, el servicio “Highly Cited Papers (last 10 years)” ejecutado sobre la colecci´on “Computer Science”, muestra que el LNCS de Springer (una serie de libros que publica art´ıculos de conferencias – “proceedings articles”) es el quinto medio de publicaci´on que aporta los art´ıculos m´ as citados en la disciplina. Es un quinto lugar entre 159 revistas (journals) indexadas en ISI, lo cual objetivamente es excelente si se considera que a partir de la segunda mitad en el ranking de las 159 revistas, cada revista s´ olo aporta con 1 o 2 art´ıculos. La distribuci´ on muestra que en los 10 primeros lugares se concentra el 64% de los art´ıculos m´ as citados en los u ´ltimos 10 a˜ nos. Pero este ranking del Web of Science no considera los art´ıculos de conferencias publicados por otras casas editoriales distintas a Springer. Es decir, los proceedings LNCS representan s´ olo una parte de las publicaciones en conferencias, existiendo una gran cantidad de art´ıculos publicados en conferencias de muy buen nivel que son publicados por editoriales como ACM y IEEE-CS, y que no est´ an considerados en este ranking del Web of Science. X En CiteSeer se puede comprobar que muchos de estos art´ıculos son m´ as citados que los art´ıculos publicados por el LNCS de Springer. No obstante, si ahora en el Web of Science el ranking de revistas se hace por la m´etrica “Citations Per Paper”, es decir, la raz´ on entre el total de citas y el total de art´ıculos publicados en cada medio, el LNCS baja al lugar 30 de un total de 33 revistas que han publicado al menos mil art´ıculos en las u ´ltimas d´ecadas. El promedio de citas por art´ıculo en LNCS es de s´ olo 0,96 siendo el promedio de 9,2 para los art´ıculos publicados en el primer tercio del ranking de revistas. En este ranking, el LNCS concentra el 55% del total de art´ıculos, es decir, es un medio muy masivo de publicaci´on respecto de las revistas. Estos resultados son una clara evidencia de que existen conferencias de muy buen nivel pero tambi´en de muy bajo nivel que son publicados por LNCS y presumiblemente tambi´en por IEEE-CS y ACM. Tambi´en se observa en CiteSeerX que en muchos casos los factores de impacto medidos seg´ un la m´etrica ISI alcanzados por las conferencias pueden ser muy superiores a los de las revistas. Lo mismo indica una muestra tomada desde DBLP y otra con el 100% de los art´ıculos indexados por el Portal ACM Digital Library. Adem´ as las tasas de aceptaci´ on de art´ıculos para algunas conferencias pueden ser bastante exigentes. Por ejemplo, el a˜ no 2008 el CIKM acept´ o un 17% de m´ as de 750 art´ıculos enviados a esta conferencia. Esto contrasta con la situaci´ on en otras disciplinas de la Ciencia y la Ingenier´ıa, o incluso en ´ areas m´ as te´oricas de Ciencia de la Computaci´on, donde las conferencias tienen una importancia menor y los trabajos son considerados simples presentaciones o ponencias orales y, por lo tanto, constituyen una publicaci´on de calidad inferior respecto de los art´ıculos en revistas, o simplemente no son considerados publicaciones y no cuentan a la hora de evaluar los antecedentes de los investigadores de la disciplina. Estas dos realidades resultan conflictivas al momento de emitir opiniones sobre la calidad de un investigador de Ciencia de la Computaci´on dado que los juicios pueden depender fuertemente del tipo de ´area (o incluso disciplina) de la cual provienen los evaluadores. Pensamos que el estudio presentado en este art´ıculo puede ser u ´til para argumentar la necesidad de dise˜ nar una forma de evaluaci´ on que caracterice de mejor manera la naturaleza de la disciplina y, por ende, la calidad de la contribuci´on cient´ıfica de sus investigadores en el contexto nacional. El sistema nacional actualmente utiliza las publicaciones en revistas indexadas en ISI como est´ andar de referencia para medir calidad de manera transversal a todas las disciplinas del Pa´ıs. Actualmente los art´ıculos publicados por LNCS, IEEE-CS y ACM no son considerados como art´ıculos v´alidos para efectos de evaluaci´ on de investigadores porque no est´ an clasificados como art´ıculos de revista ISI en el Web of Science. Cabe hacer notar que a partir del 20 de Octubre del 2008, el Web 2

of Science ha integrado en su sistema normal de b´ usquedas las versiones actualizadas de colecciones que ellos llaman “ISI Proceedings”, colecciones que contienen art´ıculos de conferencias que, para al menos Ciencia de la Computaci´on, son de una gran diversidad en t´erminos de nivel de exigencia en tasas de aceptaci´ on, cantidad de art´ıculos enviados al evento y calidad del comit´e de programa. Para tener acceso a estas colecciones es necesario pagar una suscripci´on adicional. Otros pa´ıses se han preocupado del tema y actualmente existen al menos dos fuentes confiables de ranking de conferencias que son utilizados para evaluaci´ on de la contribuci´on cient´ıfica de investigadores en Ciencia de la computaci´on: CiteSeerX (citeseerx.ist.psu.edu) y CORE (www.core.edu.au). Por ejemplo, actualmente el sistema Espa˜ nol considera los art´ıculos de conferencia indexados por estos dos sistemas de indexaci´ on de literatura t´ecnica para evaluar a sus investigadores de Ciencia de la Computaci´on (Sexenios). Cabe hacer notar que en la normativa oficial Espa˜ nola existe un apartado especial para Ciencia de la Computaci´on la cual reconoce sus caracter´ısticas especiales y la distingue de otras disciplinas tales como Matem´atica o F´ısica. Por otra parte, en Brasil se considera desde hace ya varios a˜ nos los art´ıculos en buenas conferencias para establecer un ranking de investigadores nacionales. En varios otros pa´ıses tales como USA y Canad´a, el sistema ISI no es impuesto como est´ andar transversal a todas las disciplinas. La evaluaci´ on de investigadores y proyectos es realizada estrictamente por pares del ´area y de acuerdo a la naturaleza de cada ´ area, lo cual, como es l´ ogico, es definido por los investigadores de la propia disciplina. Al ser el art´ıculo de revista indexada en ISI la u ´nica m´etrica de evaluaci´ on de calidad imperante en Chile para todas las disciplinas de la Ciencia y la Ingenier´ıa, se puede producir una evaluaci´ on sesgada o incompleta del trabajo de los investigadores en ciertas ´areas de Ciencia de la Computaci´on, que por sus caracter´ısticas m´ as tecnol´ ogicas, son m´ as dependientes de las publicaciones en conferencias para difundir sus resultados en el momento oportuno. El tiempo de evaluaci´ on de art´ıculos enviados a revistas puede ser de uno o dos a˜ nos mientras que la escala de tiempo en conferencias es de meses, lo cual ciertamente puede ser cr´ıtico al considerar aspectos tales como la difusi´ on oportuna de resultados conducentes a patentes en ´areas de trabajo que son m´ as tecnol´ ogicas que te´oricas. Por otra parte, no todas las revistas ampliamente reconocidas en la disciplina est´ an indexadas en el ISI Web of Science. Los resultados presentados en las siguientes secciones de este art´ıculo constituyen una evidencia clara de que los art´ıculos de conferencia son un medio muy utilizado para difundir resultados relevantes de investigaci´ on en Ciencia de la Computaci´on. Los resultados tambi´en explican los bajos factores de impacto ISI que reciben las revistas de la disciplina con respecto a otras disciplinas de la Ciencia e Ingenier´ıa. Simplemente en Ciencia de la Computaci´on los art´ıculos m´ as citados por sus investigadores se distribuyen en un medio adicional de publicaci´on, es decir, las buenas conferencias, las cuales, como mostramos en este art´ıculo, pueden alcanzar factores de impacto ISI superiores a los de las mejores revistas de la disciplina.

Donde Publican los Investigadores m´ as Productivos Elaboramos una lista de los investigadores en Ciencias de Computaci´on m´ as reconocidos a nivel internacional. Para esto obtuvimos los autores con ´ındice-H mayor o igual a 40, los cuales representan a los autores m´ as citados por la comunidad (http://www.cs.ucla.edu/∼palsberg/h-number.html). El ´ındice-H es definido como el n´ umero de art´ıculos de un autor dado, los cuales tienen un n´ umero de citas mayor o igual a H. Este indicador es m´ as exigente que el total acumulado de citas y es considerado un ´ındice que refleja bien la productividad de un investigador. 3

Total de publicaciones por investigador Total art´ıculos en conferencias por investigador Total art´ıculos en revistas por investigador

Promedio 137 88 51

Desv. Std 66 45 31

Table 1: Publicaciones de los investigadores m´ as productivos en Ciencia de la Computaci´on. Utilizando la lista de los primeros 100 investigadores con ´ındice-H mayor o igual a 40, y la informaci´on de sus publicaciones extra´ıda desde la base de datos del sistema DBLP, se determin´o la relaci´ on entre el n´ umero de publicaciones en conferencias versus el n´ umero de publicaciones en revistas de estos investigadores. La Tabla 1 muestra los resultados. Como anexo se adjunta los datos completos con la identificaci´ on de los top 100 investigadores a julio del 2008. Los promedios muestran que las publicaciones en conferencias representan un porcentaje dominante en el curr´ıculum de los top-100 investigadores. No obstante, los valores de la desviaci´on est´ andar muestran que una parte significativa de ellos est´ a en los dos extremos (ver anexo).

Citas desde Publicaciones Indexadas en ISI De la lista de referencias bibliogr´aficas de revistas indexadas por el Web of Science y asociadas a Ciencia de la Computaci´on y Sistemas de Informaci´on, se determin´o el n´ umero de citas que hacen estas publicaciones a otras publicaciones ISI y no ISI. Toda cita que hace referencia a una publicaci´on que pudiera ser accedida por el sistema Web of Science fue considerada como ISI. Es sencillo detectar por software este tipo de art´ıculos puesto que en la descripci´on de cada referencia bibliogr´afica se incluye un enlace al Web of Science. Por el contrario, toda publicaci´on que no pudiera ser accedida (sin enlace) fue clasificada como no-ISI. Dada la imposibilidad de detectar autom´ aticamente por software de manera exacta las publicaciones de conferencias (existen miles de conferencias, cada una con su propia secuencia de caracteres que la identifica), la cuenta de publicaciones no-ISI incluye tambi´en las citas a otras tales como libros, tesis, reportes t´ecnicos o revistas que no est´ an indexadas en ISI. No obstante, es sabido que habitualmente en la lista de referencias de los art´ıculos en Ciencia de la Computaci´on, las citas a otras publicaciones representan un porcentaje menor de la lista de referencias bibliogr´aficas. Por ejemplo, en el sistema DBLP comprobamos de que las publicaciones indexadas por este sistema que no son revistas ni conferencias representan menos del 10% del total. El procedimiento empleado fue el siguiente. Se tom´ o como semilla la lista de revistas del ´ area de Ciencia de la Computaci´on y Sistemas de Informaci´on que el Web of Science declaraba como indexadas en ISI en Mayo del 2008. Por cada una de esas revistas utilizamos un script en PHP que envi´o consultas al buscador del Web of Science para recuperar todos los art´ıculos de cada revista indexada, y por cada revista se obtuvo su lista de referencias bibliogr´aficas. Luego aplicamos scripts Unix sobre estos resultados para formar una base de datos relacional para luego poder contar el n´ umero de publicaciones de cada tipo. Las citas presentes en las listas de referencias de cada art´ıculo nos permiti´ o encontrar la cantidad de citas a publicaciones que no est´ an indexadas en ISI (es decir, no tienen un enlace a un documento que entrega los detalles del art´ıculo en el Web of Science), esto tanto en n´ umero acumulado de citas como cantidad de art´ıculos distintos que son citados.

4

Muestra de art´ıculos A˜ no A 2006 14.394 2005 13.058 2004 12.412 2003 11.923 2002 10.822 2001 10.099 2000 9.660 Total 82.368

Citas recibidas desde el a˜ no de publicaci´ on B C C/B 7.370 12.314 1,67 19.928 33.463 1,68 31.748 57.508 1,81 43.357 76.481 1,76 50.834 90.366 1,78 54.557 99.175 1,82 63.179 106.277 1,68 270.973 475.584 1,74

Citas totales hechas por la muestra de cada a˜ no D E E/D 121.830 248.121 2,03 100.520 222.926 2,22 92.768 206.513 2,23 84.300 196.934 2,33 72.429 176.578 2,44 65.258 165.516 2,54 58.013 156.497 2,70 595.118 1.373.085 2,36

Table 2: El tipo de publicaciones que figuran en las listas de referencias bibliogr´aficas de los art´ıculos de revistas ISI indexados en el Web of Science (Mayo 2008). La columna A es el total de art´ıculos por a˜ no de publicaci´on desde los cuales se obtuvo las listas de referencias bibliogr´aficas. La columna B es el total acumulado de citas que reciben los art´ıculos ISI a partir de su a˜ no de publicaci´on. La columna C es la misma m´etrica pero contando los art´ıculos que no est´an indexados en el Web of Science, es decir, art´ıculos que no son considerados ISI. Las columnas D y E representan la cantidad de citas realizadas hacia art´ıculos ISI y no-ISI, respectivamente, que fueron encontradas en las listas de referencias bibliogr´aficas de los art´ıculos de la columna A.

Los resultados se muestran en la Tabla 2. En promedio, m´ as del doble de las citas realizadas por los art´ıculos indexados en ISI son hacia documentos que no son ISI. Como la cantidad de art´ıculos distintos de ambos tipos es similar, entonces los art´ıculos no-ISI son m´ as citados que los ISI.

Las Citas Bibliogr´ aficas del “ACM Computing Surveys” El ACM Computing Surveys es una revista con vol´ umenes publicados desde el a˜ no 1969 en la cual los art´ıculos tienen la forma de revisiones del estado del arte en t´opicos espec´ıficos de Ciencia de la Computaci´on. Generalmente se trata de t´opicos que ya han sido investigados profundamente al momento de la publicaci´on. Por lo tanto, la lista de referencias bibliogr´aficas de dichos art´ıculos da cuenta de manera exhaustiva del estado del arte en el tema y, por supuesto, dichas referencias incluyen prioritariamente los trabajos que presentan las contribuciones m´ as relevantes. El sitio Web del ACM Computing Surveys muestra todos los vol´ umenes y n´ umeros de esta revista. Por cada art´ıculo se muestra la lista de referencias bibliogr´aficas. Utilizando esa informaci´ on calculamos la divisi´ on entre el total de conferencias detectadas y el total de referencias bibliogr´aficas de cada art´ıculo considerando la suma de conferencias y revistas. Tambi´en calculamos promedios anuales. Consideramos s´ olo los art´ıculos del ACM Computing Surveys con m´ as de 15 referencias para filtrar art´ıculos tales como Cartas al Editor. El sitio Web tambi´en muestra en la lista de referencias bibliogr´aficas de cada art´ıculo, las publicaciones que est´ an indexadas en el Portal de la ACM Digital Library. Esto lo hace mediante un enlace al art´ıculo indexado en el Portal, el cual indexa tanto art´ıculos de conferencias como art´ıculos de revistas indicando el tipo de publicaci´on, el cual est´ a claramente diferenciado en el contenido del respectivo enlace HTML. Con esto podemos calcular de manera exacta la proporci´ on entre art´ıculos de conferencias y de revistas citados en las 5

Conferencias / (Revistas + Conferencias)

1

Indexados en Portal ACM Promedio Anual

0.8

0.6

0.4

0.2

0 [1969] 0

50

100

150

200

250

300

340 [2007]

Articulos (1969-2007)

Figure 1: Proporci´ on de art´ıculos de conferencias citados en cada art´ıculo del ACM Computing Surveys, los cuales est´ an indexados por el portal ACM Digital Library.

listas de referencias bibliogr´aficas. En la Figura 1 se muestran resultados que abarcan las listas de referencias bibliogr´aficas de art´ıculos que fueron publicados entre 1969 y 2007. Los resultados indican una clara tendencia al alza en la proporci´ on de art´ıculos de conferencias que son citados. Es interesante ver que la figura, adem´ as de mostrar los promedios anuales (curva etiquetada con un c´ırculo negro), tambi´en muestra la proporci´ on por cada art´ıculo individual (valores indicados con l´ıneas verticales). Se observa que dependiendo del t´ opico del art´ıculo, la proporci´ on de art´ıculos de conferencias puede ser muy dominante en la lista de referencias (m´ as de un 60%). Para otros t´opicos, la contribuci´on de los art´ıculos de conferencias puede ser considerada irrelevante (menos de un 30%).

Factores de Impacto ISI y Citas seg´ un CiteSeerX El CiteSeerX (http://citeseerx.ist.psu.edu) es un indexador y m´ aquina de b´ usqueda especializado en publicaciones en Ciencia de la Computaci´on. Contiene informaci´ on estad´ıstica desde 1993 a la fecha sobre datos tales como n´ umero de citas y utiliza la misma f´ormula del ISI para calcular el factor de impacto de revistas y conferencias. Este factor, para un a˜ no dado, se calcula mediante la divisi´ on A/B, donde A es el n´ umero total de citas a los art´ıculos publicados por la revista/conferencia en los dos a˜ nos anteriores y B es el total de art´ıculos publicados por la revista/conferencia en esos dos a˜ nos. Actualmente CiteSeerX indexa m´ as de 1 mill´ on de art´ıculos y registra m´ as de 22 millones de citas a los art´ıculos indexados. En la Figura 2, mostramos los factores de impacto ISI calculados por CiteSeerX , los cuales en el gr´ afico hemos agrupado en a˜ nos, revistas y conferencias. Para esto bajamos las p´ aginas Web organizadas por a˜ no de la secci´ on (“Venue Impact Ratings” de citeseerx.ist.psu.edu/stats/venues), y a estas p´ aginas les aplicamos scripts para contabilizar los factores de impacto asignados a conferencias y revistas. En los archivos HTML se puede detectar sin error cuando se trata de una revista o una conferencia. Los resultados muestran que las conferencias tienen factores de impacto 6

7

Conferencia Revista

Factor de Impacto

6 5 4 3 2 1 0

93 94 95 96 97 98 99 00 01 02 03 04 05 06 07 1993 -- 2007 Figure 2: Factores de impacto tipo ISI para las conferencias y revistas indexadas por CiteSeerX .

superiores a los de las revistas cuando no se hace diferencia entre ´areas espec´ıficas. En la tabla 3 mostramos un ranking seg´ un valor de factor de impacto de revistas y conferencias conocidas en distintas ´ areas de Ciencia de la Computaci´on. Cada columna representa el ranking para los a˜ nos 2000, 2002, 2004 y 2006. El valor “1” indica que la respectiva revista o conferencia tiene el mayor factor de impacto en su grupo de tres revistas y tres conferencias de la misma ´ area, y el valor “6” indica el menor valor de este factor. Estos resultados muestran la misma tendencia general de la Figura 2. En la Figura 3 se muestra la proporci´ on de revistas versus conferencias dentro de los 100 art´ıculos m´ as citados en la disciplina. La curva etiquetada con un c´ırculo blanco muestra la divisi´on entre el total de art´ıculos de revistas que figuran dentro de los 100 art´ıculos m´ as citados en cada a˜ no y el total de art´ıculos de conferencias que tambi´en est´ an dentro de los 100 art´ıculos m´ as citados. La curva etiquetada con un tri´ angulo negro es la divisi´on entre la suma acumulada de citas que reciben los art´ıculos de revistas ubicados dentro los 100 m´ as citados y la suma acumulada que reciben los art´ıculos de conferencia tambi´en dentro de esos 100 m´ as citados. La relevancia de las revistas sobre las conferencias no alcanzan al doble seg´ un estas m´etricas. La curva etiquetada con un cuadro blanco en la Figura 3, muestra la divisi´on entre el total de revistas que figuran dentro de los 100 medios de publicaci´on con mayor factor de impacto en cada a˜ no y el total de conferencias que tambi´en figuran dentro de los 100 medios de mayor impacto. Estos resultados muestran que en el CiteSeerX la cantidad de conferencias con factores de impacto relevantes es m´ as del doble que las revistas. La curva con el c´ırculo negro muestra la proporci´ on total de medios de publicaci´on de art´ıculos entre revistas y conferencias. Estos resultados muestran que el total de art´ıculos de conferencias que se publican cada a˜ no es muy superior al total de art´ıculos que publican las revistas. Dentro de este grupo de ´elite con los 100 medios de publicaci´on mejor rankeados en CiteSeerX , los art´ıculos de revistas son de mejor calidad, pero los resultados tambi´en muestran de que existen conferencias capaces de aportar art´ıculos de calidad comparable. Considerando los totales sobre todos los a˜ nos, es decir, los art´ıculos m´ as citados en el periodo que va desde 1990 a 2008 (citeseerx.ist.psu.edu/stats/articles), la cantidad de art´ıculos que est´ an 7

Medio Revistas TPDS JPDC P.Comp Conferencias SPAA IPDPS Euro-Par

00

02

04

06

1 3 4

3 4 6

2 5 6

2 5 6

2 5

1 2 5

1 3 4

1 3 4

Medio Revistas TIS TDBS VLDB J. Conferencias VLDB SIGIR PODS

(a)

Medio Revistas JMLR CI ML Conferencias IJCAI ICML ACL

00

02

04

06

5 4

2 3 5

3 4 6

4 6 5

3 1 2

1 4 6

2 5 1

1 3 2

00

02

04

06

4 5 6

4 5 6

4 5 6

3 5 6

1 2 3

1 3 2

3 1 2

1 2 4

(b)

00

02

04

06

5 2

5 4

3 6 5

1 6 5

4 1 3

1 3 2

4 1 2

4 2 3

Medio Revistas TOPLAS IEEE TSE Sci.C.Prog. Conferencias PLDI POPL OOPSLA

(c)

(d)

Table 3: Ranking seg´ un factor de impacto ISI entre revistas y conferencias en distintas ´areas de Ciencia de la Computaci´on para los a˜ nos 2000, 2002, 2004 y 2006. (a) Computaci´on Paralela y Distribuida, (b) Bases de Datos y Recuperaci´ on de la Informaci´on, (c) Inteligencia Artificial (“Machine Learning”) y (d) Lenguajes de Programaci´on.

dentro de los 100 m´ as citados corresponden a 54 art´ıculos de revistas y a 32 art´ıculos de conferencias, es decir, la proporci´ on est´ a dada por 54/32 = 1,7 donde las 14 referencias restantes corresponden a libros y manuales de software, y referencias indeterminadas (probablemente reportes t´ecnicos). Respecto a la suma acumulada de citas de cada tipo de publicaci´on abarcando el periodo 19902008, encontramos que las revistas suman un total de 60.683 citas mientras que las de conferencias acumulan un total de 29.170 citas. Entonces pensamos que no es arriesgado decir que los art´ıculos de conferencias son responsables de al menos 1/3 del estado del arte en Ciencia de la Computaci´on dado que estamos considerando un grupo de elite de s´ olo los 100 art´ıculos m´ as citados. En la misma l´ınea, si ahora consideramos las 10 mil publicaciones m´ as citadas observamos 5091/4909 = 1,04 para la proporci´ on total de revistas versus conferencias, y la raz´ on de la suma acumulada de cantidad de citas alcanza el valor 1,20. Es decir, en el rango de las 10 mil publicaciones m´ as citadas el aporte de las revistas y conferencias es casi id´entico. Esto indica que los resultados de la Figure 3 son muy conservadores puesto nos pusimos como exigencia los 100 m´ as citados en toda la colecci´ on mantenida por el sistema CiteSeerX .

8

Revistas / Conferencias

2

1.5

Los 100 medios con mayor factor de impacto Proporcion de medios indexados Los 100 articulos mas citados Suma acumulada de citas

1

0.5

0 93 94 95 96 97 98 99 00 01 02 03 04 05 06 07 1993 -- 2007

Figure 3: Proporci´ on entre revistas y conferencias considerando el ranking de los mejores 100.

Validaci´ on de “CiteSeerX ” utilizando “DBLP” El sistema DBLP Computer Science Bibliography (http://www.informatik.uni-trier.de/∼ley/db) mantiene una colecci´ on que actualmente contiene sobre un mill´ on de referencias bibliogr´aficas. La base de datos es actualizada con una frecuencia que est´ a pr´ acticamente dentro de la semana en que se publican los nuevos n´ umeros de las revistas y proceedings de conferencias. Es posible bajar desde DBLP un archivo XML que contiene en un formato bien definido los detalles de cada art´ıculo indexado, en especial, el t´ıtulo, el lugar de publicaci´on escrito de manera consistente para toda la colecci´on y si se trata de un art´ıculo de conferencia o revista. Para validar los resultados de la Figura 2 bajamos desde CiteSeerX otra secci´ on de este sistema, la cual presenta los 10 mil art´ıculos m´ as citados (http://citeseerx.ist.psu.edu/stats/articles). En estos archivos HTML es posible detectar sin error la cantidad de citas que ha recibido el art´ıculo y su t´ıtulo, pero no as´ı el lugar de publicaci´on. Utilizando el archivo XML bajado desde DBLP y los t´ıtulos es posible determinar los lugares donde fueron publicados los art´ıculos de CiteSeerX . Acumulando el total de citas de los 10 mil art´ıculos m´ as citados en las respectivas revistas y conferencias donde fueron publicados, podemos establecer un ranking de los medios de publicaci´on que concitan el mayor n´ umero de citas seg´ un CiteSeerX . En la Figura 4 se muestran los resultados, los cuales provienen desde poco m´ as de 200 revistas distintas y casi 400 conferencias distintas. Dichos resultados muestran que un gran porcentaje de las conferencias superan en cantidad acumulada de citas a las revistas. Los art´ıculos de conferencias pueden recibir un n´ umero relevante de citas al igual que los art´ıculos de revistas, lo cual se ve reflejado en los factores de impacto ISI mostrados en la Figura 2. De hecho dentro de los 10 mil art´ıculos m´ as citados obtuvimos el valor 1,04 para la divisi´on entre el total de art´ıculos de conferencias y el total de art´ıculos de revistas y 1,48 al dividir la suma de la cantidad de citas que reciben las conferencias (numerador) y revistas (denominador). Adem´as el archivo XML de DBLP permite determinar el total de art´ıculos publicados por cada 9

revista o conferencia donde fueron publicados los 10 mil art´ıculos m´ as citados en CiteSeerX . Con esto se puede determinar el valor C/P , donde C es el total de citas recibidas por los art´ıculos publicados por una conferencia/revista y P es el total de art´ıculos publicados por dicho medio. Es decir, el valor C/P es el promedio de citas que reciben los art´ıculos publicados por la revista/conferencia y es similar al ´ındice de impacto ISI pero considerando todos los a˜ nos en que el respectivo medio ha publicado art´ıculos. La Figura 5 muestra el factor de impacto C/P que los 10 mil art´ıculos m´ as citados le otorgan a la revista o conferencia donde fueron publicados. El orden en que aparecen los datos en el eje X de la Figura 5 es el mismo que el orden dado en la Figura 4.

5000

Conferencia Revista

25000

Conferencia Revista

4500 Total de citas acumuladas

Total de citas acumuladas

30000

20000 15000 10000 5000

4000 3500 3000 2500 2000 1500 1000 500

0

0 0

5

10

15

20

25

50

Las 30 revistas y conferencias mas citadas

100

150

200

250

300

350

400

Las siguientes revistas y conferencias mas citadas

Figure 4: Total acumulado de citas por conferencia y revista utilizando CiteSeer y DBLP.

50

50

Conferencia Revista

45

40 Factor de Impacto

Factor de Impacto

40

Conferencia Revista

35 30 25 20 15 10

30 20 10

5 0

0 0

5

10

15

20

25

50

Las 30 revistas y conferencias mas citadas

100

150

200

250

300

350

400

Las siguientes revistas y conferencias mas citadas

Figure 5: N´ umero promedio de citas por art´ıculo de conferencia/revista en CiteSeer y DBLP.

10

Validaci´ on desde el Portal “The ACM Digital Library” El Portal de la ACM Digital Library (portal.acm.org) es un sistema especializado en literatura t´ecnica para Ciencia de la Computaci´on que contiene una colecci´on de sobre el mill´ on de art´ıculos con sus respectivas listas de referencias bibliogr´aficas e informaci´ on sobre los art´ıculos que citan a cada art´ıculo. En particular, por cada art´ıculo se indica el n´ umero total de citas que ha recibido. Tambi´en es posible diferenciar entre art´ıculos de conferencias y revistas, y la notaci´ on de los nombres de cada conferencia/revista es consistente a trav´es de todos los art´ıculos. Utilizamos un cluster de 100 procesadores, donde cada uno ejecut´o el comando “wget” sobre un URL distinto del Portal ACM para bajar las p´ aginas HTML que son el resultado de ejecutar una b´ usqueda “vac´ıa” en el Portal. Cada p´ agina da acceso a los t´ıtulos, autores, “venue” (revista/conferencia) y “citation count” de los 1.233.937 art´ıculos indexados por el Portal al 30 de Diciembre de 2008. Sobre los 62 mil HTML bajados desde el Portal ejecutamos tambi´en en paralelo 100 scripts id´enticos para obtener por cada revista/conferencia el total de art´ıculos publicados y el total acumulado de citas que recibe cada revista/conferencia a trav´es de sus art´ıculos. Los scripts detectaron un total de 439 mil art´ıculos de conferencia y 456 mil art´ıculos de revistas con m´ as de una cita. El total de citas a los art´ıculos de conferencia es de 912 mil citas mientras que el total de citas a los art´ıculos de revistas es de 854 mil citas. Nuestros scripts tambi´en detectaron un total de 2.428 conferencias distintas y 1.138 revistas distintas. Los resultados para el total de citas acumuladas por cada revista/conferencia y el n´ umero promedio de citas que recibe cada art´ıculo de cada revista/conferencia (C/P ), para las primeras mil revistas/conferencias, se muestran en las Figuras 6 y 7 respectivamente. La tendencia es similar a los resultados obtenidos con las otras muestras de art´ıculos en Ciencia de la Computaci´on. Es decir, los art´ıculos de conferencia pueden tener una relevancia similar en el avance del estado del arte de la disciplina que los art´ıculos de revistas.

1800

Conferencia Revista

70000

1600 Total de citas acumuladas

Total de citas acumuladas

80000

60000 50000 40000 30000 20000 10000

Conferencia Revista

1400 1200 1000 800 600 400 200

0 0

10 20 30 40 50 60 70 80 90

0 100 200 300 400 500 600 700 800 900 1000

Las 100 revistas y conferencias mas citadas

Las siguientes revistas y conferencias mas citadas

Figure 6: Total acumulado de citas por conferencia y revista utilizando los art´ıculos indexados en el Portal ACM Digital Library.

11

30

25 Factor de Impacto

25 Factor de Impacto

30

Conferencia Revista

20 15 10 5

Conferencia Revista

20 15 10 5

0 0

10

20

30

40

50

60

70

80

0 100 200 300 400 500 600 700 800 900 1000

90

Las 100 revistas y conferencias mas citadas

Las siguientes revistas y conferencias mas citadas

Figure 7: Citas promedio por conferencia/revista seg´ un en el Portal ACM Digital Library.

B´ usquedas en el Sistema “DBLP” En el XML que bajamos desde DBLP (http://dblp.uni-trier.de/xml) en Septiembre del 2008 encontramos que para 28 libros, 6.406 art´ıculos de conferencia y 1.813 art´ıculos de revista, todos publicados antes del a˜ no 2005, se incluyen sus respectivas listas de referencias bibliogr´aficas correctamente formateadas con tags XML (actualmente el DBLP no almacena en su base de datos la lista de referencias de los art´ıculos que indexa). Los art´ıculos para los cuales encontramos sus listas de referencias provienen de las ediciones anuales de 22 conferencias y 8 revistas que pertenecen principalmente al ´ area de Bases de Datos. Esto representa una gran oportunidad para analizar lo que sucede en un ´ area cl´ asica y de las m´ as antiguas e importantes de Ciencia de la Computaci´on. Los libros son ediciones que est´ an entre los a˜ nos 1983 y 2004 y las citas en sus listas de referencias abarcan art´ıculos/libros publicados entre los a˜ nos 1949 y 2001. Los art´ıculos provienen de conferencias anuales que van desde los a˜ nos 1975 al 2001 y citan art´ıculos/libros publicados desde 1962. Las revistas son n´ umeros que van desde 1970 al 2001 y citan art´ıculos/libros desde 1945. Las referencias bibliogr´aficas citan a art´ıculos publicados en poco m´ as de 150 revistas y 300 conferencias. En el XML de cada cita se indica claramente cuando se trata de una cita a un art´ıculo de revista o a uno de conferencia y, por lo tanto, no hay margen de error en el conteo de citas que recibe cada tipo de art´ıculo. Tambi´en el nombre de la conferencia y revista puede ser detectado f´acilmente por nuestros scripts puesto que estos datos est´ an bien formateados con XML. En la Figura 8 se muestra el total acumulado de citas por medio de publicaci´on que provienen de los art´ıculos publicados en las conferencias y revistas mencionadas en las listas de referencias bibliogr´aficas de los 28 libros y las ediciones anuales de las 22 conferencias y 8 revistas. En la Figura 9 se muestra el promedio de citas por art´ıculo (C/P ) que reciben las conferencias y revistas a trav´es de esos art´ıculos. En general, estos resultados muestran la misma tendencia observada en los resultados presentados en las secciones anteriores. En la tabla 4 mostramos nuestro factor de impacto (C/P ) para las 5 conferencias y revistas que figuran como las que acumulan la mayor cantidad de citas en la figura 8. El factor de impacto lo hemos calculado de la misma manera que las secciones anteriores, es decir como C/P donde C

12

350

Conferencia Revista

14000

Total de citas acumuladas

Total de citas acumuladas

16000

12000 10000 8000 6000 4000 2000

Conferencia Revista

300 250 200 150 100 50

0

0 0

5

10

15

20

25

50

Las primeras 30 revistas y conferencias

100

150

200

250

300

350

Las siguientes revistas y conferencias

Figure 8: Total de citas acumuladas por art´ıculos de cada conferencia y revista en DBLP.

16 14

Conferencia Revista

14

12

Factor de Impacto

Factor de Impacto

16

Conferencia Revista

10 8 6 4 2

12 10 8 6 4 2

0

0 0

5

10

15

20

25

50

Las primeras 30 revistas y conferencias mas citadas

100

150

200

250

300

350

Las siguientes revistas y conferencias

Figure 9: Factores de Impacto de cada conferencia y revista en DBLP.

son los valores de la columna “T. Citas” (i.e., la suma total de citas que reciben los art´ıculos de la conferencia o revista) y P el total de art´ıculos publicados por la respectiva conferencia o revista. Los valores de P est´ an dados por la columna etiquetada con “M*A” donde “M” es el promedio anual de art´ıculos publicados por la conferencia o revista (valor tomado desde el sistema “Faceted DBLP”, opciones “Most prolific journals/conferences”) y “A” es n´ umero de a˜ nos que abarcan las citas a los art´ıculos de cada conferencia o revista. Consideramos como a˜ no v´alido s´ olo aquellos en que el total de citas super´ o el valor 10. Esto se hizo para evitar contar un a˜ no adicional en revistas con muy pocas citas en ese a˜ no particular (en las conferencias, en cada a˜ no siempre se registraron m´ as de 10 citas). Los resultados muestran que para esta ´area las top-5 conferencias superan en valor de factor de impacto a varias de las revistas m´ as conocidas en la disciplina. Es interesante observar si los art´ıculos de conferencias tienden a citar m´ as a las conferencias y viceversa respecto de las revistas, y lo que sucede con los libros. La distribuci´on de citas a art´ıculos de revistas y conferencias, y citas a libros la representaremos por la tupla (conf, rev, lib) donde conf 13

Conferencia SIGMOD VLDB PODS ICDE ER

T. Citas 14.459 12.016 5.011 4.342 1.983

P*A 64*29 74*24 32*18 98*15 36*17

F. Impacto 7,79 6,76 8,69 2,95 3,24

Revista TODS CACM CSUR TSE JACM

T. Citas 10.507 4.431 2.735 2.579 2.526

P*A 21*22 168*32 28*26 84*20 45*30

F. Impacto 20,74 0,82 3,75 1,53 1,87

Table 4: Factores de Impacto promedio. (Nota: el factor de impacto estimado para la revista VLDB Journal es 547/(23*7) = 3,39).

es el total de citas a art´ıculos de conferencias, rev total de citas a art´ıculos de revista, lib el total de citas a libros. Las tuplas considerando individualmente las listas de referencias de los art´ıculos de conferencia, de revista y de libros son las siguientes: Citas desde CONFERENCIAS ( conf= 44.037 (56%) rev= 29.092 (37%) lib= 5.514 (7%) ) Citas desde REVISTAS ( conf= 14.562 (49%) rev= 13.238 (44%) lib= 2.181 (7%) ) Citas desde LIBROS ( conf= 1.583 (52%) rev= 1.238 (40%) lib= 249 (8%) ) Los resultados muestran que no existen variaciones relevantes en la tendencia general ya comentada. Dada la gran cantidad de informaci´ on no pudimos calcular manualmente el denominador “P*A” (Tabla 4) para los resultados presentados en la Figura 9. Para ello simplemente detectamos para cada conferencia y revista el a˜ no m´ as reciente en que fue citada, y desde la base de datos de DBLP obtuvimos el total de art´ıculos publicados por la conferencia o revista hasta ese a˜ no. Este valor corresponde al denominador en la f´ormula y el numerador es el respectivo n´ umero total de citas de la Figura 8. Otro dato de inter´es es comparar el nivel de producci´ on de art´ıculos de conferencias y revistas. El archivo XML que bajamos desde DBLP contiene art´ıculos hasta comienzos del 2008. De estos art´ıculos un total de 668 mil pertenecen a conferencias y 408 mil a revistas, es decir, los art´ıculos de conferencia representan el 62% de la colecci´on. Los art´ıculos provienen de 2.487 conferencias distintas y de 655 revistas distintas. El total acumulado de las ediciones anuales de conferencias y revistas es de 11.819 y 7.684 respectivamente, es decir, una relaci´ on del tipo 60%-40%. En la Figura 10 mostramos el promedio anual de art´ıculos publicados por las 500 conferencias y revistas consideradas como las m´ as prol´ıficas en el sistema “Faceted DBLP” (http://dblp.l3s.de), opciones “most prolific journals/conferences”. Esos resultados muestran que tanto las conferencias como las revistas publican tanto o m´ as art´ıculos que uno del otro tipo. El promedio para las conferencias es de 94 art´ıculos por a˜ no mientras que para las revistas es de 59 art´ıculos, lo que tambi´en entrega una relaci´ on 60%-40% para las 500 conferencias y revistas. Note que al ver los promedios de la Tabla 1 encontramos que tambi´en existe una relaci´ on 60%-40% (es decir, 88/(88+51) versus 51/(88+51)). Los valores en s´ı mismos pueden ser s´ olo una consecuencia del hecho de que las publicaciones de cada investigador se obtuvieron del propio DBLP. Lo interesante es que esta proporci´ on se mantiene incluso entre los 100 investigadores de mayor ´ındice H. El sistema “Faceted DBLP” (http://dblp.l3s.de) utiliza la base de datos de DBLP para presentar distintas vistas de las referencias bibliogr´aficas. En particular entrega informaci´ on del total de art´ıculos de revistas y conferencias, y los autores con m´ as art´ıculos. Realizamos b´ usquedas uti14

1400 1200

Conferencia Revista

100 Total anual de articulos

Total anual de articulos

120

Conferencia Revista

1000 800 600 400

80 60 40 20

200 0 0

10

20

30

40

50

60

70

80

0 100

90

Las 100 primeras revistas y conferencias

150

200

250

300

350

400

450

500

Las siguientes 400 revistas y conferencias

Figure 10: Total anual promedio de art´ıculos publicados por las revistas y conferencias con mayor n´ umero de art´ıculos en DBLP (periodo 1953-2008). lizando distintas palabras clave que identifican ´areas de Ciencia de la Computaci´on bajo la opci´ on “Venues only”. Por cada resultado de las b´ usquedas anotamos el total de art´ıculos en revistas y conferencias, y tambi´en anotamos la cantidad de art´ıculos de revistas y conferencias para s´ olo los tres autores con m´ as publicaciones en el ´area. En la Tabla 5 se muestran los resultados que obtuvimos en Noviembre del 2008, los cuales son interesantes puesto que muestran las diferencias para distintas ´ areas de Ciencia de la Computaci´on respecto de la proporci´ on entre publicaciones en revistas y conferencias. Los totales globales indican que en todos los casos los autores en general publican mucho m´ as en conferencias que en revistas. Sin embargo, para los tres primeros autores que registran el mayor n´ umero de publicaciones en cada ´area, se observan diferencias significativas respecto de la proporci´ on revistas versus conferencias. Esto es consecuente con lo reportado en la Tabla 1 y los detalles entregados en el Anexo de este art´ıculo.

Validaci´ on de Citas “Web of Science” utilizando “DBLP” El gran problema con el Web of Science es que las citas a art´ıculos de conferencias han sido escritas de manera muy poco prolija. Al contrario de las revistas, pr´ acticamente no existe una notaci´ on est´ andar para identificar a cada conferencia. Algo similar se observa en la colecci´on “ISI Proceedings” en la cual no es dif´ıcil ver que las ediciones anuales de una misma conferencia figuran con notaciones distintas lo cual dificulta las b´ usquedas de art´ıculos. Por ejemplo si en el Web of Science uno realiza una b´ usqueda inicializando el campo “Conference” con el valor “VLDB” y luego ejecuta la opci´ on “Create Citation Report” puede observar en el gr´ afico de “Published Items in Each Year” que hay a˜ nos en que se reporta que no se public´o ning´ un art´ıculo, lo cual no es efectivo. Una b´ usqueda por el t´ıtulo de art´ıculos que se sabe fueron publicados en uno de esos a˜ nos revela que la conferencia figura con variantes en el nombre que la identifica. En otros casos simplemente no existen art´ıculos de un cierto a˜ no ingresados en la base de datos. Otro problema es que en varios casos no se hace distinci´on entre los art´ıculos de la conferencia propiamente tal y los workshops sat´elite que se realizan junto con la conferencia. Esto hace que en ciertos a˜ nos exista una cantidad exageradamente grande de art´ıculos publicados en la conferencia respecto de otros a˜ nos. Pareciera 15

Palabra(s) de B´ usqueda Algorithms

Artificial Intelligence

Computer Graphics

Dabatases

Cybernetics

Distributed

Information Systems

Logic

Parallel

Software Engineering

Totales 1er autor 2do autor 3er autor Totales 1er autor 2do autor 3er autor Totales 1er autor 2do autor 3er autor Totales 1er autor 2do autor 3er autor Totales 1er autor 2do autor 3er autor Totales 1er autor 2do autor 3er autor Totales 1er autor 2do autor 3er autor Totales 1er autor 2do autor 3er autor Totales 1er autor 2do autor 3er autor Totales 1er autor 2do autor 3er autor

Revistas 3.343 159 252 114 2.185 20 41 38 716 135 42 41 1.172 29 59 61 1.368 30 31 58 1.302 87 55 51 546 56 58 26 3.162 224 33 88 7.756 51 103 33 1.673 105 67 32

Conferencias 9.780 67 106 147 22.226 94 74 97 3.608 226 0 52 9.076 118 125 146 3.783 24 4 16 21.823 190 137 193 11.510 256 139 110 9.025 9 131 50 25.828 193 164 177 11.770 78 105 58

Table 5: B´ usquedas en el Faceted-DBLP

16

10

10

Conferencia Revista

8 Factor de Impacto

Factor de Impacto

8

Conferencia Revista

6 4 2

6 4 2

0

0 0

5

10

15

20

25

50

Las 30 revistas y conferencias mas citadas en Web of Science

100

150

200

250

300

350

400

Las siguientes revistas y conferencias mas citadas

Figure 11: Factores de Impacto de conferencias y revistas utilizando Web of Science y DBLP.

ser que el enfoque es orientado al libro del proceedings particular m´ as que un enfoque orientado a mantener la consistencia a nivel de ediciones anuales. Esto hace extremadamente complicado realizar una comparaci´on entre la relevancia de los art´ıculos de conferencias y revistas. A´ un en este contexto de informaci´ on imperfecta decidimos realizar c´alculos similares a los presentados en la Figura 5, es decir, tomamos los t´ıtulos de art´ıculos detectados en las listas de referencias de los art´ıculos de revista encontrados en el Web of Science, y utilizamos esos t´ıtulos como llave para obtener la revista o conferencia en la base de datos de DBLP (dblp.xml). Los resultados se presentan en la Figura 11, la cual muestra una situaci´ on desmejorada para el impacto de los art´ıculos de conferencia ubicados dentro de los 30 primeros lugares respecto de cantidad acumulada de citas por medio de publicaci´on (gr´ afico lado izquierdo). La raz´ on es que ahora nuestros scripts detectan mucho menos citas a conferencias que a revistas. Sin embargo para los siguientes lugares en el ranking de citas acumuladas (gr´ afico lado derecho) los factores de impacto son similares en conferencias y revistas. El total global acumulado de citas a todos los art´ıculos de revista es de 488.112, mientras que para conferencias este valor es s´ olo de 86.753, es decir un 15%, lo cual es no es cierto por la siguiente raz´ on. La lista de citas obtenidas en el Web of Science a los que les pudimos detectar los t´ıtulos con nuestros scripts contiene 1,46 millones de art´ıculos, mientras que el total de citas detectadas es de 3,9 millones, es decir, m´ as del doble, y estas citas sin t´ıtulo necesariamente corresponden a conferencias y algunas revistas no indexadas en ISI. Esto porque para las revistas ISI es sencillo detectar autom´ aticamente el t´ıtulo debido al formato especial con que son presentadas al usuario en el Web of Science. No obstante, los resultados de la Figura 11 siguen siendo u ´tiles para mostrar que ciertas conferencias pueden tener tanto impacto como los art´ıculos de revistas indexadas en ISI.

Agradecimientos Las revistas y conferencias mencionadas en la Tabla 3 fueron seleccionadas por John Atkinson de la Universidad de Concepci´ on, y Pablo Barcel´o y Eric Tanter de la Universidad de Chile. La Sociedad Chilena de Ciencia de la Computaci´on ha financiado parcialmente este estudio. 17

ANEXO: Lista Alfab´ etica de Investigadores con mejor ´ındice H Investigador Alberto L. Sangiovanni-Vincentelli Alex Pentland Amir Pnueli Amit P. Sheth Andrew S. Tanenbaum Andrew Zisserman Anil K. Jain Barbara Liskov Barry W. Boehm Ben Shneiderman Carl Kesselman Christos Faloutsos Christos H. Papadimitriou Craig Chambers David A. Patterson David E. Culler David E. Goldberg David Haussler David J. DeWitt David L. Dill David S. Johnson Deborah Estrin Demetri Terzopoulos Didier Dubois Donald E. Knuth Donald F. Towsley Douglas C. Schmidt Edmund M. Clarke Geoffrey E. Hinton George Karypis H. V. Jagadish Hari Balakrishnan Hector Garcia-Molina Henry M. Levy Herbert A. Simon Herbert Edelsbrunner Ian T. Foster Jack Dongarra James F. Kurose Jason Cong Jeffrey D. Ullman Jeffrey Scott Vitter Jennifer Widom Jiawei Han

Revistas 96 52 58 46 47 32 146 26 53 108 23 45 128 18 47 23 32 44 42 25 66 40 26 86 77 101 42 61 27 27 31 22 73 27 37 109 69 77 39 47 94 77 43 59

18

Conferencias 261 101 167 63 45 113 149 64 78 106 60 93 130 51 59 90 117 55 51 105 31 85 49 126 10 160 108 126 59 70 65 67 153 65 17 88 133 132 99 139 85 107 63 158

Total 357 153 225 109 92 145 295 90 131 214 83 138 258 69 106 113 149 99 93 130 97 125 75 212 87 261 150 187 86 97 96 89 226 92 54 197 202 209 138 186 179 184 106 217

Investigador John A. Stankovic John McCarthy John Mitchell Jon M. Kleinberg Jose Joaquin Garcia-Luna-Aceves Jose Meseguer Joseph A. Goguen Judea Pearl Kai Li Ken Kennedy Krithi Ramamritham Leonard Kleinrock Leslie Lamport Lixia Zhang Luca Cardelli M. Frans Kaashoek Maja J. Mataric Mario Gerla Martin Abadi Martin Vetterli Micha Sharir Michael A. Arbib Michael I. Jordan Michael J. Carey Michael J. Franklin Michael Stonebraker Mihalis Yannakakis Mihir Bellare Miron Livny Monica S. Lam Moshe Y. Vardi Nancy A. Lynch Nicholas R. Jennings Oded Goldreich Olivier D. Faugeras Pat Hanrahan Philip S. Yu Philip Wadler Prabhakar Raghavan Raghu Ramakrishnan Rajeev Alur Rajeev Motwani Rakesh Agrawal Ramesh Govindan Randy H. Katz

Revistas 62 22 41 33 32 63 41 51 20 48 68 41 60 25 38 28 26 64 52 45 194 48 33 30 40 57 73 20 22 13 87 72 64 128 36 14 119 24 55 32 44 59 32 29 39

19

Conferencias 93 25 88 69 94 95 69 79 72 97 114 26 50 50 64 60 49 129 104 63 162 20 89 54 52 73 88 87 68 78 187 124 116 107 77 59 228 47 82 67 106 81 66 53 100

Total 155 47 129 102 126 158 110 130 92 145 182 67 110 75 102 88 75 193 156 108 356 68 122 84 92 130 161 107 90 91 274 196 180 235 113 73 347 71 137 99 150 140 98 82 139

Investigador Richard J. Lipton Richard M. Karp Robert Endre Tarjan Robin Milner Ronald Fagin Ronald L. Rivest Sally Floyd Saul Greenberg Scott Shenker Sebastian Thrun Serge Abiteboul Simon L. Peyton Jones Stanley Osher Stefano Ceri Steven Salzberg Sushil Jajodia Takeo Kanade Teuvo Kohonen Thomas A. Henzinger Thomas S. Huang Thomas W. Reps Timothy W. Finin Tomaso Poggio Vern Paxson Victor R. Basili Victor R. Lesser Vipin Kumar W. Bruce Croft Willy Zwaenepoel Won Kim

Revistas 64 68 137 24 59 48 19 21 33 38 49 53 9 53 27 76 60 14 33 88 31 29 28 14 82 39 39 49 20 83

20

Conferencias 92 94 80 54 48 79 17 54 104 110 81 67 15 72 18 142 131 8 154 231 82 71 45 28 60 120 102 93 69 23

Total 156 162 217 78 107 127 36 75 137 148 130 120 24 125 45 218 191 22 187 319 113 100 73 42 142 159 141 142 89 106