Bibliometría

Son numerosas las visitas que recibe este sitio en busca de información acerca de rankings de universidades españolas y hasta ahora apenas obtenían información al respecto, así que me he decidido a recopilar los rankings de universidades españolas que hasta el momento han tenido mayor repercusión mediática. No dudo que haya más por ahí; probablemente, tantos como universidades deseosas de aparecer en los primeros puestos.

Todos los años el Diario El Mundo publica un informe sobre las Universidades españolas denominado 50 carreras. Va por su novena edición y aunque su misión principal es la de ayudar al futuro estudiante para elegir la carrera más adecuada y la universidad que mejor imparte esos estudios, también tiene un par de apartados que nos permite ver un ranking de universidades públicas españolas y otro ranking de universidades privadas españolas. La amplia trayectoria temporal nos permite ver esta información con perspectiva, aunque para ello tendremos que ir viendo el informe 50 carreras año a año. Es uno de los rankings menos criticados de este listado.

Por el contrario, el informe elaborado por Mikel Buesa, Joost Heijs y Omar Kahwash, del Instituto de Análisis Industrial y Financiero y titulado La calidad de las universidades en España. Elaboración de un índice multidimensional, ha sido ampliamente criticado. Por poner algunos ejemplos, ha sido comentado en Las conclusiones de los autores del ranking de universidades españolas y en Sobre el ranking de universidades españolas. También en Más clasificaciones de universidades. El propio Mikel Buesa habla del informe en La calidad de las universidades y el rector de la Carlos III de Madrid, aunque en este caso pone bien al informe.

Otro rankig, el Ranking de productividad en investigación de las universidades públicas españolas, más ampliamente explicado en el artículo de Psicothema Ranking de 2008 en productividad en investigación de las universidades públicas españolas también ha sido criticado en Un ranking inestable pierde credibilidad, aunque también es cierto que fue positivamente glosado en Los profesores no especializados producen menos y discretamente mencionado por Elías Sanz en Los ránkings y las reglas del juego.

Y hablando de Elías Sanz, de su responsabilidad es el ranking que mejor pinta tiene en mi opinión. Aunque por el momento ofrece únicamente datos preliminares presentados en el V Foro sobre la Evaluación de la Calidad de la Educación Superior y de la Investigación, la Propuesta de evaluación de la investigación en la universidad española a partir de indicadores complementarios, y creo que la clave de este trabajo está en su deseo de ser lo más transparente posible en cuanto a las fuentes de las que se recoge la información para la obtención de indicadores y en la combinación de indicadores que permiten el análisis de las instituciones desde distintas perspectivas.

Uno que tal vez ha sido menos difundido es el Ranking de Universidades españolas por calidad investigadora realizado por Scimago y contenido en el reportaje La calidad investigadora española no resiste la comparación internacional publicado en Magisnet. Aparece ligeramente comentado en Un décimo puesto y es el último del que he tenido conocimiento.

Actualización: Como bien dice Enrique Orduña, he olvidado mencionar los informes de la Fundación Conocimiento y Desarrollo, que recojo en el apartado informes. Tiene delito la omisión teniendo en cuenta que el capítulo 6 del último informe se llama ahora Las universidades públicas españolas en cifras: Rankings de universidades.

Más recursos:

Como ya anunciara la semana pasada, el mes de junio es el mes en que estrenamos nuevos factores de impacto y como todos los años voy a centrar mi atención en la pintura de las revistas españolas en el JCR de este año.

Empecemos con los decesos. Un año después de que entrara en el Science Edition, la revista Anales de la Real Academia Nacional de Farmacia desaparece del JCR. También desaparece al año de su aparición la revista Ciencia y Tecnología Alimentaria; muy probablemente por su cambio de nombre (ahora es CYTA – Journal of Food).

Continuaremos con el apartado de las reapariciones. Tras dos años de ausencia, por tener un factor de impacto de 0, reaparece el Boletín de la Sociedad Española de Cerámica y Vidrio.

Entre las novedades encontramos:

Una curiosidad: sorprendentemente, aunque hay revistas que aparecen y desaparecen en aquellos años en los que su factor de impacto es 0, hay una revista, la Revista de Economía Aplicada, que aparece por primera vez este año, a pesar de tener un factor de impacto de 0,000. Tal vez la explicación la encontremos en que es una de las revistas de Economía mejor posicionadas en los índices de impacto de IN-RECS. O puede que sea por que al menos tiene algún valor en su índice de inmediatez.

Otra curiosidad: este año han entrado tres revistas españolas en la categoría Economics.

Un misterio resuelto: revisando la categoría Multidisciplinary Sciences observo que PLoS ONE, si hicieramos caso al cálculo del factor de impacto que hice la semana pasada, quedaría por detrás de Nature, Science y PNAS, y aunque no estaría mucho más abajo, no estaría en el primer decil de la categoría.

Una reivindicación que comparto: WoW! Wouter on the Web reivindica en 2008 Journal Citation Reports figures released la eliminación de la separación que establecen entre Science Edition y Social Science Edition (de hecho ya lo hacía el año pasado pero me pasó desapercibido). Yo añadiría que se dedicaran un poco a currarse las categorías.

Una pequeña observación (o dos): en Francis (th)E mule Science’s News, blog en el que encuentro numerosas entradas relevantes, anuncia que Ya se ha publicado el nuevo JCR 2008 (con pocas sorpresas) y comenta las revistas con mayor factor de impacto, sin establecer categorías de por medio, lo cual me parece arriesgado, teniendo los distintos hábitos de citación existentes en cada categoría (incluso en algunas categorías se siente uno inseguro al comparar las revistas), aunque supongo que el principal culpable es la gente de Thomson Reuters por habilitar una opción de búsqueda que permite listar todas las revista de una sola vez y ordenarlas por el criterio que mejor nos parezca. En un error parecido incurre el análisis de BIBLIOCHOP BLOG bajo el título JOURNAL CITATION REPORTS PUBLICA EL FACTOR DE IMPACTO 2008. E Infobiblio. Información Bibliográfica hace lo propio con el factor de impacto de las revistas españolas en Ciencias Sociales.

Además de todo esto, podeis ver la evolución del factor de impacto de las revistas sanitarias españolas en los últimos años gracias al análisis que han realizado desde la Biblioteca de Medicina de la Universidad Complutense de Madrid. Y podeis ver las novedades que presenta este año el JCR en un ilustrativo power point de la FECYT.

Y también podeis encontrar algunos datos de autobombo de parte de Thomson Reuters en Thomson Reuters Releases 2008 Journal Citation Reports; en su Citation Impact Center también hacen autobombo.

Todos los años, en el mes de junio, se publica el JCR relativo al año anterior. El año pasado, a mediados de junio, se publicaba el JCR 2007, y ahora debe estar al caer el JCR 2008. Y en los últimos años espero ansioso la publicación del JCR (2005, 2006 y 2007) para comentar las novedades españolas en él.

Este año todavía no se ha publicado, así que para abrir boca me he distraido calculando el factor de impacto 2008 de PLoS ONE. En realidad era una curiosidad que necesitaba satisfacer desde hace un tiempo. En las solicitudes de ayudas que gestiono pedimos en los curricula que indiquen exlusivamente las publicaciones de primer cuartil y sistemáticamente aparece PLoS ONE entre ellas cuando no debe considerarso como tal al no estar indizada en el JCR. Sin embargo, a uno le queda siempre el regusto amargo de estar cometiendo una injusticia al no contemplar esta revista como una de las grandes multidisciplinares. Este año con más razón, al haberse multiplicado el número de apariciones de referencias en los curricula de los solicitantes. Comenté el asunto con un editor científico de la revista (academic editor) y me dijo que la revista había calculado el año anterior su factor de impacto y que este se situaba en torno al 3. No contento con ello, la otra noche, como quien se pone a hacer un sudoku o a contemplar las estrellas en el firmamento, me dediqué a calcular su factor de impacto para 2008. Para ello procedí de la siguiente manera (quien quiera puede repasar aquí cómo se calcula el factor de impactoaquí ):

Busqué en Cited reference search, en el campo Cited work PLOS One y en el campo Cited Year(s) 2006-2007, limitando la búsqueda en Timespan a 2008. Con paciencia fui pasando los resultados a una hoja excel que me dio como resultado un total de 7383 citas realizadas durante 2008 a items de PLoS ONE de los números editados durante 2006 y 2007. Numerador listo.

Por otra parte hice una simple búsqueda en PubMed Central: Research & Review Articles publicados en PLoS ONE durante el periodo comprendido entre el 1 de enero de 2006 y el 31 de diciembre de 2007 (os recuerdo que el factor de impacto sólo incluye en el denominador los artículos y revisiones como “items citables”). El resultado a esta consulta son 1366 items citables.

Si dividimos 7383 entre 1366 obtenemos un factor de impacto para PLoS ONE de 5,404. En cuanto se publique el JCR 2008 pondremos en relación este factor de impacto con el de las grandes revistas multidisciplinares para ver cómo queda.

NOTA: Este cálculo es una burda aproximación que puede diferir poco, mucho o una barbaridad con el cálculo que pudieran hacer de la revista los técnicos que elaboran el JCR.

Hace unos días asistí a una reunión en la que un destacado científico de este país nos mostraba una posible metodología para valorar el resultado en investigación de determinados grupos y centros de investigación. A mí, en varios puntos no me parecía correcta la forma de medir, pero no puedo afirmar que fuera del todo descabellada. Sin embargo, a esa misma reunión asistía un compañero que persiste en hablar de algo que me deja frío cada vez que lo escucho: índice sintético. Este compañero persiste en resumir todos los resultados de una evaluación en un valor numérico único. Yo mantengo que un valor numérico único no nos puede aportar información de varios aspectos de la evaluación; es más, si es un valor que resume todos los aspectos evaluados, muy probablemente sea un valor que no nos dé información de ninguno de ellos. Podemos medir la productividad de dos grupo de investigación, su grado de colaboración, su impacto, su visibilidad, su rentabilidad, su capacidad para recibir fondos a través de 6 ó 60 indicadores; encontraremos aspectos en los que destaque más el primero grupo y aspectos en los que destaque más el segundo. Incluso puede que podamos resumir toda esa evaluación en un número sintético que nos permita decir que el primero es mejor que el segundo porque el primero tiene un valor de 8 y el segundo un valor de 7, pero eso no nos dice gran cosa. El primero puede ser más productivo, más visible y sin embargo puede tener graves problemas para obtener financiación y colaborar a nivel internacional o todo lo contrario, pero ni el 8 ni el 7 nos dirá nada de esto.
A finales de la semana pasada tuve una conversación telefónica en la que salió a relucir el dichoso índice sintético y desde el otro lado del teléfono me dieron un buen ejemplo para hacer ver el error de trabajar con un índice sintético (más en un entorno biomédico como en el que me encuentro). El ejemplo es la analítica de sangre. ¿A alguien se le pasa por la cabeza resumir nuestros análisis de sangre en un valor único? ¿Nos diría ese valor sintético si tenemos anemia o niveles elevados de colesterol? ¿NOS SERVIRÍA DE ALGO ESE VALOR?
Creo que la clave está en la última pregunta. ¿Para qué nos sirve evaluar? Yo entiendo que se evalúa para conocer y en función de lo que conocemos, actuar. Con un ranking “sintético” podemos premiar o castigar, pero no conoceremos y por tanto no podremos actuar, corregir, en función de lo que nos muestre la evaluación, porque preguntaremos ¿colaboran mucho los investigadores de este grupo? Y nos contestará 7. Preguntaremos ¿son muy productivos? Y nos contestará 7.
¿Para qué evaluamos? …7

Nuestro presidente, 65 años después de que Vannevar Bush hablara de la Ciencia como motor de bienestar (Bush, 1945), parece haber descubierto las bondades de la I+D+i y en ella quiere basar su nuevo modelo productivo. Yo no sé si llegará a lograr algún cambio de modelo o no, o si ese cambio nos hará más fuertes o no. Lo que sí tengo claro es que en los próximos años la Ciencia y sus alrededores va a mover mucho trabajo en este país. Sobre todo investigadores en áreas tecnológicas, pero también en el resto. Y además de investigadores, también se va a mover mucho en los alrededores.

Pienso también en el personal de apoyo, en todo ese personal que sin dedicarse a la investigación, la apoya desde dentro y desde la periferia. Desde dentro se me ocurre la necesidad de estadísticos, informáticos, técnicos de laboratorio. Y desde la periferia, gestores; especialistas de múltiples áreas de conocimiento que se dediquen a la transferencia de tecnología, a la gestión de proyectos nacionales e internacionales, a la auditoría de sus cuentas, a la gestión curricular de los investigadores, al apoyo documental, a la contratación de personal dentro de los márgenes establecidos por la ley de la ciencia (ésta y la que venga luego) y un largo etcétera, larguísimo.

A la gestión de la ciencia puede decirse que me dedico yo (aunque al otro lado de la trinchera) y puedo aseguraros que la cosa está cambiando notablemente. De unos años a esta parte y de unos meses a esta parte, se multiplican las entidades gestoras y el personal que trabaja en ellas. Prueba de ello son la reciente creación de un par de asociaciones del ámbito biomédico (os hablo del ámbito que conozco, aunque seguro que hay ejemplos en otros ámbitos). El pasado 12 de mayo se celebraba en Madrid la II Jornada de Gestión de la Investigación Biomédica y en ella se presentaban en sociedad. La primera de ellas, la Red de Entidades Gestoras de Investigación Clínica Hospitalaria y Biosanitaria, pretende coordinar a las entidades gestoras en defensa de sus intereses, uniendo sus fuerzas. En esas jornadas hicieron una presentación de la Red de Entidades Gestoras de Investigación Clínica Hospitalaria y Biosanitaria e indicaron la dirección de un blog propio, agidhos (Transferencia del conocimiento en I+D biosanitaria), al que, por supuesto, ya me he suscrito. La segunda asociación me parece mucho más interesante, más amplia, da cabida a más personas y puede suscitar mayor interés entre aquellos profesionales que se interesen por esta profesión en sus múltiples facetas. AEGESTI-SALUD hizo su presentación en las misma jornada. Tienen un blog sin entradas, AEGESTI Salud, al que también me he suscrito por si algún día les da por enriquecerlo, y una dirección que requiere de invitación y registro previo. No es mucha la información que ofrecen por el momento, pero sé que tienen muchas ganas y en la presentación viene un correo electrónico desde el que seguro que os proporcionarán información si estáis interesados (yo igual les escribo un día de estos, o hablo con alguno de sus miembros cuando pasen por el Instituto).

¿Y a qué venía todo este rollo que os he soltado? Pues además de ser la excusa perfecta para enlazaros el informe de Vannevar Bush Science: The Endless Frontier que encontré el otro día en la red y para hablaros de estas dos asociaciones y su presentación, que me perdí por el exceso de trabajo que últimamente padezco, quería aprovechar para deciros que creo que, aunque con muchas dificultades, sí se va a producir un cambio de modelo productivo y pensando en la gente que está terminando sus estudios o profesionales que están en paro creo que la Ciencia, ya sea la propia investigación, el apoyo a la misma o su gestión, puede ser un campo con creciente demanda laboral que no deben descartar como salida.

La semana pasada me preguntaba un lector, José Juan Castillo Pérez, por algún software que le permitiera construir matrices de coautoría. Y tras darle una breve contestación decidí hacer una búsqueda algo más completa, aunque no exhaustiva, de software bibliométrico. El resultado lo he almacenado bajo el tag software de mi perfil en Delicious y espero ir enriqueciéndolo poco a poco.

Por el momento he encontrado lo siguiente:

NOTA: En Delicious tengo más, pero no puede considerarse todo software bibliométrico. De todo el software mencionado sólo he probado Pajek, y de eso hace años.

Esta mañana me ha llegado un correo electrónico de un investigador en el que me adjuntaba las publicaciones asociadas a dos proyectos de investigación que él había liderado. La cuestión es que a raiz de ese correo me ha vuelto a la mente el problema del análisis de citas de los resultados de proyectos de investigación. Este investigador tenía un proyecto que finalizaba en 2004 y del que se publicaron resultados en fechas tan recientes como 2007. Analicemos las fechas. Imaginemos que queremos realizar un análisis de citas de los proyectos financiados en las mismas fechas que este investigador. Es decir, que para observar la producción científica de los proyectos de la convocatoria 2001 (con la que se financian proyectos a ejecutar entre 2002 y 2004), tendremos que esperar tres años para que se hayan publicado la mayor parte de sus resultados (2005, 2006 y 2007) y contemplando una ventana de citación muy ajustada, de dos años (2008 y 2009), podremos analizar sus citas en 2010. Si corremos mucho, los resultados se podrán publicar en 2011. Para entonces los investigadores analizados habrán podido concluir otros dos proyectos de investigación y estarán comenzando el tercero.

A la luz de estas cifras, podeis entender ahora la afición de Eugene Garfield por coleccionar tortugas.

Así titula Harold “Skip” Garner un correo electrónico que está mandando, sospecho, a todos los implicados presentes en su base de datos Deja Vu: a Database of Highly Similar and Duplicate Citations de la que ya os hablé en Deja vu: A study of scientific publication ethics.
El correo en cuestión (sospecho que está montado de manera automatizada) adjunta los dos artículos duplicados y detecta a través de ellos a los autores del primero y segundo artículo y a los editores de la primera y segunda revista, su correo electrónico (en caso de no localizarlo indica “contact info unavailable”) y tras una introducción en la que se identifica y explica eTBLAST, Deja Vu y su repercusión en Nature y en Science y la localización de dos registros duplicados que les afectan a los sujetos identificados, pide a los mismos que sean tan amables de contestar unas cuantas preguntas. Y las preguntas no tienen desperdicio:

A los autores del artículo inicial les pregunta:

A los autores del segundo artículo les ahorra el bochorno y para ellos reduce el cuestionario a dos preguntas:

A los editores del artículo original:

Y a los editores del segundo artículo les pregunta:

Disculpad la malísima traducción. En mi descargo os diré que me he apuntado a clases de inglés, si bien es cierto que ahora estoy escribiendo en lugar de ponerme con el curso online (mañana comienzo, lo prometo).

A los autores iniciales se les queda cara de sorpresa y les resulta graciosa la situación. Supongo que los primeros editores buscarán a sus abogados calculadora en mano y los segundos llamarán a los suyos mientras se agarran la cartera. Los autores posteriores no sabrán dónde esconderse. Me ha encantado el correo. En cuanto tenga un hueco (o sea, nunca) rastrearé entre los registros de Deja Vu por si encuentro alguna respuesta grabada en la sección de comentarios.

Hoy algo breve. La semana pasada, mientras buscaba enlaces para adornar el post, me topé en Archive.org con una versión en pdf del libro de Hulme que ya mencionara en Bibliometría y Bibliometria.com, mi post inaugural. Pongo aquí la referencia y actualizo en el otro la ya existente.

He estado dándole un repaso al concepto de bibliometría expuesto por Paul Otlet en su Tratado de Documentación. Comienza su exposición al respecto indicando la universalidad de la métrica en general y dice al respecto que:

En todo orden de conocimiento, la medida es una forma superior que toma el conocimiento. Se pueden constituir, en un conjunto coordinado, las medidas relativas al libro y al documento, la bibliometria.

y desea

Las cosas del libro no son apenas medidas, ni en su realidad objetiva y material ni en su realidad subjetiva e intelectual. Son deseables, pues, esfuerzos en este sentido.

Distingue finalmente tres tipos de medición aplicada a la bibliología. La primera de ellas, a la que llama Bibliometría, se ocupa más del análisis de la obra individual que del conjunto, y más desde un punto de vista lingüístico y tipográfico. Si bien define a la bibliometría como:

la parte definida de la bibliología que se ocupa de la medida o cantidad aplicada a los libros (aritmética o matemática bibliológica)

a continuación especifica:

Todos los elementos considerados por la bibliología son susceptibles en principio de medida y es preciso tender cada vez mása cubrir estos datos con la forma precisa de número a pasar del estado cualitativo o descriptivo al estado cuantitativo.

La medida del libro consiste en relacionar todas las partes y elementos de un libro cualquiera, con los de un libro tipo, standard o unidad. Este tipo debería ser el mejor de los libros.

Y entre las medidas que apunta, se encuentran la estilística o estilometría, la esticometría, las mediciones necesarias para la identificación de un incunable, el espacio que ocupa el contenido de una obra en distintas lenguas, la medida de los formatos, los tipos, el peso del papel y los precios unitarios, la frecuencia de lectura de un autor o de un libro, y lo que Otlet llama bibliosociometría, la medición del impacto intelectual de una obra sobre el individuo y la sociedad.

Después habla Otlet de la estadística del libro, y es precisamente en este apartado donde más se acerca al concepto actual de bibliometría. Y habla de ella en estos términos:

La estadística comienza a extenderse ahora a las tiradas, a la circulación del libro, a las bibliotecas, a la librería, a los precios, etc.

Y menciona en este apartado trabajos que estudian el número de obras sobre astronomía desde 1600, las obras de zoología desde 1700, menciona a Bradford y a Hulme, aunque también habla en el mismo apartado del peso del papel, del número de letras que contiene el Diccionario Larouse, del espacio cúbico ocupado por los libros en una biblioteca y del número de personas ocupadas en Alemania en las industrias del libro.

Por último y a modo de cajón de sastre habla de la mate-bibliología, que se referiría a todo lo que es la medida del libro (estadística del libro, bibliometría), es decir, si algo se ha escapado a su pluma sobre métricas bibliológicas, eso cabe dentro de la mate-bibliología, mencionando de manera especial la relación que los libros puedan tener con la economía.