La semana pasada uno de los evaluadores me pidió que le diera una vuelta a los curricula de los investigadores solicitantes para estudiar la posibilidad de calcularles el índice h. Finalmente hemos descartado la posibilidad para este año por varias razones que expondré a continuación, aunque no descartamos su uso, de manera experimental, para futuras convocatorias. Su uso, desde luego, pasaría por solicitarles a ellos que nos remitan su índice h calculado y que nosotros realicemos las comprobaciones de verificación oportunas o que nos proporcionen un curriculum completo (con todas sus publicaciones, desde el principio de los tiempos hasta hoy) para que nosotros se lo calculemos partiendo de las publicaciones explicitadas.

Las razones para no realizar el cálculo son varias:

Conclusión: este año los evaluadores no podrán apoyarse en este indicador (como uno más de los muchos que se usan). Ya veremos el que viene por dónde estamos y si podremos o no abordar el experimento.

[…] culto o adoración incontinente al FI [factor de impacto] como si se tratara de la panacea de la evaluación en ciencia. La impactolatría conlleva una práctica simplista en la que se presupone que el FI de la revista de publicación es indicativo de la calidad o importancia de una investigación científica concreta y, por extensión, de los autores de ésta.

La autoría se la atribuye Camí a Eduardo Rodríguez Farré, de quien dice haber tomado prestada la palabra y a quien califica de científico perspicaz y gran conocedor del sistema ciencia-tecnología, al que debemos ésta y otras ocurrencias.

Son curiosas estas coincidencias. Me topo con el artículo en estos días en los que se habla de la fuga de material radiactivo en Ascó. Eduardo Rodríguez Farré es, además de conocedor del sistema ciencia-tecnología, un experto que siempre se ha declarado en contra del uso de este tipo de energía.

En ella Tempest afirma que el éxito del factor de impacto se debe en gran medida a que a la gente le encanta reducirlo todo a un número (lo mismo le pasa con el índice h) y cuenta algún ejemplo de uso indebido del factor de impacto como indicador para evaluar a los investigadores de manera individual aunque a continuación se felicita por el uso cada vez más persistente del índice h para realizar este tipo de evaluación (señala, eso sí, que hay quien interpreta los indicadores de manera equivocada y desconoce las limitaciones que todo indicador tiene). Luego asegura que Elsevier no trata de manipular sus factores de impacto, que nunca han colaborado con los directores de las revistas para incrementar estos valores. La mejor forma de aumentar el factor de impacto de sus revistas es publicando los mejores artículos.

Me encanta cuando cuenta que hay gente del gremio que espera la fecha en que se publican los factores de impacto (junio) con mayor expectación que la llegada de las Navidades. Y después se dialoga sobre las prácticas habituales para aumentar el factor de impacto:

Pero esto es mi resumen, igual os interesa leerlo entero (arriba teneis el enlace).

Me sé de alguno al que le puede venir bien para su tesis.

Una de las explicaciones dadas es que las referencias de un trabajo interesante para un investigador pueden ser el punto de partida de una búsqueda bibliográfica, y en este sentido las autocitas favorecen la visibilidad de los trabajos del autor (de la misma manera que favorece la visibilidad de los trabajos ajenos que aparecen en la misma bibliografía).

Y si las autocitas aumentan las citas ajenas, aunque quitemos las autocitas, los trabajos de dicho autor se verán favorecidas por las citas ajenas generadas como consecuencia del aumento de visibilidad. Y ahora la cuestión es ¿quitamos las autocitas? ¿restamos 3,65 citas por cada autocita? ¿Mantenemos todas las citas y tratamos de dilucidar con la ayuda de expertos qué citas tienen sentido y qué otras tienen intención?

[…] los indicadores bibliométricos son primariamente datos numéricos sobre fenómenos sociales de la actividad científica relativos a la producción, transmisión y consumo de la información en el seno de comunidades determinadas. En modo alguno pueden considerarse como mediciones de importancia y menos de calidad, y su utilización está condicionada en las evaluaciones por contextos siempre muy complejos de los fenómenos sociales a los que cada uno de ellos se refiere.

Está expresado de una manera más farragosa, pero viene a abundar en la misma idea. Esto para abrir boca. Los artículos completos están accesibles y os recomiendo su lectura.

Cualquier intento de definir a través del método objetivo bibliométrico, la calidad científica de un trabajo, carecería de sentido, pues la valoración de aquella tendrá siempre un caracter subjetivo y, por tanto, no científico en sentido estricto.

(Ferreiro, 1986 y 1984a y b)

Más recientemente ha aparecido el índice h, un indicador que ha tenido mucha repercusión (hasta el momento he contado más de 90 citas al trabajo de Hirsch) y al que ya le están poniendo unos cuantos peros: al igual que el factor de impacto, es inadecuado para comparar científicos de diferentes áreas científicas, favorece a los veteranos frente a los jóvenes investigadores, no tiene en cuenta la calidad de las revistas de publicación, la conveniencia o no de incluir las autocitas, favorece a los autores extensivos frente a los intensivos (Costas, 2007), no es tan bueno como el Crown indicator…

Todo esto es cierto. Probablemente haya mejores indicadores para evaluar las revistas y para evaluar a los investigadores, y muchos indicadores retratarán mejor a estos que un único indicador. Pero difícil será que encontremos indicadores tan fáciles de calcular. ¿Alguien es capaz de calcularme en una horita que tenga libre el SJR o el Eigenfactor de una revista no indizada por Scopus o Web of Knowledge respectivamente? ¿Alguien me puede calcular el índice g o el índice AR o el Crown indicator de 20 investigadores con la misma rapidez que el índice h? No es necesario que contestéis, ya os contesto yo: no es tan fácil. Y ese es el atractivo que comparten estos dos indicadores, los podemos calcular nosotros con relativa facilidad y lo que es tan importante o más que lo anterior, podemos comprobar que nos lo calculan bien.

Hace unas semanas la revista The Journal of Cell Biology publicó un editorial titulado Show me the data en el que denunciaba inconsistencias en el factor de impacto calculado por Thomson Scientific.

Acabo de ver que este editorial ya tiene una respuesta por parte de Thomson Scientific. En Thomson Scientific Corrects Inaccuracies in Editorial la empresa contesta a las acusaciones realizadas por el editorial.

En mi opinión ninguno posee la verdad, pero algo de ella hay en las dos partes. ¿Alguno de vosotros se decanta más por una de las opiniones? ¿por cual?

Actualización: Según me informa Esteve Fernández, los autores del editorial Show me the data vuelven a la carga (aunque de forma más breve) en Irreproducible results: a response to Thomson Scientific. En esta ocasión lo publican en The Journal of Experimental Medicine. ¿No estarán repartiéndose las citas para futuros factores de impacto?

El SJR será por tanto la competencia al factor de impacto. Aunque presenta diferencias en el cálculo, a nadie se le escapa la intención del indicador. Ahora vendrá la avalancha de estudios comparando a uno y otro, los numeradores y denominadores, la ventana de citación, el recuerdo al prestige factor, la antigüedad de un indicador y otro, los posibles errores de cálculo que se descubran… Da para un montón de artículos. Intentaremos tenerlos controlados. Mientras tanto podeis ir probando las posibilidades de esta base de datos:

SCImago Journal & Country Rank.