Bibliometría

Ya está accesible el JCR 2007 (a pesar de mirarlo todos los días me he tenido que enterar por Esteve Fernández; gracias). España pasa de 30 a 35 revistas en Science Edition. Y de 2 a 8 en Social Science Edition. En Science Edition entran:

Y sale:

En Social Science Edition entran:

Enhorabuena a todas las entrantes.

Leyendo la más reciente de las aportaciones de ThinkEPI, escrita por Elea Giménez Toledo, El investigador y el editor ante la evaluación de revistas científicas, me quedo parado en el siguiente párrafo:

Creer o no creer

Esta es la disyuntiva que se produce hoy entre los investigadores. Concretamente, entre quienes defienden que toda la ciencia es internacional y que todas las revistas (buenas) son susceptibles de entrar en Web of Knowledge (WOS). En este caso, las que no están es porque no son suficientemente buenas. Y quienes defienden que una cosa es estar en WOS y otra ser una buena revista, es decir, hay revistas nacionales buenas que no tienen opción de entrar en WOS, por ejemplo, porque su área de conocimiento está suficientemente cubierta ya por otras revistas. Los que apoyan esta idea, apoyan también los sistemas de evaluación de revistas nacionales (RESH. DICE. IN RECS. MIAR. Latindex) como una manera de poner en valor las buenas revistas españolas que además pueden ser internacionales- pero que no están en WOS.

¿Y por qué me detengo en este párrafo? Porque la función primordial de una revista es la de divulgar los trabajos, los resultados de investigación, en ella publicados. ¿Y cual es el medio más efectivo para que un artículo sea visible ante la comunidad científica? Ya sé lo que estáis pensando y no, el medio más efectivo para que un artículo sea visible no es que sea de acceso abierto, eso es accesorio, el primer paso para que un artículo sea visible es que sea mencionado en el mayor número posible de bases de datos bibliográficas. Indudablemente que el artículo sea open access favorece su inclusión en repositorios y en definitiva permite su inclusión en bases de datos restringidas a este tipo de material, pero, y ésta creo que es una de las preguntas que uno debe hacerse, ¿dónde busca la comunidad científica su información bibliográfica? Hace poco leía la referencia a un trabajo en el que se proponía un índice de difusión internacional que trataba de medir la presencia de los artículos de determinadas revistas médicas en bases de datos internacionales (Amat, 1990).

Como inicio no está mal el índice, pero yo me plantearía realizar un trabajo (¿o ya se ha abordado este trabajo?) para averiguar, por especialidades, dónde buscan los investigadores y profesionales (en dos categorías separadas) la literatura que leen y en función del porcentaje de uso de las distintas fuentes procedería a estudiar la presencia de las revistas a evaluar mediante el uso de un índice de difusión ponderado por el porcentaje de uso de cada fuente. Si me apuran se pueden realizar dos trabajos de uso de fuentes, uno sobre una población nacional y otro sobre población internacional.

¿Y a cuento de qué venía todo esto? A cuento de que una revista será buena o buenísima, su editor tendrá abuela o no, pero si está en Web of Knowledge y en Scopus, si está en Medline, si está en Google Scholar, etc. tendrá más visibilidad que si no lo está, y en términos de calidad una revista tiene más calidad cuanto más visibles son sus artículos, cuanto más accesible es la información publicada ante la comunidad científica.

En esta avalancha de editoriales que está apareciendo últimamente en contra del factor de impacto, me pasa mi jefe otro más, en la misma línea que los editoriales del Rockefeller University Press o el número de Epidemiology que mencionaba recientemente, un editorial de la revista Journal of Child Neurology (Brumback, 2008) del que me ha llamado la atención el siguiente párrafo:

Journals have also been beguiled by impact factor values, often highlighting the number in flyers aimed at attracting subscribers and advertisers. Even the editor of the Journal of Child Neurology has courted the impact factor on 4 separate occasions (this brazen effort at self-citation in this editorial by the editor of the Journal of Child Neurology should aid the journal’s 2008 impact factor since one of the citations is to a 2006 publication [even though that 2006 publication will not appear in the denominator of the calculation, it should add to the numerator]).

¿No pensáis que hay detrás de estos editoriales cierta estrategia por obtener citas que contribuyan a incrementar el factor de impacto de la revista? (más aun en fechas próximas a la publicación del siguiente año del JCR ¿no es en junio cuando lo publican? Sí, pero acabo de consultarlo y aun aparece 2006 como el más reciente de todos).

Un reciente número de la revista Epidemiology dedica sus primeras páginas al factor de impacto (gracias por la alerta, Esteve). Entre las cosas que se cuentan poco de nuevo, casi todo lo criticado ya lo ha sido previamente. Sí me ha llamado la atención un párrafo del comentario de Moyses Szklo (Szklo, 2008):

The popularity of the impact factor as an index of quality probably results from the assumption that it is more difficult to have a paper accepted in a high than in a low-impact-factor journal, with the corollary that better papers are mostly accepted in the former.

y continúa citando un par de trabajos que así parecen corroborarlo (aunque en áreas muy concretas). Sin embargo, recuerdo haber leido en alguna parte, no en la que os muestro (Garfield, 1999), pero igual me vale, que:

Experience has shown that in each specialty the best journals are those in which it is most difficult to have an article accepted, and these are the journals that have a high impact factor. These journals existed long before the impact factor was devised. The use of impact factor as a measure of quality is widespread because it fits well with the opinion we have in each field of the best journals in our specialty.

Por tanto, y sin afirmar que todos los valores del factor de impacto se pueden tomar como índice de calidad, ¿podemos afirmar que las primeras posiciones por especialidad, lo que llamamos el primer cuartil, o el primer decir, las ocupan las revistas más prestigiosas de cada categoría? (y a continuación podemos ponernos a discutir sobre la incorrección de las categorías ISI). Y ¿Es más difícil colocar un artículo en estas revistas que en las revistas que aparecen en posiciones inferiores?

Por eso estoy tan ocupado que tengo abandonado este sitio. Llevo dos semanas y aun me queda otra ocupado con paneles de evaluación, así que he pensado que la mejor manera de retomar la actividad es hablando un poco sobre los paneles de evaluación.

Un panel de evaluación es un conjunto de evaluadores que reunidos (en panel) valoran de manera consensuada las propuestas asignadas (ya sean proyectos, becas, contratos, centros, infraestructuras, etc.). Frente a la evaluación individual de propuestas permite una mayor homogeneidad en la valoración y los casos complicados, aquellos que no se ajustan al resto de las propuestas, requieren el consenso de varios expertos para su aprobación o denegación. Por contra tiene un grado inferior de especialización y requiere la dedicación de todos los expertos en un mismo momento. Para que realmente funcione un panel debe estar dirigido por una persona que sepa marcar los tiempos, cortar las discusiones que no aportan valor (hay otras que si aportan valor, y mucho), y que sobre todo sepa trasmitir a los panelistas los criterios que deben regir la evaluación. Esto último es vital para conseguir una valoración homogénea de las propuestas.

Supongo que habrá multitud de formas de trabajar en panel. En los que yo he trabajado se comienza contando la convocatoria que articula la presentación de las propuestas. A continuación se explica la documentación que contiene cada propuesta o expediente destacando aquellos elementos de mayor importancia para la evaluación. De manera paralela se explica la hoja de evaluación, el documento en el que se van a recoger aquellos elementos susceptibles de valoración y de qué elementos de la propuesta se puede obtener la información necesaria para su valoración.

Previamente se elabora una hoja de criterios de evaluación que debe especificar todos los elementos a evaluar de manera clara y concisa y que debe ser fiel reflejo de la hoja de evaluación. Esta hoja de criterios debe indicar los rangos de valoración de cada elemento y aclarar qué elementos son valorales y cuales no. Este documento facilita la valoración homogénea de todas las propuestas (siempre que esté bien definido y sea suficientemente explicado).

Una vez realizadas todas las aclaraciones se asigna un número equitativo de propuestas a cada panelista, quien las valora de manera individual y tras dicha valoración individual comienza una rueda de intervenciones en las que cada panelista canta sus valoraciones e indica aquellas propuestas que requieren alguna aclaración. Generalmente tras esta primera ronda de intervenciones se descartan las propuestas peor valoradas (salvo aquellas que requieran una aclaración) y se comienzan a detallar de manera resumida las valoraciones de las propuestas mejor valoradas. En mi opinión, la labor más importante de un panel comienza tras esta ronda, cuando comienzan a discutirse aquellas propuestas que están en la zona media. Detectar las mejores y las peores propuestas no es excesivamente complicado. Lo realmente complejo es elaborar una lista priorizada de las propuestas situadas en la zona media. La discusión para posicionar en la lista estas candidaturas es lo que realmente aporta valor al panel frente a otros métodos de evaluación.

Son agotadores, requieren mucha atención, mano izquierda, discreción, agilidad, diligencia, rapidez, capacidad de adaptación… lo que os digo, agotadores.

¿Quieres saber algo más sobre los paneles de evaluación? ¡¡Pregunta, el consultorio está abierto!!

Entre el 16 y el 20 de junio se celebra en Santander, en el Palacio de la Magdalena, un interesantísimo curso titulado Getting the best from medical journals: reading, writing, peer reviewing, editing, and campaigning. El curso está dirigido por Richard Smith, ahora directivo de UnitedHealth Europe y durante muchos años editor y directivo de BMJ (os podeis hacer una idea de sus ideas sobre la ciencia y la edición con su editorial de despedida de BMJ: Travelling but never arriving: reflections of a retiring editor).

El curso está organizado por la Universidad Internacional Menéndez Pelayo en colaboración con la Escuela de Verano de Salud Pública de Menorca, será en inglés, but highly interactive, and fun. Me da pereza traducir, así que os pongo los contenidos del curso en inglés:

Aunque el programa tenga un enfoque inicialmente biomédico creo que puede ser interesante para revisores y miembros del equipo editorial de cualquier revista científica. Aunque en menor medida, también para lectores y autores. Si os interesa ayer comenzó el plazo de inscripción. Os repito el enlace:

Estos días me encuentro en plena efervescencia de la convocatoria de ayudas de la Acción Estratégica en Salud, así que puestos a contaros algo va a tener que ser sobre esto, porque tampoco tengo tiempo de estar al día con otras cosas (ni para desayunar con los amigos tengo tiempo).

La semana pasada uno de los evaluadores me pidió que le diera una vuelta a los curricula de los investigadores solicitantes para estudiar la posibilidad de calcularles el índice h. Finalmente hemos descartado la posibilidad para este año por varias razones que expondré a continuación, aunque no descartamos su uso, de manera experimental, para futuras convocatorias. Su uso, desde luego, pasaría por solicitarles a ellos que nos remitan su índice h calculado y que nosotros realicemos las comprobaciones de verificación oportunas o que nos proporcionen un curriculum completo (con todas sus publicaciones, desde el principio de los tiempos hasta hoy) para que nosotros se lo calculemos partiendo de las publicaciones explicitadas.

Las razones para no realizar el cálculo son varias:

Conclusión: este año los evaluadores no podrán apoyarse en este indicador (como uno más de los muchos que se usan). Ya veremos el que viene por dónde estamos y si podremos o no abordar el experimento.

Buscando a otros autores me reencuentro con un artículo de Camí del que extraigo la información sobre el origen y definición del término impactolatría (Camí, 1997). La definición:

[…] culto o adoración incontinente al FI [factor de impacto] como si se tratara de la panacea de la evaluación en ciencia. La impactolatría conlleva una práctica simplista en la que se presupone que el FI de la revista de publicación es indicativo de la calidad o importancia de una investigación científica concreta y, por extensión, de los autores de ésta.

La autoría se la atribuye Camí a Eduardo Rodríguez Farré, de quien dice haber tomado prestada la palabra y a quien califica de científico perspicaz y gran conocedor del sistema ciencia-tecnología, al que debemos ésta y otras ocurrencias.

Son curiosas estas coincidencias. Me topo con el artículo en estos días en los que se habla de la fuga de material radiactivo en Ascó. Eduardo Rodríguez Farré es, además de conocedor del sistema ciencia-tecnología, un experto que siempre se ha declarado en contra del uso de este tipo de energía.

El jueves pasado asistí a la Jornada Retos actuales en la publicación biomédica. En realidad no era más que la mera excusa para presentar y distribuir entre los asistentes la guía Cómo publicar en nature y en las revistas de nature publishing group. No repartieron bolígrafos ni carpetas y yo, que venía con lo puesto (y el libro que me estoy leyendo ahora), no pude tomar notas de todo lo expuesto en la jornada, así que en esta ocasión seré más breve que en anteriores crónicas.

Tras las presentaciones formales a cargo de Carlos Martínez-Alonso, Presidente del CSIC, Flora de Pablo, Directora del Instituto de Salud Carlos III (y por tanto mi jefa), Fernando Peláez, Director del Centro de Investigación Básica de España (CIBE) de Merck Sharp & Dohme (MSD), y Lucía Ferreirós, Directora General de Nature Publishing Group Iberoamérica, los patrocinadores del evento, arrancó la jornada Jordi Camí, quien nos habló sobre La responsabilidad de los científicos ante los nuevos paradigmas de la ciencia del siglo XXI. De su presentación me impactó una gráfica en la que se mostraba la distribución de autores por artículo y su evolución con el paso del tiempo (muestra cómo, de forma acusada, se va reduciendo el número de obras individuales y la ciencia va siendo cada vez más una empresa colaborativa, social). Habló también del Código de buenas prácticas científicas, del compromiso ético de los científicos, del impacto mediático de su trabajo, de la imagen social del científico. Lástima que al final le metieran prisa para acabar a tiempo. Muy interesante.

Después vino la presentación de la guía (a la que no tuve acceso hasta el final del acto y que hasta ahora no he abierto) a cargo de la anteriormente mencionada Lucía Ferreirós. La guía se divide en dos partes. Una primera parte explica cómo escribir un artículo científico y cómo hacerlo para una revista del grupo, la tipología de artículos, el modo de presentación de las contribuciones y el proceso y la política editorial. La segunda parte recopila un buen número de editoriales traducidos al español y que versan sobre temas muy interesantes (me interesan mucho) como la declaración de conflictos de interés, la manipulación de datos, el fraude en ciencia, etc.

A partir de aquí fue más interesante de qué no hablaron los que intervinieron. Juan Carlos López, Director de la revista Nature Medicine habló sobre los Mitos y realidades sobre cómo publicar en Nature. De su intervención me llamaron la atención dos datos: reciben 10.000 manuscritos al año, de los que únicamente publican unos 900 y, si permitieran pagar a los autores para permitir el acceso gratuito a su artículo, la broma les saldría por unos 15.000 dólares por artículo. Me llamó la atención la prepotencia yankee de su discurso. Me explico: desde la posición del más fuerte en el negocio, le da igual si a alguien le parece mal o bien el factor de impacto, le preocupa poco o nada la polémica sobre el Open Access, le da igual si a alguien le parece cara su revista y ante el dilema de que pueda rechazar un artículo clave para el avance de la ciencia mostró una tranquilidad absoluta (si a mí se me escapa, seguro que acaba en otra revista -como la mayoría de lo que rechazan-).

La siguiente intervención fue de Félix de Moya quien, a pesar de que el título de su intervención era Análisis bibliométrico del impacto de la producción científica, dedicó su esfuerzo a explicar los problemas que se le atribuyen al factor de impacto y a explicar su alternativa, el SCImago Journal & Country Rank. Desgraciadamente el tiempo también se le echó encima a él y no acabó de explicar con la profundidad que muchos esperaban las posibilidades de esta herramienta.

Culminó la Jornada con una mesa redonda en la que intervinieron Fernando Alonso, Editor Jefe de la Revista Española de Cardiología, Ángela Nieto, miembro del comité de publicaciones de EMBO y Rafael Gabriel, editor de la edición española de Evidence Based Medicine. El primero habló de los objetivos alcanzados por su revista y los retos de cara al futuro. La segunda habló, entre otras cosas, de las facilidades que nos ofrece la tecnología para vigilar y evitar los fraudes científicos y para mejorar la información ofrecida en nuestras publicaciones. El tercero y último trató de desmontar la impactolatría dominante en ciencia con un ejemplo de una investigadora clínica que quería que su investigación fuera publicada en una revista de impacto para poder acceder a una plaza y cómo él demostraba que lo realmente importante no era publicar en una revista con factor de impacto, era que sus compañeros de profesión adquirieran el conocimiento que ella aportaba y que esto se conseguía por otros medios. Hubo a quien convenció el discurso. A mí no del todo; no explicó si, después de hacerle caso, conseguía la plaza o no se la daban por no tener publicaciones de impacto.

Y lo mejor vino después, cuando pude hablar con varios asistentes (Juan Manuel, Andrés, Tono) de temas relacionados con el mundo de la edición científica. Os dejo con un cutre vídeo que he encontrado sobre la jornada:

Hace unos cuantos meses que sigo y unas cuantas semanas que enlazo a un estupendo blog:

La Biología Estupenda

Se trata de un blog científico-humorístico de lo más serio que parte de una idea bastante original: hablar de esa ciencia poco recompensada que aparece en los medios de comunicación casi como el chiste diario que hay que incluir porque es lo tradicional. El nombre del blog parte de una frase aparecida en un artículo de Arturo Pérez Reverte: La ciencia -bombas atómicas y doctor Mengele aparte- es sin duda fuente de innumerables bienes para la Humanidad doliente; pero también, cuando se pone estupenda, termina convirtiéndose en una incómoda mosca cojonera. En resumidas cuentas nos hace reseñas con su puntito de humor de artículos científicos que no sabe uno si tomarse en serio o en broma. Pues eso, un blog estupendo.