El curso está organizado por la Universidad Internacional Menéndez Pelayo en colaboración con la Escuela de Verano de Salud Pública de Menorca, será en inglés, but highly interactive, and fun. Me da pereza traducir, así que os pongo los contenidos del curso en inglés:

Aunque el programa tenga un enfoque inicialmente biomédico creo que puede ser interesante para revisores y miembros del equipo editorial de cualquier revista científica. Aunque en menor medida, también para lectores y autores. Si os interesa ayer comenzó el plazo de inscripción. Os repito el enlace:

La semana pasada uno de los evaluadores me pidió que le diera una vuelta a los curricula de los investigadores solicitantes para estudiar la posibilidad de calcularles el índice h. Finalmente hemos descartado la posibilidad para este año por varias razones que expondré a continuación, aunque no descartamos su uso, de manera experimental, para futuras convocatorias. Su uso, desde luego, pasaría por solicitarles a ellos que nos remitan su índice h calculado y que nosotros realicemos las comprobaciones de verificación oportunas o que nos proporcionen un curriculum completo (con todas sus publicaciones, desde el principio de los tiempos hasta hoy) para que nosotros se lo calculemos partiendo de las publicaciones explicitadas.

Las razones para no realizar el cálculo son varias:

Conclusión: este año los evaluadores no podrán apoyarse en este indicador (como uno más de los muchos que se usan). Ya veremos el que viene por dónde estamos y si podremos o no abordar el experimento.

[…] los indicadores bibliométricos son primariamente datos numéricos sobre fenómenos sociales de la actividad científica relativos a la producción, transmisión y consumo de la información en el seno de comunidades determinadas. En modo alguno pueden considerarse como mediciones de importancia y menos de calidad, y su utilización está condicionada en las evaluaciones por contextos siempre muy complejos de los fenómenos sociales a los que cada uno de ellos se refiere.

Está expresado de una manera más farragosa, pero viene a abundar en la misma idea. Esto para abrir boca. Los artículos completos están accesibles y os recomiendo su lectura.

Cualquier intento de definir a través del método objetivo bibliométrico, la calidad científica de un trabajo, carecería de sentido, pues la valoración de aquella tendrá siempre un caracter subjetivo y, por tanto, no científico en sentido estricto.

(Ferreiro, 1986 y 1984a y b)

Ventajas:

Inconvenientes:

¿Creeis que faltan o sobran ventajas o inconvenientes en esta lista?

Sobre la selección de expertos:

Hamermesh estudió los procesos de selección de referees por parte de los editores de 7 revistas de economía y observó que casi el 12% de los mismos pertenecían al mismo departamento universitario que sus colegas editores (en una revista la proporción sobrepasó el 30%)

Otra interesante observación (que yo también constato a diario en mi trabajo como gestor del proceso de evaluación de proyectos de investigación) es que:

en un estudio sobre la calidad de 1.600 revisiones realizadas para el Journal of Clinical Investigation, se comprobó que la proporción de revisiones de baja calidad era mayor en el grupo de los revisores de alto estatus, mientras que los referees de menor estatus eran los que proporcionaban la mayor parte de las revisiones calificadas como de alta calidad

Sobre la labor de los expertos revisores hay unas cuantas observaciones que me han parecido interesantes (y ciertas):

Os recomiendo además una atenta lectura del apartado Fiabilidad y validez de la revisión por expertos. Es de los apartados que más interesantes me parecen del artículo, así que no os lo reproduzco, leedlo.

Habla además el artículo del problema del archivador (del que pienso tirar del hilo), de la replicación de los estudios, del sesgo nacional en las publicaciones, del efecto mateo en la toma de decisiones de revisores y editores, colegios invisibles, alternativas al sistema de revisión por pares, metajournal (concepto al que no acabo de verle utilidad).

En definitiva, un artículo muy recomendable para todo aquel que tiene que ver con el mundo de la evaluación cualitativa, ya sea para la evaluación en revistas o, como es mi caso, para la evaluación de proyectos de investigación.

Citando de nuevo a Winston Churchill, “nunca tantos (investigadores) debieron tanto a tan pocos (funcionarios y personal contratado por el FIS)”. El personal es escaso e insuficiente, los medios técnicos son los justos, y sólo se suplen las deficiencias y las limitaciones con el esfuerzo,
dedicación, profesionalidad y extraordinaria competencia y trato amable de los técnicos y administrativos del FIS. Agencias similares que gestionan la investigación biomédica en países de igual magnitud y presupuesto dedicado a I+D+I en biomedicina que España, tienen una dotación de medios humanos y técnicos muy superior, lo que no hace sino resaltar la extraordinaria eficiencia en el uso de nuestros recursos. Además, los profesionales del FIS se llevan directamente la mayoría de quejas (con razón o sin ella, pero en ocasiones inaceptables, ya no sólo en el fondo si no en la forma) de algunos investigadores o gestores de la investigación, que antes que reconocer sus propios errores todavía hoy pueden recurrir al típico y tópico Ud. no sabe con quién está hablando.

Desgraciadamente el artículo es de pago.

Trilla, Antoni. El proceso formal de evaluación de proyectos de investigación en el Fondo de Investigación Sanitaria. En: Enfermería Clínica. v. 17, n. 1, p. 32-36 (2007). [Consulta: 19 de febrero de 2007].

Viene a decir que mientras unos evaluadores son constructivos y aportan consejos de valor a los autores de los artículos, hay otros que realizan evaluaciones destructivas, malas y dañinas. Y este daño se hace bajo el escudo protector del anonimato. Ante esta situación Alon plantea aprovechar las posibilidades de un entorno online para detectar a estos malintencionados revisores. Se puede preguntar a los autores por la satisfacción de la evaluación y la suma de todos estos cuestionarios puede servir a los responsables de la revista para evaluar la actividad de los pares y su buen o mal hacer.

Si a los resultados de esta encuesta le unimos un análisis de las evaluaciones podemos detectar a los evaluadores destructivos, aunque la pregunta sería ¿qué revista tiene un equipo lo suficientemente amplio como para hacer este tipo de análisis?