La revisión por pares: Algunas observaciones

Aprovechando la nueva apariencia de la Revista Española de Documentación Científica, he reimprimido un artículo que en su día me interesó bastante (Campanario, 2002). De él extraigo algunas observaciones interesantes:

Sobre la selección de expertos:

Hamermesh estudió los procesos de selección de referees por parte de los editores de 7 revistas de economía y observó que casi el 12% de los mismos pertenecían al mismo departamento universitario que sus colegas editores (en una revista la proporción sobrepasó el 30%)

Otra interesante observación (que yo también constato a diario en mi trabajo como gestor del proceso de evaluación de proyectos de investigación) es que:

en un estudio sobre la calidad de 1.600 revisiones realizadas para el Journal of Clinical Investigation, se comprobó que la proporción de revisiones de baja calidad era mayor en el grupo de los revisores de alto estatus, mientras que los referees de menor estatus eran los que proporcionaban la mayor parte de las revisiones calificadas como de alta calidad

Sobre la labor de los expertos revisores hay unas cuantas observaciones que me han parecido interesantes (y ciertas):

Os recomiendo además una atenta lectura del apartado Fiabilidad y validez de la revisión por expertos. Es de los apartados que más interesantes me parecen del artículo, así que no os lo reproduzco, leedlo.

Habla además el artículo del problema del archivador (del que pienso tirar del hilo), de la replicación de los estudios, del sesgo nacional en las publicaciones, del efecto mateo en la toma de decisiones de revisores y editores, colegios invisibles, alternativas al sistema de revisión por pares, metajournal (concepto al que no acabo de verle utilidad).

En definitiva, un artículo muy recomendable para todo aquel que tiene que ver con el mundo de la evaluación cualitativa, ya sea para la evaluación en revistas o, como es mi caso, para la evaluación de proyectos de investigación.