Bibliometría

A lo largo de este mes de ausencia casi absoluta he estado presente en tres paneles de evaluación. Durante y tras ellos le he estado dando vueltas mentales al proceso de evaluación por pares y soy más consciente que nunca de la existencia de una revisión por pares pura y una sucedánea. Cuando unos expertos evalúan un artículo científico el proceder parece bastante claro (incluso teniendo en cuenta todos los matices que puedan intervenir en el proceso). En este caso podemos hablar de revisión pura.

Pero en el caso de la evaluación de proyectos de investigación o de trayectorias científicas, el proceso ya no es tan claro, porque no se trata de una ciencia exacta (permítanme la expresión). Se pueden valorar, o no, las publicaciones previas, los proyectos de investigación ya financiados, los centros de trabajo, los premios, las calificaciones académicas. Y todo o parte podrá valorarse más o menos. En cualquier caso, la valoración será una valoración de aproximación, una evaluación sucedánea. Sucedánea en el sentido de tratar de parecerse y dar la etiqueta de calidad que se puede obtener en una evaluación pura, pero sin llegar a estar seguro de ello y, por lo que estoy escribiendo ahora, teniendo que hacer uso de herramientas ajenas a la rigurosa especialidad científica del experto.

Las herramientas ajenas a la especialidad difieren de un proceso evaluador a otro. En unos casos son homogéneos y explícitos y en otros no tanto. En todos los casos el objetivo es seleccionar a los candidatos más adecuados para alcanzar el éxito científico, aunque algunos candidatos pueden estar o no entre ellos dependiendo de los criterios que se adopten y de las herramientas que se utilicen.

Y por pensar en estas cosas comienzo a dudar de la rigurosidad y acierto de dos trabajos leidos con interés en su momento (Bornmann, 2005 y Van Raan, 2005). Aunque sus autores explicaran con detenimiento el proceso de evaluación por pares con el que comparan los indicadores bibliométricos, cosa que además no hacen, no valdría la comparación en un sentido universal, porque no existe un procedimiento estandarizado de evaluación por pares en este tipo de evaluaciones. Otra cosa sería comparar distintos indicadores bibliométricos con el proceso de revisión por pares de un conjunto de artículos científicos, pero este tipo de evaluaciones son inaccesibles para los bibliómetras. ¿O conocéis algún trabajo que compare lo que aquí he llamado yo peer review puro con indicadores bibliométricos?.

A pesar de todo lo dicho, el conocimiento del entorno investigador de estos expertos creo que permite siempre la selección de los mejores candidatos con la salvedad de alguna pequeña injusticia. Emilio Delgado suele decir que detectar la excelencia y la mediocridad es bastante fácil. La dificultad se encuentra en la zona gris que queda entre ambas. (Aunque las palabras no sean fieles, la idea viene a ser esa) Corrígeme, Emilio, si no es correcta la atribución. Las evaluaciones bibliométricas y las evaluaciones por pares siempre corren el riesgo de cometer alguna pequeña injusticia en esas zonas grises. Siempre que sean pequeñas serán asumibles e incluso puede que subsanables. Pero cuando no lo son uno no puede olvidar que detrás de las propuestas hay personas y que son ellas las que padecen las injusticias.

Publicado el Monday, 29 September 2008. Puede seguir los comentarios de esta anotación a través de RSS 2.0. Comentar. Trackback.