Improving, proving, pobre proving
Álvaro Roldán López13 January 2009
Bueno, parece que al fin he dado con un artículo realmente pertinente para mi trabajo. Atención al título: Improving the Peer-Review Process for Grant Applications (Marsh, 2008). La cosa promete. Enciendo en mi mesa de trabajo el dichoso flexo que últimamente parece que logra mantenerse firme a una altura razonable; escojo un boligrafo adecuado para subrayar las frases destacables y después de tanto preparativo me encuentro con otro artículo que no hace más que constatar mi opinión ya expresada en Peer review puro y sucedáneo.
El artículo trata de evaluar la calidad de las evaluaciones, si está mejor evaluado un proyecto por dos expertos o por seis, si los investigadores de ciencias sociales son menos rigurosos que los físicos y los biólogos, si es más riguroso un evaluador escogido por el solicitante que uno seleccionado por el panel de expertos, si evalúan mejor los australianos que los austríacos, si evalúa mejor un experto al que se le envía un proyecto que aquel que recibe diez propuestas para su revisión… Después de toda una exposición de indicadores, de métodos de evaluación, etcétera, después de tanta palabra culminan el artículo diciendo algo así como que hay una importante limitación en el estudio y es que no existe ningún valor externo frente al que comparar las bondades de su evaluación y que el mejor valor con el que comparar era la decisión final del panel (el mismo panel que había elegido además a los expertos). Reconocen que sería necesario dar con un indicador externo que permitiera validar la decisión final del panel, pero por más que lo han buscado se ve que no han dado con él.
Pensando sobre este tema sólo se me ocurre una forma de estudiar la efectividad de un sistema de evaluación de este tipo y es totalmente inviable (salvo que algún mecenas no público se ofrezca a ello). La única manera que se me ocurre es realizando toda la evaluación y tras grabar concienzudamente los resultados de la evaluación, pasarse estos por el arco del triunfo y financiar tanto lo favorable como lo deplorable sin recortes presupuestarios de ningún tipo. Finalizados los proyectos se valorarían los resultados de los proyectos obtenidos en forma de publicaciones e indirectamente la precisión prospectiva que en su día tuvo la evaluación. Como veis del todo inviable. ¿Se os ocurre otra forma de improving, proving?