Panel de evaluación
Álvaro Roldán21 Mayo 2008
Por eso estoy tan ocupado que tengo abandonado este sitio. Llevo dos semanas y aun me queda otra ocupado con paneles de evaluación, así que he pensado que la mejor manera de retomar la actividad es hablando un poco sobre los paneles de evaluación.
Un panel de evaluación es un conjunto de evaluadores que reunidos (en panel) valoran de manera consensuada las propuestas asignadas (ya sean proyectos, becas, contratos, centros, infraestructuras, etc.). Frente a la evaluación individual de propuestas permite una mayor homogeneidad en la valoración y los casos complicados, aquellos que no se ajustan al resto de las propuestas, requieren el consenso de varios expertos para su aprobación o denegación. Por contra tiene un grado inferior de especialización y requiere la dedicación de todos los expertos en un mismo momento. Para que realmente funcione un panel debe estar dirigido por una persona que sepa marcar los tiempos, cortar las discusiones que no aportan valor (hay otras que si aportan valor, y mucho), y que sobre todo sepa trasmitir a los panelistas los criterios que deben regir la evaluación. Esto último es vital para conseguir una valoración homogénea de las propuestas.
Supongo que habrá multitud de formas de trabajar en panel. En los que yo he trabajado se comienza contando la convocatoria que articula la presentación de las propuestas. A continuación se explica la documentación que contiene cada propuesta o expediente destacando aquellos elementos de mayor importancia para la evaluación. De manera paralela se explica la hoja de evaluación, el documento en el que se van a recoger aquellos elementos susceptibles de valoración y de qué elementos de la propuesta se puede obtener la información necesaria para su valoración.
Previamente se elabora una hoja de criterios de evaluación que debe especificar todos los elementos a evaluar de manera clara y concisa y que debe ser fiel reflejo de la hoja de evaluación. Esta hoja de criterios debe indicar los rangos de valoración de cada elemento y aclarar qué elementos son valorales y cuales no. Este documento facilita la valoración homogénea de todas las propuestas (siempre que esté bien definido y sea suficientemente explicado).
Una vez realizadas todas las aclaraciones se asigna un número equitativo de propuestas a cada panelista, quien las valora de manera individual y tras dicha valoración individual comienza una rueda de intervenciones en las que cada panelista canta sus valoraciones e indica aquellas propuestas que requieren alguna aclaración. Generalmente tras esta primera ronda de intervenciones se descartan las propuestas peor valoradas (salvo aquellas que requieran una aclaración) y se comienzan a detallar de manera resumida las valoraciones de las propuestas mejor valoradas. En mi opinión, la labor más importante de un panel comienza tras esta ronda, cuando comienzan a discutirse aquellas propuestas que están en la zona media. Detectar las mejores y las peores propuestas no es excesivamente complicado. Lo realmente complejo es elaborar una lista priorizada de las propuestas situadas en la zona media. La discusión para posicionar en la lista estas candidaturas es lo que realmente aporta valor al panel frente a otros métodos de evaluación.
Son agotadores, requieren mucha atención, mano izquierda, discreción, agilidad, diligencia, rapidez, capacidad de adaptación… lo que os digo, agotadores.
¿Quieres saber algo más sobre los paneles de evaluación? ¡¡Pregunta, el consultorio está abierto!!
No conocía mucho este tema, gracias. Una pregunta que puedes obviar si lo crees prudente: el ambiente es sano o se mezclan intereses mas o menos velados con los que hay que lidiar con tacto?
Autor: javier leivaEl ambiente suele ser sano, pero además en este mundo todos se conocen, y cuando alguno hace una crítica poco sustentada en argumentos científicos, rápidamente el resto capta que es una propuesta de un grupo rival y contrapone argumentos de peso a favor. En general no suelen aflorar rivalidades y las pocas que se pueden entrever son de un solo miembro del panel y éste tiene que ofrecer argumentos de peso frente al resto de los panelistas. Por contra, los conflictos de interés más claros, las propuestas del propio grupo de investigación, del marido o la mujer, este tipo de propuestas se saca del panel y se ve en un panel de conflictos de interes, compuesto por otros miembros (ninguno implicado en las propuestas).
Autor: Álvaro Roldán LópezComo debe ser, entonces. Perfecto, gracias de nuevo.
Autor: javierÁlvaro
Yo estoy también en época de evaluación de proyectos. Buuuuffff! A veces me siento culpable de no poder hacerlo más pormenorizadamente. Y por otra parte, los cuestionarios están muy sesgados hacía valorar la productividad del grupo, muy por encima de la validez e interés de la propuesta. De tal manera que solicitudes con nulo interés (porque, por ejemplo, sean repeticiones con pequeñas variaciones de algo ya hecho) pueden salir con una puntuación elevada por el CV de los solicitantes. Es bueno que haya al final paneles como en el que tú estás participando, en el que imagino que ese tipo de cosas aflorará (espero)
Saludos y que te sea leve.
Autor: OrgesPor eso es tan importante diseñar unos criterios de evaluación. Esos criterios de evaluación deben contener las valoraciones que favorezcan unas puntuaciones u otras dependiendo del tipo de propuesta que se trate. Por ejemplo, en el caso de ayudas predoctorales el grupo de destino tiene mucho peso y el candidato muy poco; en el caso de las ayudas posdoctorales el candidato ya tiene más peso y el grupo de destino algo menos.
Autor: Álvaro Roldán López