Curso Métodos y técnicas para la evaluación de la investigación biomédica

Durante los días 18, 19 y 20 de junio he asistido al curso Métodos y técnicas para la evaluación de la investigación biomédica, organizado por la Agencia Lain Entralgo y coordinado por Antonio García Romero. Os puedo asegurar que ha sido el curso de evaluación más interesante al que haya asistido; tanto que, sin haber asistido, estoy seguro de que el curso de Evaluación del impacto social, económico y político de la investigación biomédica será tan interesante o más que este.

El día 18 Antonio García Romero nos introdujo en el mundo de la evaluación exponiendo los Fundamentos de la evaluación de la investigación biomédica. De esta intervención resalto la utilidad de la evaluación para minimizar la incertidumbre (la evaluación como ejercicio que nos obliga a informarnos; cuanta más información se obtiene menor incertidumbre existe de cara a la toma de decisiones). A continuación nos expuso una pequeña cronología de los grandes hitos de la historia de la evaluación: la aparición de la evaluación por pares en el Philosophical Transactions (que no es la primera sino la segunda revista científica más antigua del mundo tras el Journal des sçavans) en 1665, Vannevar Bush y su modelo lineal, Eugene Garfield y su índice de citas, los trabajos de Robert K. Merton, la confluencia en los años 70 de tres factores (incremento exponencial del número de investigadores, aumento del coste de las investigaciones y restricción presupuestaria fruto de la crisis del petroleo) que favorecen los procesos evaluativos y el uso el ellos de indicadores bibliométricos. Cerró la presentación contándonos qué, porqué, cómo y quién debe evaluar y nos recordó la existencia del fraude científico en sus múltiples facetas.

Victoria Ley, como directora de la ANEP, nos habló de los Métodos cualitativos de evaluación: la revisión por pares (peer review). Nos introdujo en este tipo de evaluaciones hablándonos de la ANEP como agencia de evaluación y reconociendo la escasa atención que hasta ahora se ha prestado al análisis y prospectiva de la ciencia en esta institución. Nos anunció que la situación al respecto va a cambiar de manera significativa a partir de enero de 2008 con la creación de la nueva Agencia Estatal de Evaluación, Financiación y Prospectiva de la Investigación Científica y Técnica. Personalmente me interesó de manera muy especial el final de su exposición, en la que habló de la evaluación de los evaluadores y dio consejos para elaborar mejores proyectos con vistas a ser evaluados de manera más positiva.

El 19 nos encontramos con Emilio Muñoz Explorando la Caja Negra: evaluación en compañía de los actores del proceso de la investigación. Como profesor emérito del CSIC nos demostró que se puede hacer una presentación interesante sin necesidad de apoyo informático de ningún tipo. En su intervención nos contó la experiencia que él lideró en los años 90 para evaluar la actividad del FIS como programa de I+D. Se abordó una evaluación bibliométrica (a cargo de Jordi Camí) y la evaluación del FIS por parte de los usuarios y de los gerentes de los hospitales. Esta fue la primera iniciativa en España que se atrevió a evaluar un programa de I+D, algo como lo que ahora ha emprendido el SISE. De su evaluación se desprendía que el FIS había conseguido promover la investigación en los hospitales aunque no había logrado apoyar de manera suficiente a los investigadores jóvenes ni a las regiones menos favorecidas. Lo peor valorado fue el intento de conectar la investigación con los problemas de salud.

Para cerrar el día Jordi Camí intervino con tres presentaciones dedicadas a Métodos cuantitativos de evaluación. El mapa bibliométrico de investigación biomédica. Primero nos habló de las limitaciones de los indicadores bibliométricos (uso de fuentes bibliográficas, clasificación del ISI, factor de impacto, nombre bibliográfico, índice h de Hirsch, las bondades de la competencia entre WoK y Scopus…). La segunda presentación nos mostró su Mapa bibliométrico, en la que destacó el notable trabajo de depuración de la información. Cerró la jornada presentando su trabajo de Caracterización de grupos en el que, una vez más, destacó sobre otras tareas, la labor de depuración y enriquecimiento temático realizado para la correcta caracterización de los grupos. Desde las primeras jornadas de evaluación organizadas por el FIS en Menorca no coincidía con Camí. No recordaba ya su humor ácido que tanto ameniza sus presentaciones.

El 20 era el día que con más espectación acudía. José Navarrete iba a hablar de Nuevos enfoques en la evaluación de la investigación: Sistema de Información Científica de Andalucía. Y era probable que también hablara de su nuevo proyecto, el CVn (Curriculum Vitae Normalizado). Había oido hablar muy bien del SICA, Sistema de Información Científica de Andalucía y quería que me lo mostraran. Pensé que nos dejaría sin palabra, pero resultó tan interesante para todos que ocurrió justamente lo contrario: el alumnado no paró de preguntar. Hasta tal punto trastornaron las preguntas el hilo del discurso que Antonio García Romero se vio obligado a recortar el suyo para ceder parte de su tiempo al invitado. No os puedo contar sin extenderme excesivamente todo lo que nos mostró. Si quereis conocer lo que han hecho en el SICA os recomiendo que os acerqueis al Curso de Evaluación del impacto social, económico y político de la investigación biomédica. En resumen, el SICA es un excelente ejemplo de Gestión de la Ciencia 2.0. Ha conseguido implicar a todos los agentes del sistema para que cada uno aporte la información que posee y a cambio ha aportado beneficios particulares a todos ellos. Por poner un ejemplo, el investigador ha tenido que introducir, una vez más, su CV, pero se le han dado facilidades (carga previa de la literatura localizada en bases de datos bibliográficas) y se le han dado beneficios (múltiples salidas del CV en los formatos exigidos por distintas convocatorias, sistemas de alerta de posible información nueva en el CV, novedades…). Os aseguro que si sigo hablando del SICA y de las posibilidades que puede llegar a ofrecer el CVn, me da para un par de libros.

A Antonio García Romero le correspondía hablar sobre los Métodos de evaluación del impacto socioeconómico de la investigación biomédica. Había interesado tanto la presentación anterior que Antonio trató de dar unas breves pinceladas del tema para ceder la última parte a José Navarrete. La evaluación del impacto socioeconómico es compleja pero necesaria, favorece la implicación por parte de los políticos (habla en el idioma que éstos entienden: beneficios económicos y sociales). Mostró algunos trabajos del área (impacto de la I+D en la práctica clínica, el impacto económico de la investigación biomédica en la región de Nueva York, la utilidad clínica de las revistas científicas, los beneficios de la investigación cooperativa entre empresas farmacéuticas y CPIs). De su presentación me quedo con su contestación a una de mis dudas de los últimos tiempos. No para de hablarse de las patentes como indicador de innovación, pero ¿qué proporción de patentes se licencia? ¿y por cuánto? No me lo supo contestar con exactitud, pero me dio las pistas necesarias: la patente no indica innovación, la patente licenciada sí. Con lo otro que me quedo es con el indicador por excelencia para medir la innovación: porcentaje de ventas de nuevos productos. Para finalizar, nueva andanada de preguntas a José Navarrete y fin de curso. Si podeis, no os perdais el Curso de Evaluación del impacto social, económico y político de la investigación biomédica; estais a tiempo, es del 27 al 29 de junio, del miércoles al viernes de esta semana.