Los diez mandamientos para leer e interpretar rankings
Álvaro Roldán López15 October 2009
Son numerosas las ocasiones en las que se ha hablado en este blog sobre este o aquel ranking, y constantemente encuentro comentarios acerca de la posición de esta o aquella universidad, revista o lo que sea dentro de un ranking, sin más consideraciones; me posicionan bien, no sé lo que significa, pero soy de los primeros y no voy a perder la oportunidad de ponerme la medalla.
Hace un par de semanas repasaba algún material presentado en el VI Foro de evaluación de la calidad de la investigación y de la educación superior, y entre dicho material se encuentra la presentación realizada por Emilio Delgado López-Cózar que os pongo a continuación:
La presentación no tiene desperdicio, pero me ha llamado especialmente la atención la penúltima diapositiva, que nos presenta un decálogo para interpretar los rankings. Y no he podido resistir la tentación de reproducirlo aquí:
I. Por principio desconfíe de un ranking, active sus mecanismos de defensa intelectual: escepticismo, duda metódica y espíritu crítico.
II. Transparencia: compruebe que puede averiguar con claridad quién los hace, con qué propósito y cómo (la cocina).
III. No admita que se mezclen indiscriminadamente dimensiones.
IV. Que los indicadores son los apropiados para cada dimensión y la miden de forma fiable y válida.
V. Que se relativizan los datos (qué resultados/con qué medios) y se emplean indicadores de rendimiento (más con menos).
VI. Que los pesos y proporciones de las dimensiones e indicadores se fundamentan empíricamente.
VII. Que las materias primas: datos fiables y válidos
VIII. Que los rankings se elaboran por campos científicos (macro/meso/micro).
IX. Comparar lo comparable: variedad de instituciones (perfil profesional, temático, contextual).
X. Que se emplean períodos de tiempo amplios: quinquenales …
Me alegra saber que te gustó.
Tu opinión, pesa, cuenta….
por lo menos para mí
Una apostilla a la presentación
¿Como es posible que los científicos leamos los rankings como los forofos de fútbol se meriendan las clasificaciones ligueras?
Siempre me ha llamado la atención como sesudos investigadores en sus respectivos campos, pulcros con las normas del método cíentífico, sucumben acríticamente a números y clasificaciones como los índices de impacto o los rankings de instituciones.
estos 10 mandamientos pretenden que activemos nuestros mecanismos intelectuales básicos.
Autor: Emilio Delgado López-CózarMuchas gracias por los piropos y las aclaraciones, Emilio.
Autor: Álvaro RoldánYo de lo que verdaderamente desconfío es de la desviación típica y de las correlación de Spearman. El otro día, sin ir más lejos, les ví cerca del escalamiento multidimensional en actitud sospechosa, tanto que les dije que fueran mucho más transparentes a partir de ahora si no querían tener problemas.
Autor: Airegin