Thompson: el Moody's de la investigación

Hoy en día es difícil vivir sin saber quiénes son las agencias de Rating como Moody's, S&P o Fitch. Culpables de la crisis financiera mundial por esconder en productos de aparente buena calidad crediticia auténtica basura impagable. Son agencias que viven de su aparente credibilidad e imparcialidad para determinar quiénes son las entidades de las que te puedes fiar a la hora de prestarles el dinero. Han pasado de ser agencias objetivas a chiringuitos en los que se refugian los tramposos para camuflar la porquería. Y ahora quieren hacernos creer con las bajadas sucesivas de calificaciones que siguen siendo creíbles. Llegáis tarde campeones. De manera similar podría hablar de las tasadoras en España pero eso es carne de otra barbacoa.

En el desvarío de hoy trato de trazar un paralelismo entre la agencia Thompson Reuters y estas agencias de calificación. Uno de los productos más importantes de Thompson es la elaboración de un ranking anual de publicaciones científicas en distintas áreas: el Journal Citation Reports (JCR). Lo que indica el índice JCR de una revista es el promedio de citas anuales que tiene un artículo publicado en la misma. Luego hay otros factores que normalmente suelen acabar en la papelera.

Las revistas han visto en este ranking una posibilidad de publicidad y de captar publicaciones. A mayor prestigio, mayores subscripciones de entes públicos y privados a estas revistas y por tanto más dinero para la editorial. Publicaciones que los investigadores hacemos gratis para que ellos se lucren y en algunos casos hasta debemos pagar. Pocas, muy pocas revistas pagan por el trabajo del investigador. Por otro lado está el rol del revisor, que es el que da credibilidad a una revista. Un cuerpo de revisores de prestigio es el que otorga el sello de calidad a una revista. Si pasa por filtros severos, la posibilidad de colar un artículo de baja calidad se reduce y por tanto la calidad de la revista aumenta. Sin embargo en muchas revistas no se cumple con el proceso de revisión esperado. Los que ponen el nombre delegan las revisiones a investigadores en algunos casos noveles que sólo se fijan en la forma y no en el fondo de las propuestas. Se buscan revisores externos "expertos" en el tema porque tus revisores principales no pueden hacer el trabajo. Por supuesto muy poquitas revistas reconocen económicamente el esfuerzo del revisor. Las editoriales son por tanto un sumidero de captar recursos económicos a cambio de recursos de investigación que obtienen gratuitamente. Esto lo discutiremos en otro momento y aprovecharé para sacar a colación el boicot a Elsevier.

El investigador revisado no puede conocer el nombre de sus revisores para favorecer la imparcialidad de los resultados. Esto sin embargo impide contrastar si realmente el trabajo ha sido revisado correctamente, de forma objetiva y constructiva. No hay forma de saber si una revista está haciendo el trabajo de revisión que se le supone a un buen comité, si un revisor externo tiene conflicto de intereses o bien se está delegando a terceros de menor caché o guardando por un tiempo los artículos en el cajón para aparentar que se está haciendo un trabajo. Y esto último sucede. Hoy no voy a poner nombres y apellidos a una revista con un elevado índice de impacto que me consta que no revisa los artículos publicados. Aviso aquí que cuando acabe la tesis seguramente envíe a esta revista un truño inconexo que cuando tenga su DOI asignado tendré el gusto de hacer público.

Desde mi punto de vista esto es útil para conocer la calidad durante el primer año de su publicación que es el tiempo que puede tardarse en difundir un trabajo y que nos citen. A partir de ahí la calidad de tu trabajo debe medirse por las citas reales de otros investigadores (las propias no, que el onanismo investigador está mal visto). Y esta métrica se puede calcular independientemente de dónde se publique un trabajo. ¿Acaso un trabajo publicado en un workshop internacional con 1000 citas es peor que un trabajo publicado en una revista indexada en JCR con 1 cita? Personalmente tengo una publicación en una conferencia muy importante del año 2005 con cerca de 300  citas. A unas 50 citas por año. Es el trabajo más importante que tengo en términos de citas pero por no estar en ese índice de marras un revisor puede tacharlo e ignorarlo tranquilamente. Da igual que haya sido el artículo que haya sentado las bases de la investigación en líneas de producto de nuestro grupo y que nos haya situado como referentes en el área. No está en JCR y no vale.

¿Y a dónde quiero llegar con esto? Pues a que el trabajo del investigador se está evaluando en base a los artículos que hayas publicado en revistas con índice de impacto JCR en los primeros puestos del ranking. Es un factor objetivo que lo único que hace es facilitar la vida del evaluador mediocre. Yo siempre digo que cuando veo un examen no necesito ponerle números para saber si el alumno está aprobado o suspenso. Eso se percibe con un vistazo. Poner números antes de evaluar es de profesor mediocre. No confías lo suficiente en tu criterio y necesitas inventártelo. Y todo lo que no encaje en tu baremo, no existe. Pero la nueva corriente de evaluación de resultados de investigación nos hace vivir al día en lugar de pensar a largo plazo en proyectos más ambiciosos, y además necesita de un gran número de revisores. Hay que acudir a personas que no ofrecen las mismas garantías que un reducido cuerpo de evaluadores expertos y con perspectiva cuya subjetividad es más objetiva que un puñado de números.

Cuando tus números no son capaces de representar la realidad debes revisarlos. Cuando evalúas usando estos números y sabes que están mal debes dejar de utilizarlos. Ya ha ocurrido con el índice CORE, un índice de calidad de conferencias que elaboraban los australianos y en el que había pocas conferencias europeas porque les coge muy lejos y si no hay un australiano que lo pise pues no se molestan en calcularlo. Por nuestra experiencia, intentamos indexar la conferencia SPLC para poder incluirla en nuestros CV y nos lo denegaron porque ningún australiano cursaba la petición. Corolario: en España hasta el año pasado una conferencia era buena en primer término si un australiano había pasado por allí. Si invitas a Cocodrilo Dundee a dar una charla invitada eres de categoría. Si no, no vales.

Al final todo esto empuja a que el investigador no haga lo que debe hacer para tener buenas ideas, desarrollarlas, divulgarlas y transferirlas a la industria. En su lugar se ponen en marcha churrerías que pervierten un buen resultado. En lugar de publicar una buena idea en el foro adecuado y con buenos revisores y buena visibilidad, la divido en problemas pequeños. Cada uno de esos problemas ya de por sí artificiales los publico en revistas JCR de dudoso proceder pero con buenos números. Mi valor como investigador se multiplica. No se mide la contribución real al mundo de la ciencia o la ingeniería sino un maldito número que tenemos en nuestras manos pervertir.

Thompson es parte de todo este pastel. Cobra a las revistas por situarles en el ranking. Los entes evaluadores pagan por acceder. Y nosotros los investigadores entramos en el juego porque el gran hermano nos vigila. Los únicos que ganan aqui son Thompson y las editoriales que se lucran de este sistema objetivo falto de objetividad. Cuando este nuevo sistema de evaluación de la ciencia quiebre tal vez se replanteen sus criterios como las agencias de calificación. Mientras tanto ellos ganan y la ciencia pierde.

Pablo Trinidad 22 febrero, 2012

Posted In: Desvaríos