“La idea de que uno es bueno sólo porque lo citan es engañosa”

Gaspar Grieco (Agencia CTyS) - En la actualidad, los científicos son evaluados, principalmente, según la cantidad de citas que reciba el artículo que publicó en una revista especializada. En particular, las ciencias sociales son las más afectadas debido a que sus revistas son menos consultadas y, por lo tanto, tienen un impacto menor. La doctora Lértora Mendoza, investigadora del CONICET, dialogó con la Agencia CTyS al respecto y manifestó sus críticas hacia el uso de Internet para la investigación académica.

¿Qué fortalezas observa en el uso de Internet para la investigación?

Es indudable que la fortaleza más importante es la facilidad con que se accede a la información, prácticamente sin costo y muy rápidamente. En muchas disciplinas, sobre todo históricas, las fuentes no están a disposición. Me refiero a ediciones de siglos pasados, que son muy difíciles de conseguir. Muchas de esas fuertes están en Internet. Esto es una simplificación enorme para la gente que quiere trabajar en este tipo de temas.

¿Y las debilidades?Depende de cómo se use la información y del nivel de crítica que tenga el usuario. Uno de los peligros es la falta de crítica del usuario, a veces por desconocimiento. Por ejemplo Wikipedia tiene trabajos muy buenos, aceptables, mediocres y malos. Es cierto que también pasa lo mismo con la versión papel, pero como no es tan difundido, tanto lo bueno como lo malo tienen un peligro más restringido.
Si uno no busca por buscadores especializados no sabe, casi siempre  por desconocimiento del tema, si lo que está leyendo es bueno o no. Con buscadores especializados me refiero a las plataformas que a uno le dan una búsqueda orientada según diferentes especialidades de trabajos producidos en centros de nivel académico.

¿Entonces, cómo considera que debe utilizarse la Internet en el trabajo académico?

Yo creo que el uso académico y pedagógico de Internet tiene que ser orientado por el profesor; antes de mandar a sus alumnos a ver determinadas cosas, tiene que verlas él. Es una tarea suplementaria que muchos profesores no asumen.
Otra debilidad es la tendencia que veo en muchos alumnos de grado y posgrado en elegir su tema de trabajo final en función de lo que previamente han encontrado en Internet. Esto quiere decir que no eligen un tema de trabajo porque les ha interesado, sobre el cual eventualmente pueden preguntarle al profesor qué nuevo pueden investigar, si no que ya se aseguran su bibliografía, con lo cual también se aseguran que el producto de su trabajo va a ser una repetición de lo básico con algún arreglo expositivo, porque uno no puede hacer nada nuevo a partir de Internet. Mientras que si uno busca en un manuscrito o en un documento inédito, sobre todo para las ciencias sociales y las humanidades, puede encontrar algo nuevo para hacer y, obviamente, para las investigaciones de campo, Internet no tiene la misma utilidad.

Con respecto a los sistemas científicos de evaluación ¿Cuáles son sus críticas al Academic Google?
El Academic Google es un sistema de medición de impacto por citación. Hace muchos años se creó el Science Citation Index que se hacía contabilizando a mano. Ahora esos sistemas de citación  prácticamente han perdido su valor frente a la rapidez del Google donde uno pone su nombre y ve cuánto tiene de impacto de citación en medios científicos.
Un especialista en algún tema de humanidades en el Academic Google puede tener 700 entradas como promedio. Sin embargo, la citación para un investigador de la misma categoría científica pero en ciencias naturales está en más de 10 mil si ha trabajado en varios equipos en investigaciones de campo y si es un tecnólogo con patentes puede estar en las 40 mil. Entonces, si un sistema de evaluación mide con el mismo rasero, estamos perdidos. Esto ha pasado y pasa en algunas instituciones, inclusive el CONICET, donde las instancias que convalidan las evaluaciones especializadas son interdisciplinarias. Esto genera que los evaluadores digan: “¿Vamos a dejar entrar al CONICET a este científico de ciencias médicas que tiene un impacto de 15200 al día de hoy y a este otro de historia que tiene un impacto de 700? No puede ser”. Entonces, hay que lograr que los evaluadores tengan una visión de la diferencia entre la manera de citar y de las obras donde el investigador es citado.

Entonces ¿Qué opinión le merece el actual criterio de evaluación del CONICET, que es meramente cuantitativo?

El sistema de evaluación del CONICET debería ser más flexible; pero hay que tener cuidado de que esa flexibilidad no sea excesiva como pasaba antes, cuando cada Comisión Evaluadora tenía su propio criterio para  aprobar a algunos y a otros no, lo que generó una catarata de juicios de científicos al CONICET. Justamente para evitar eso se empezaron a hacer estructuras comparables y generales de evaluación para todas las carreras. Entonces, está bien que se flexibilice pero tengamos en cuenta que ya tuvimos un sistema hiperflexible y resultó tan malo como éste. El problema es la mesura y eso en las grandes instituciones es un problema difícil.
Somos aproximadamente 8 mil científicos en el CONICET, si bien somos pocos en términos absolutos, somos muchos para establecer un único sistema de evaluación para todas las disciplinas.

¿Entonces considera que las ciencias sociales deberían tener otro criterio de validación por fuera del impacto?  

Yo creo que todo en la medición cuantitativa del impacto puede ser una gran trampa. En primer lugar, puede haber un trabajo malísimo que todo el mundo cita para criticarlo pero le da impacto, porque el Academic Google sólo mide, no sabe si es bueno o malo. A una  persona que publicó un artículo de este tipo tal vez le saltó el impacto de 1000  a 1500. Eso hace que el articulo sea importante, pero resulta que es importante porque es malo.

Entonces, debería haber también un índice que evalúe la calidad…                         

Sí, pero ese índice de calidad no puede ser automático ni al estilo del Google, lo deberían hacer personas especializadas.
Si alguien publica un artículo casi al otro día es contabilizado en el Academic Google, en cambio si yo soy evaluadora, para evaluar la calidad del trabajo y si merece ser publicado me tengo que tomar por lo menos 15 días. De 15 días a 3 meses es el plazo que se les da a los evaluadores. A veces el tema del impacto es muy complejo porque puede dejar fuera de carrera a una persona. Se dice, “esta persona no tiene impacto suficiente, entonces, no entra”. La idea de que uno es bueno sólo porque lo citan es una idea engañosa y hacerla criterio de evaluación de la labor científica a los efectos de la propia carrera, no deja de ser una cuestión muy seria y difícil. Yo creo que no se están tomando en serio todas las debilidades del sistema de evaluación.

¿Este problema también se traslada a las revistas especializadas?

En Humanidades y Ciencias Sociales la dispersión es enorme. El problema se presenta cuando se quiere hacer un índice de calidad de las revistas con criterios que pueden ser en sí mismo válidos pero si son mal aplicados pueden resultar desastrosos.
En el CONICET existe un listado de revistas de ciencias sociales que categoriza a las revistas en categoría 1, 2 o 3, de modo que no importa lo que uno escriba sino en donde lo publique. Entonces, se supone que si uno escribe en una revista de grado 1 tiene que ser bueno.
Hay que tener cuidado, una revista puede cometer errores y una revista puede ser de nivel medio y tener un muy buen trabajo. De modo que generalizar pasando por encima la evaluación de cada trabajo me parece un error conceptual gravísimo, porque la producción científica no es de la revista, es del científico o del equipo al que ese científico pertenece.
También ocurre que las revistas más especializadas, que son las más exigentes, son las menos citadas porque al ser tan especializadas solo la cita el que se especializa en ese tema.

¿Que opina acerca de la nueva forma de evaluación de calidad que se está intentando aplicar que se denomina “H Index”?
Uno de los primeros en mencionar la necesidad de evaluar por la calidad fue el LatIndex. De cualquier manera, los criterios más utilizados siguen siendo cuantitativos. En la cantidad de citaciones se admite hasta un 20 por ciento de autocitaciones. De alguna manera esto está bien, porque un elevado nivel de autocitas es un autobombo. Sin embargo, si yo voy a presentar un trabajo en un lugar en donde no soy conocida es normal que me cite para hacer conocer mis antecedentes en el tema de ese trabajo.
En ese caso la cuestión es cualitativa, para qué me cito. Pero, obviamente, si alguien no lee mi trabajo para saber por qué me cité tantas veces, no puede saber si mi cita es de bombo o es real. Siempre volvemos a lo mismo, hay que leer y eso es lo que los sistemas informáticos no pueden hacer. Pero yo creo que tiene que haber un control de calidad y no puede ser meramente una cuestión cuantitativa. Pero no es fácil.

¿Cómo analiza o evalúa la investigación en ciencias sociales hoy?  

No hay que quedarse con la idea de que con las ciencias sociales solo se puede generar teoría. Creo que hay un problema importante, como una cierta zona sin puentes entre las teorías de ciencias sociales y la práctica de campo, que terminan siendo modelos estándares de 1950 y 1960 aggiornados a las nuevas tecnologías. Creo que eso nos da la idea de que la única posibilidad de inventiva que tiene un investigador en ciencias sociales es hacer pura teoría y esto desmoraliza a muchos que no encuentran una salida laboral haciendo teoría, precisamente porque la mera teoría tiene poco impacto. Hay innovaciones que tienen que ver con procedimientos en ciencias sociales y hay que explorar ese campo.

Celina Lértora Mendoza es doctora en Ciencias Jurídicas, doctora en Filosofía e investigadora del CONICET. Se especializa en epistemología e historia medieval. Ha publicado quince libros y más de 250 artículos y participado en más de 150 congresos y jornadas. Ha sido profesora en las Universidades Católica Argentina, Nacional de Buenos Aires y Nacional de Mar del Plata y actualmente lo es en el Instituto Teológico Franciscano Argentino y en la Universidad del Salvador. Dirige el Postgrado de Filosofía Argentina e Iberoamericana en la Facultad de Filosofía, Historia y Letras de la Universidad del Salvador. Es presidente fundadora de la Fundación para el Estudio del Pensamiento Argentino e Iberoamericano (FEPAI).