Tiempo de lectura: 5 minutos.

Un nuevo análisis científico sugiere que los informes de revisión por pares creados con inteligencia artificial (IA) son prácticamente indistinguibles de los escritos por personas, y que las herramientas actuales para detectar su uso fallan de forma significativa. Esto plantea serias inquietudes sobre la integridad del proceso de evaluación científica en un momento en que los modelos de lenguaje avanzados se están integrando cada vez más en la revisión de manuscritos. Nature

IA capaz de “imitar” revisiones profesionales

La investigación, realizada por un equipo con base en China, utilizó el modelo de IA Claude 2.0 para generar informes de revisión por pares basados en 20 artículos de biología del cáncer publicados en la revista eLife, junto con sus manuscritos originales. Los resultados se compararon con los informes reales que publicaba la revista para cada trabajo. Nature

Aunque los textos generados por la IA carecían de críticas profundas y específicas, el estudio constató que parecían informes profesionales y plausibles. La IA incluso pudo sugerir citas adicionales y dar recomendaciones convincentes para rechazar trabajos — lo que, según los investigadores, podría influir en un editor si no se detecta que el informe fue escrito por una máquina. Nature

Detectores de IA con baja eficacia

Una de las conclusiones más preocupantes del estudio fue que las herramientas más utilizadas para detectar textos generados por IA no identificaron correctamente los informes falsos. Por ejemplo:

• ZeroGPT identificó erróneamente como humanos el 60 % de los informes generados por IA.

• GPTzero concluyó incorrectamente que más del 80 % eran escritos por personas. Nature

Esto indica que las tecnologías destinadas a señalar uso no autorizado de IA en revisiones científicas aún están lejos de ser fiables.

Opiniones mixtas en la comunidad académica

Expertos en revisión por pares han reaccionado de forma diversa ante estos hallazgos:

• Algunos, como el neurocientífico Jeroen Verharen, se mostraron sorprendidos de que los detectores no funcionaran mejor, aunque opinan que los informes generados por IA podrían no volverse predominantes porque muchos revisores simplemente rechazarían hacer la revisión si no desean hacerlo. Nature

• Otros científicos, como el hidrólogo Mikołaj Piniewski, han dicho que ya han recibido revisiones que sospechan fueron escritas con IA, y que las herramientas de detección rara vez señalan estos informes como generados por IA. Piniewski también sugiere que la escasez de revisores disponibles podría hacer que algunos editores acepten estos informes sin cuestionarlos. Nature

Un panorama en evolución

El uso de IA en ciencia no es ajeno a la comunidad académica. Encuestas recientes indican que aunque muchos investigadores rechazan que la IA reemplace por completo a los revisores humanos, una proporción considerable considera aceptable usarla como asistencia para algunas tareas de revisión. Además, análisis independientes han estimado que entre un 7 % y un 17 % de informes de revisión en conferencias de informática podrían haber sido sustancialmente modificados por IA, aunque sin claridad sobre si esto se hizo para mejorar o reemplazar el trabajo del revisor. Nature

Este debate se desarrolla en un momento en que el sistema global de revisión por pares, ya presionado por la falta de revisores y el aumento del volumen de publicaciones, enfrenta un momento crítico para redefinir su integridad, transparencia y uso ético de tecnologías automatizadas.