‘AI scientist’ puede escribir artículos científicos sin intervención humana. He aquí por qué eso es un problema

Por Karin Verspoor en The Conversation del 20 de agosto de 2024

El descubrimiento científico es una de las actividades humanas más sofisticadas. En primer lugar, los científicos deben comprender el conocimiento existente e identificar una brecha significativa. A continuación, deben formular una pregunta de investigación y diseñar y realizar un experimento en busca de una respuesta. Luego, deben analizar e interpretar los resultados del experimento, lo que puede plantear otra pregunta de investigación.
¿Se puede automatizar un proceso tan complejo? La semana pasada, Sakana AI Labs https://www.reuters.com/technology/open-source-ai-models-released-by-tokyo-lab-sakana-founded-by-former-google-2024-03-21/ anunció la creación de un ‘AI scientist’, un sistema de inteligencia artificial que, según afirman, puede realizar descubrimientos científicos en el área del aprendizaje automático de forma totalmente automatizada.
Utilizando modelos generativos de lenguaje amplio (LLM, por sus siglas en inglés) como los que están detrás de ChatGPT y otros chatbots de IA, el sistema puede generar ideas, seleccionar una idea prometedora, codificar nuevos algoritmos, representar gráficamente los resultados y escribir un artículo que resuma el experimento y sus hallazgos, junto con las referencias. Sakana afirma que la herramienta de IA puede llevar a cabo el ciclo de vida completo de un experimento científico a un costo de solo 15 dólares por artículo, menos que el costo del almuerzo de un científico.

Son afirmaciones importantes. ¿Se sostienen? E incluso si lo hicieran, ¿un ejército de científicos de IA produciendo artículos de investigación a una velocidad inhumana sería realmente una buena noticia para la ciencia?

¿Cómo una computadora puede “hacer ciencia”
Mucha ciencia se hace abiertamente, y casi todo el conocimiento científico se ha escrito en algún lugar (o no tendríamos forma de “conocerlo”). Millones de artículos científicos están disponibles gratuitamente en línea en repositorios como arXiv y PubMed.
Los LLM entrenados con estos datos capturan el lenguaje de la ciencia y sus patrones. Por lo tanto, tal vez no sea sorprendente que un LLM generativo pueda producir algo que parezca un buen artículo científico: ha ingerido muchos ejemplos que puede copiar.
Lo que no está tan claro es si un sistema de IA puede producir un artículo científico interesante. F
undamentalmente, la buena ciencia requiere novedad
.Pero, ¿es interesante?
Los científicos no quieren que se les hable de cosas que ya se saben. Más bien, quieren aprender cosas nuevas, especialmente cosas nuevas que sean significativamente diferentes de lo que ya se sabe.
Esto requiere un juicio sobre el alcance y el valor de una contribución.
El sistema de Sakana intenta abordar el interés de dos maneras.
Primero, “puntúa” las nuevas ideas de artículos en función de su similitud con la investigación existente (indexada en el repositorio Semantic Scholar). Cualquier cosa demasiado similar se descarta.
En segundo lugar, el sistema de Sakana introduce un paso de “revisión por pares”: se utiliza otro LLM para juzgar la calidad y la novedad del artículo generado. Aquí también hay muchos ejemplos de revisión por pares en línea en sitios como openreview.net que pueden guiar cómo criticar un artículo. Los LLM también han asimilado estos conceptos.
La IA puede ser un mal juez de los resultados de la IA
Los comentarios sobre los resultados de Sakana AI son dispares. Algunos lo han descrito como un producto de “basura científica interminable”.

Incluso la propia revisión del sistema de sus resultados juzga los artículos como débiles en el mejor de los casos. Es probable que esto mejore a medida que la tecnología evolucione, pero la cuestión de si los artículos científicos automatizados son valiosos sigue vigente. La capacidad de los LLM para juzgar la calidad de la investigación también es una pregunta abierta.
Mi propio trabajo (que pronto se publicará en Research Synthesis Methods) muestra que los LLM no son muy buenos para juzgar el riesgo de sesgo en los estudios de investigación médica, aunque esto también puede mejorar con el tiempo. El sistema de Sakana automatiza los descubrimientos en la investigación computacional, lo que es mucho más fácil que en otros tipos de ciencia que requieren experimentos físicos. Los experimentos de Sakana se realizan con código, que también es texto estructurado que los LLM pueden ser entrenados para generar. Herramientas de IA para apoyar a los científicos, no para reemplazarlos
Los investigadores de IA llevan décadas desarrollando sistemas para apoyar la ciencia. Dados los enormes volúmenes de investigaciones publicadas, incluso encontrar publicaciones relevantes para una cuestión científica específica puede resultar complicado.

VER NOTA COMPLETA EN https://theconversation.com/a-new-ai-scientist-can-write-science-papers-without-any-human-input-heres-why-thats-a-problem-237029