ChatGPT: Academic Friend or Cheating Liar?

Hace unos días tuvimos de visita a Ivan Molineris, un colega de la  Università degli Studi di Torino, que nos vino a contar su experiencia reciente usando ChatGPT en el mundo académico.  

Vídeo de la charla completa aquí.

El resumen de la charla, producido con GPT-4, decía:

"En el cambiante mundo de la inteligencia artificial (IA) tenemos al alcance de la mano sofisticados modelos de lenguaje. Éstos ponen a disposición vastos conocimientos, respuestas rápidas, escriben software e interaccionan con seres humanos de la manera más natural, hablando. Pero, ¿qué supone esto para la ciencia? 

Este seminario explora la doble naturaleza de ChatGPT como valiosa herramienta académica y como un potencial recurso deshonesto. Por un lado, ChatGPT es un asistente de investigación dinámico, que ofrece conocimientos en muchos temas, ofrece explicaciones y ayuda a resolver problemas. Para muchos es una manera innovadora de sortear áreas en las que no tenemos experiencia, mejorando nuestra comprensión de temas complejos. Por otro lado, es fácil abusar de estas capacidades. Ahora que estudiantes e investigadores podemos escribir, responder preguntas y crear nuevos contenidos con tanta facilidad, ¿dónde ponemos la línea que separa el plagio del trabajo legítimo?

En este seminario exploraremos las implicaciones éticas, salvaguardas y la relación cambiante entre la IA y la academia. Por medio de ejemplos intentaremos decidir si ChatGPT es una herramienta amiga que supera los límites convencionales o si, en cambio, miente y compromete la integridad de nuestras investigaciones."

En esta entrada resumo los principales mensajes de Iván.

1. No te fíes de un chatBot.
1. Pregunta algo relacionado con un problema científico. Pídele afirmaciones que sean falseables, que puedas comprobar.
   
2. A continuación pídele referencias que soporten la información que te proporcione.
3. Comprueba y lee las referencias para validarlas  (parece que GPT-4 es mucho mejor que GPT-3.5 a este respecto).
   
2. El tamaño del corpus de entrenamiento importa. Fíjate en el número de parámetros usados para entrenar modelos grandes de lenguaje (LLMs):
   
1. GPT4:    1.76E12(30USD/mes, gratis con limitaciones en Bing chat)
   
2. GPT3.5:  175E9 
3. Bard:     137E9 (pero alucina menos que GPT-3.5 según Ivan)
4. LLMA2    70E9
   
3. Un chatBot es una herramienta para todas la aplicaciones. Comparado con aplicaciones tradicionales, como Google translate por ejemplo, tiene la ventaja de que le puedes preguntar sobre sus respuestas, refinarlas y pedirle que escriba sus respuestas con un cierto estilo.
4. En qué destacan los chatBots? En lenguaje natural. Son estupendos para preguntarles cosas que nos llevaría mucho tiempo producir pero poco en comprobar.
5. Los LLMs tienen sesgos e ideología. Por ejemplo, un experimento reciente con ChatGPT mostró que está a favor de impuestos a las líneas aéreas.
6. chatGPT4 puede escribir código en R, python, javascript (yo también he probado Perl), pero:
1. La calidad es mejor cuanto más pequeño el problema, así mejor subdivide tus tareas antes.
   
2. Que el código funcione no significa que los resultados ni los parámetros sugeridos sean correctos en todos los escenarios.
3. Debes entender el código que propone, de hecho le puedes pedir que te lo explique.
   
7.  GPT-4 puede calcular (mejor que GPT-3), pero para debes pedirle que te haga las operaciones paso a paso (chain of thought).
   

Para terminar os dejo algunas curiosidades:

• El artículo ya clásico "Attention Is All You Need"
• Un libro de mecánico de fluidos escrito por Javier Blasco con ayuda de ChatGPT.
• El repositorio para las ideas de Ivan para un LLM 
  

 

Hasta luego,

Bruno