Hace unos días tuvimos de visita a Ivan Molineris, un colega de la Università degli Studi di Torino, que nos vino a contar su experiencia reciente usando ChatGPT en el mundo académico.
 |
| Vídeo de la charla completa aquí. |
El resumen de la charla, producido con GPT-4, decía:
"En el cambiante mundo de la inteligencia
artificial (IA) tenemos al alcance de la mano sofisticados modelos de
lenguaje. Éstos ponen a disposición vastos conocimientos, respuestas
rápidas, escriben software e interaccionan con seres humanos de la
manera más natural, hablando. Pero, ¿qué supone esto para la ciencia?
Este
seminario explora la doble naturaleza de ChatGPT como valiosa
herramienta académica y como un potencial recurso deshonesto. Por un
lado, ChatGPT es un asistente de investigación dinámico, que ofrece
conocimientos en muchos temas, ofrece explicaciones y ayuda a resolver
problemas. Para muchos es una manera innovadora de sortear áreas en las
que no tenemos experiencia, mejorando nuestra comprensión de temas
complejos. Por otro lado, es fácil abusar de estas capacidades. Ahora
que estudiantes e investigadores podemos escribir, responder preguntas y
crear nuevos contenidos con tanta facilidad, ¿dónde ponemos la línea
que separa el plagio del trabajo legítimo?
En este seminario
exploraremos las implicaciones éticas, salvaguardas y la relación
cambiante entre la IA y la academia. Por medio de ejemplos intentaremos
decidir si ChatGPT es una herramienta amiga que supera los límites
convencionales o si, en cambio, miente y compromete la integridad de
nuestras investigaciones."
En esta entrada resumo los principales mensajes de Iván.
- No te fíes de un chatBot.
- Pregunta algo relacionado con un problema científico. Pídele afirmaciones que sean falseables, que puedas comprobar.
- A continuación pídele referencias que soporten la información que te proporcione.
- Comprueba y lee las referencias para validarlas (parece que GPT-4 es mucho mejor que GPT-3.5 a este respecto).
- El tamaño del corpus de entrenamiento importa. Fíjate en el número de parámetros usados para entrenar modelos grandes de lenguaje (LLMs):
- GPT4: 1.76E12(30USD/mes, gratis con limitaciones en Bing chat)
- GPT3.5: 175E9
- Bard: 137E9 (pero alucina menos que GPT-3.5 según Ivan)
- LLMA2 70E9
- Un chatBot es una herramienta para todas la aplicaciones. Comparado con aplicaciones tradicionales, como Google translate por ejemplo, tiene la ventaja de que le puedes preguntar sobre sus respuestas, refinarlas y pedirle que escriba sus respuestas con un cierto estilo.
- En qué destacan los chatBots? En lenguaje natural. Son estupendos para preguntarles cosas que nos llevaría mucho tiempo producir pero poco en comprobar.
- Los LLMs tienen sesgos e ideología. Por ejemplo, un experimento reciente con ChatGPT mostró que está a favor de impuestos a las líneas aéreas.
- chatGPT4 puede escribir código en R, python, javascript (yo también he probado Perl), pero:
- La calidad es mejor cuanto más pequeño el problema, así mejor subdivide tus tareas antes.
- Que el código funcione no significa que los resultados ni los parámetros sugeridos sean correctos en todos los escenarios.
- Debes entender el código que propone, de hecho le puedes pedir que te lo explique.
- GPT-4 puede calcular (mejor que GPT-3), pero para debes pedirle que te haga las operaciones paso a paso (chain of thought).
Para terminar os dejo algunas curiosidades:
- El artículo ya clásico "Attention Is All You Need"
- Un libro de mecánico de fluidos escrito por Javier Blasco con ayuda de ChatGPT.
- El repositorio para las ideas de Ivan para un LLM
Hasta luego,
Bruno
