Los Grandes Modelos del Lenguaje basados en Transformers : revisión y aplicación práctica con ChatGPT

Abstract

En este Trabajo Fin de Grado se estudia la evolución que ha tomado el Procesamiento del Lenguaje Natural (NLP) para ofrecer una mejor comprensión de las arquitecturas Transformer. Se repasan conceptos como tokenización, bag-of-words, one-hot encoding y técnicas clásicas de procesamiento de texto. Luego, se explora la evolución hacia los modelos Transformer, incluyendo word embeddings, redes neuronales, y la arquitectura Encoder-Decoder. El trabajo destaca la importancia del Prompt Engineering, una disciplina en fase de investigación, que permite un mayor control sobre los resultados generados por los modelos de lenguaje. Se presentan los resultados obtenidos al optimizar prompts utilizando el modelo ChatGPT. Se concluye que no existen prompts universales que garanticen las mejores respuestas, sino que el proceso de refinamiento iterativo es fundamental. Para tareas de síntesis, inferencia de sentimiento y ampliación de texto se generaban respuestas de mayor calidad cuando se pedía al modelo que tomara un rol específico o se centrara en los aspectos clave del texto. La tarea de generación de código en R desvelaba que con 4 entradas el modelo era capaz de generar el código deseado. No obstante, el número de interacciones con el modelo variarán en función de la complejidad de la tarea.

This Final Degree Project studies the evolution of Natural Language Processing (NLP) in order to offer a better understanding of Transformer architectures. Concepts such as tokenisation, bag-of-words, one-hot encoding and classical text processing techniques are reviewed. Then, the evolution towards Transformer models is explored, including word embeddings, neural networks, and the Encoder-Decoder architecture. The paper highlights the importance of Prompt Engineering, a discipline in the research phase, which allows greater control over the results generated by language models. The results obtained by optimising prompts using ChatGPT are presented. It is concluded that there are no universal prompts that guarantee the best answers, but that the process of iterative refinement is fundamental. For summarisation, sentiment inference and text expanding tasks, higher quality responses were generated when the model was asked to take a specific role or focus on key aspects of the text. The code generation task in R revealed that with 4 inputs the model was able to generate the desired code. However, the number of interactions with the model will vary depending on the complexity of the task.