Optimizing Prompt Engineering for Improved Generative AI Content

Abstract

Optimización de la ingeniería de prompts para mejorar el contenido de la IA generativa, \\ por Pablo ORTOLAN

La ingeniería de prompts es el proceso de diseño y optimización de prompts para modelos de inteligencia artificial generativa. El caso de uso típico que quiero explorar es el de la gente corriente que busca información sobre IA generativa. En esta tesis de máster, exploro técnicas para desarrollar nuevos enfoques utilizando prompts de rol y tono elaborados para mejorar la calidad del contenido generado por un modelo de IA específico: ChatGPT-3.5-Turbo. Tras estudiar varias métricas de IA, elijo Rouge-L-Sum y BERTScore para evaluar la eficacia de las nuevas frases generadas. Utilizo el conjunto de datos wiki\_qa, un conjunto de datos de preguntas-respuestas, una colección de preguntas y sus correspondientes respuestas en inglés basadas en el contenido de Wikipedia. El análisis demuestra que, en este conjunto de datos específico, ChatGPT 3.5-Turbo funciona mejor si la pregunta elaborada no contiene ninguna función y tiene un tono autoritario. Esta tesis se realiza de forma global sobre el conjunto de datos y no destaca el tipo de pregunta donde cada rol es más eficiente, podría ser un desarrollo futuro de este trabajo. Aún así, es importante estudiar modelos existentes como ChatGPT-3.5-Turbo en esta tesis. Contribuye a comprender modelos más profundos y a dar un paso atrás en la peligrosa carrera hacia modelos de caja negra impredecibles cada vez más grandes con capacidades emergentes.

Optimizing Prompt Engineering for Improved Generative AI Content, \\ by Pablo ORTOLAN

Prompt engineering is the process of designing and optimizing prompts for generative artificial intelligence models. The typical use case I want to explore is ordinary people searching for information on generative AI. In this master thesis, I explore techniques to develop new approaches using crafted role and tone prompts to improve the quality of content generated by a specific AI model: ChatGPT-3.5-Turbo. After studying several AI metrics, I choose Rouge-L-Sum and BERTScore to evaluate the efficiency of the newly generated sentences. I use the wiki\_qa dataset, a Question-Answering dataset, a collection of questions and corresponding answers in English based on Wikipedia content. The analysis proves that on this specific dataset, ChatGPT 3.5-Turbo works best if the crafted prompt contains no role and an authoritative tone. This thesis is globally conducted over the dataset and doesn't highlight the type of question where each role is more efficient, it could be a future development of this work. Still, it is important to study existing models like ChatGPT-3.5-Turbo in this thesis. It contributes to understand deeper models and stepping back from the dangerous race to ever-larger unpredictable black-box models with emergent capabilities.