Interfaz para la evaluación de los modelos LLM

Abstract

Este proyecto consiste en la creación de una interfaz para la evaluación de los Large Language Models (LLMs), que permite determinar la frecuencia de aparición de alucinaciones en las respuestas generadas por los mismos. La interfaz ha sido programada en Python, utilizando el entorno de desarrollo PyCharm, e integrando la plataforma Ollama, que simplifica la instalación e interacción con diferentes LLMs. La interfaz ofrece diferentes metodologías de evaluación de la eficacia de los modelos. Algunas de las metodologías desarrolladas se basan en la comparación con datasets, como el cálculo de los índices denominados correctness y adherencia al contexto. Otras metodologías son autosuficientes, como el cálculo de la consistencia, la utilización del diálogo entre agentes, o la programación de un retriever que facilita la evaluación de la Retrieved Augmented Generation (RAG) del modelo.

This project involves the creation of an interface for evaluating the Large Language Models (LLMs), which allows the determination of the frequency in which the generated responses contain hallucinations. The interface has been programmed in Python, using the PyCharm development environment, and integrating the Ollama platform, which simplifies the installation and interaction with different LLMs. The interface offers different methodologies for evaluating the effectiveness of the models. Some of the developed methodologies are based on comparisons with datasets, such as calculating the indices known as correctness and context adherence. Other methodologies are self-sufficient, such as calculating the consistency, using a dialogue between agents, or programming a retriever that facilitates the evaluation of the model's Retrieved Augmented Generation (RAG).