Desarrollo de un sistema automatizado de generación de informes mediante LLMs basado en datos en consultoría cultural

Abstract

Introducción La elaboración de informes supone una parte significativa de la carga de trabajo en consultoría, combinando de forma repetitiva extracción de datos, cálculo de métricas y redacción de texto para cada cliente. En el ámbito de la consultoría cultural, Kultursistema elabora informes descriptivos sobre los agentes culturales de distintos territorios a partir de ficheros de datos estructurados, siguiendo una estructura narrativa consistente. Este proceso es actualmente manual, con el consiguiente coste de tiempo y una escalabilidad limitada. La redacción manual de cada informe requiere alrededor de una semana de trabajo (entre dos y tres días para el apartado de análisis de variables que aborda este trabajo), un coste que el sistema reduce al generar de forma inmediata los párrafos descriptivos y dejar al consultor la revisión y las secciones interpretativas. Este trabajo explora en qué medida los modelos de lenguaje y otras técnicas de generación automática de texto permiten automatizar, total o parcialmente, la producción de estos informes, en un contexto marcado por la escasez de informes de referencia (solo seis ejemplos validados). 2. Definición del proyecto El objetivo es desarrollar un sistema automatizado de generación de informes que, a partir de un fichero Excel normalizado (1.033 agentes y 196 variables en el caso de estudio de Vitoria-Gasteiz), produzca texto en lenguaje natural de calidad comparable al redactado por el equipo consultor. El trabajo se centra en las secciones descriptivas, derivables directamente de los datos, y aborda dos módulos complementarios: un resumen general del informe (summarization) y una clasificación de sentimiento que valore el panorama del ecosistema. Las secciones de carácter interpretativo, fruto del análisis experto, quedan fuera del alcance de la automatización. 3. Descripción del modelo/sistema/herramienta Para la generación de los párrafos descriptivos se implementaron y compararon cuatro enfoques: plantillas deterministas (f-strings de Python), fine-tuning de Flan-T5-base, prompting con Qwen2.5-7B-Instruct y Retrieval-Augmented Generation (RAG) en dos variantes, una local con Flan-T5-base y otra que accede a Llama-3.1-8B-Instruct mediante la API de Groq, recuperando ejemplos reales del corpus como guía estilística a través de embeddings (paraphrase-multilingual-MiniLM-L12-v2) e índice FAISS. El módulo de resumen emplea un modelo bert2bert en español entrenado sobre MLSUM, en modo zero-shot. El módulo de clasificación orientado a la valoración global del panorama del ecosistema se exploró con modelos preentrenados de análisis de sentimiento y enfoques zero-shot. Todo el desarrollo se realizó en Python sobre Google Colab. 4. Resultados La evaluación con ROUGE y BLEU sobre el informe real de Vitoria-Gasteiz muestra que las plantillas son el enfoque más fiable para producción, con la máxima fidelidad factual y generación inmediata (ROUGE-1 de 0,719 en tipología y 0,693 en sectores). El fine-tuning resultó inviable por el sobreajuste derivado de la escasez de datos; el prompting, pese a su buena calidad, queda descartado por su tiempo de inferencia (8 a 14 minutos por informe); y el RAG local produjo texto de baja calidad. El RAG servido a través de Groq mejora sustancialmente la naturalidad del texto (media de ROUGE-1 de 0,627 y BLEU de 21,89), por lo que se incorpora como capa opcional de refinamiento estilístico. El módulo de summarization, evaluado en modo zero-shot, produce un resumen general coherente que condensa las cinco dimensiones descriptivas del informe, si bien su utilidad se limita a ofrecer una visión de conjunto y no a sustituir los párrafos interpretativos. En el módulo de valoración global del panorama se constató que los modelos generalistas clasifican los informes descriptivos como neutros de forma sistemática, al tratarse de textos factuales sin carga valorativa explícita; no obstante, cuando el texto incorpora señal interpretativa, los métodos dirigidos permiten captar parcialmente su orientación. 5. Conclusiones Un hallazgo metodológico relevante es que, en un problema de Data-to-Text de dominio cerrado, el enfoque más complejo no es necesariamente el más adecuado. Las plantillas deterministas, pese a su sencillez, ofrecieron la mayor fidelidad factual y trazabilidad, por lo que constituyen el núcleo del sistema, sobre el que el RAG actúa como capa opcional de refinamiento estilístico. Este sistema es aplicable a cualquier ecosistema analizado por Kultursistema sin adaptaciones estructurales, siempre que se mantenga el formato normalizado del fichero Excel de entrada. Las secciones interpretativas, en cambio, dependen del juicio experto y no son automatizables de forma fiable con los recursos disponibles. En conjunto, el trabajo constituye un ejemplo representativo de un problema real de ciencia de datos con datos muy escasos, en el que la vía realista pasa por apoyarse en modelos preentrenados y en técnicas que no requieren grandes corpus, como el prompting, el RAG y el zero-shot.

Introduction Report writing accounts for a significant share of the workload in consultancy, repeatedly combining data extraction, metric computation and text drafting for each client. In cultural consultancy, Kultursistema produces descriptive reports on the cultural agents of different territories from structured data files, following a consistent narrative structure. This process is currently manual, which is time-consuming and limits scalability. Drafting each report manually takes around a week of work (two to three days for the variable-analysis section addressed in this work), a cost that the system reduces by generating the descriptive paragraphs instantly, leaving the consultant with the review and the interpretive sections. This work explores to what extent large language models and other automatic text generation techniques can automate, fully or partially, the production of these reports, in a context defined by the scarcity of reference reports (only six validated examples). 2. Project definition The aim is to develop an automated report generation system that, from a normalized Excel file (1,033 agents and 196 variables in the Vitoria-Gasteiz case study), produces natural language text of a quality comparable to that written by the consulting team. The work focuses on the descriptive sections, which derive directly from the data, and addresses two complementary modules: a general summary of the report (summarization) and a sentiment classification assessing the ecosystem outlook. The interpretive sections, resulting from expert analysis, fall outside the scope of automation. 3. Description of the system Four approaches were implemented and compared for the descriptive paragraphs: rule-based deterministic templates (Python f-strings), fine-tuning of Flan-T5-base, prompting with Qwen2.5-7B-Instruct, and Retrieval-Augmented Generation (RAG) in two variants, a local one with Flan-T5-base and another accessing Llama-3.1-8B-Instruct through the Groq API, retrieving real corpus examples as a stylistic guide via embeddings (paraphrase-multilingual-MiniLM-L12-v2) and a FAISS index. The summarization module uses a Spanish bert2bert model trained on MLSUM, in zero-shot mode. The ecosystem outlook classification module was explored using pretrained sentiment-analysis models and zero-shot approaches. The entire development was carried out in Python on Google Colab. 4. Results Evaluation with ROUGE and BLEU against the real Vitoria-Gasteiz report shows that templates are the most reliable approach for production, with maximum factual fidelity and immediate generation (ROUGE-1 of 0.719 for typology and 0.693 for sectors). Fine-tuning proved unfeasible due to overfitting caused by data scarcity; prompting, despite its good quality, is discarded because of its inference time (8 to 14 minutes per report); and local RAG produced low-quality text. RAG served through Groq substantially improves the naturalness of the text (mean ROUGE-1 of 0.627 and BLEU of 21.89) and is incorporated as an optional stylistic refinement layer. The summarization module, evaluated in a zero-shot setting, produces a coherent general summary that condenses the five descriptive dimensions of the report, although its usefulness is limited to providing an overview rather than replacing the interpretive paragraphs. In the ecosystem outlook classification module, general-purpose models systematically classified the descriptive reports as neutral, since they are factual texts with no explicit evaluative signal; however, when the text includes interpretive content, directed methods are able to capture part of its orientation. 5. Conclusions A relevant methodological finding is that, in a closed-domain Data-to-Text problem, the most complex approach is not necessarily the most suitable. Deterministic templates, despite their simplicity, provided the highest factual fidelity and traceability, and therefore form the core of the system, over which RAG acts as an optional stylistic refinement layer. This system is applicable to any ecosystem analyzed by Kultursistema without adaptations, provided that the normalized format of the input Excel file is maintained. The interpretive sections, by contrast, depend on expert judgment and cannot be reliably automated with the available resources. Overall, this work is a representative example of a real-world data science problem with very scarce data, in which the realistic path relies on pretrained language models and techniques that do not require large corpora, such as prompting, RAG and zero-shot inference.