Detección y Transcripción Automática de Tablas de Calificaciones en Expedientes Académicos mediante modelo YOLO

Abstract

La revisión de expedientes académicos en procesos de admisión universitaria es una tarea importante, pero en muchos casos sigue realizándose de forma manual. Esto supone un elevado consumo de tiempo y recursos. Este Trabajo de Fin de Máster presenta un sistema automatizado basado en inteligencia artificial para detectar y transcribir tablas de calificaciones presentes en expedientes académicos en formato PDF. En una primera fase, se ha entrenado un modelo YOLOv8 para detectar automáticamente las tablas de calificaciones en imágenes generadas a partir de documentos PDF. El entrenamiento se ha realizado con un conjunto de expedientes reales, y los resultados obtenidos muestran una precisión y exhaustividad superiores al 99 %, con un mAP@0.5:0.95 de 0.94. En una segunda fase, se aplica el modelo a nuevos documentos; las tablas detectadas se recortan y se envían mediante API a OpenAI. A partir de la imagen y con ayuda del modelo GPT-4o, el sistema identifica el curso académico correspondiente y, con esa información, transcribe el contenido de la tabla a formato estructurado (CSV). Finalmente, se ha desarrollado una aplicación interactiva con Streamlit que permite al usuario cargar documentos PDF y obtener automáticamente las tablas detectadas y transcritas. Los resultados del sistema son muy satisfactorios en la mayoría de los casos, si bien existen oportunidades de mejora, especialmente en la fase de transcripción automática. El proyecto demuestra la viabilidad de aplicar técnicas de inteligencia artificial para optimizar procesos administrativos en entornos educativos.The review of academic transcripts in university admission processes is an important task, but in many cases it is still carried out manually, which involves a high consumption of time and resources. This Master's Thesis presents an automated system based on artificial intelligence to detect and transcribe grade tables found in academic transcripts in PDF format.

In a first phase, a YOLOv8 model was trained to automatically detect grade tables in images generated from PDF documents. The training was carried out using a set of real transcripts, and the results show precision and recall above 99%, with a mAP@0.5:0.95 of 0.94. In a second phase, the model is applied to new documents; the detected tables are cropped and sent via API to OpenAI. Based on the image and with the help of the GPT-4o model, the system identifies the corresponding academic year and, using that information, transcribes the content of the table into a structured format (CSV).

Finally, an interactive application was developed using Streamlit, allowing the user to upload PDF documents and automatically obtain the detected and transcribed tables. The system yields very satisfactory results in most cases, although there are opportunities for improvement, especially in the automatic transcription phase. The project demonstrates the feasibility of applying artificial intelligence techniques to optimize administrative processes in educational environments.