Evaluación del razonamiento jurídico de los modelos de lenguaje ante el examen de acceso a la Abogacía Española

Abstract

La aplicación de modelos lingüísticos de inteligencia artificial en el ámbito legal plantea desafíos críticos. Aunque en inglés han mostrado gran rendimiento en lógica y argumentación jurídica, faltan evaluaciones en español. Surgen así dos preguntas: si esos resultados son extrapolables al castellano y si alcanzarían un nivel adecuado de razonamiento jurídico. Para explorarlo, se organizó un hackathon con estudiantes de Ingeniería y Derecho, quienes probaron a los LLMs frente al examen oficial de acceso a la abogacía en España. Los sistemas lograron alta precisión sin justificar respuestas (85,5/100), pero descendieron cuando se exigió razonamiento legal (66,67/100), variando según la materia. Se concluye que los LLMs funcionan mejor en inglés, requieren evaluaciones multidimensionales y aún precisan supervisión jurídica y ética para su uso profesional.

The application of artificial intelligence linguistic models in the legal field poses critical challenges. Although they have performed well in English in terms of logic and legal argumentation, there is a lack of evaluations in Spanish. This raises two questions: whether these results can be extrapolated to Spanish and whether they would achieve an adequate level of legal reasoning. To explore this, a hackathon was organised with engineering and law students, who tested the LLMs against the official bar exam in Spain. The systems achieved high accuracy without justifying answers (85,5/100), but their performance declined when legal reasoning was required (66,67/100), varying according to the subject matter. It was concluded that LLMs work better in English, require multidimensional evaluations, and still need legal and ethical supervision for professional use.