Metamorphic Testing for Semantic Invariance in Large Language Models

Abstract

Este artículo presenta un marco de pruebas metamórficas para evaluar la invariancia semántica en el razonamiento de grandes modelos de lenguaje. El estudio parte de la limitación de las evaluaciones tradicionales basadas únicamente en la precisión, que no captan la estabilidad del razonamiento ante variaciones semánticamente equivalentes de una misma entrada. Se definen ocho relaciones metamórficas que abarcan transformaciones estructurales, de verbosidad y contextuales, y se aplican a 79 problemas de razonamiento de distintas disciplinas científicas y niveles de dificultad. El análisis compara dos modelos fundacionales recientes y muestra que, aunque ambos alcanzan puntuaciones globales de invariancia similares, presentan perfiles de vulnerabilidad diferentes. Los resultados evidencian que las pruebas metamórficas permiten identificar inestabilidades del razonamiento que no son detectables mediante métricas de precisión convencionales, aportando información relevante para el despliegue seguro de modelos de lenguaje en contextos de alto impacto.

This article introduces a metamorphic testing framework to evaluate semantic invariance in the reasoning of large language models. It addresses the limitations of traditional accuracy-based evaluations, which fail to capture reasoning stability under semantically equivalent input variations. Eight metamorphic relations are defined, covering structural, verbosity, and contextual transformations, and applied to 79 reasoning problems across multiple scientific domains and difficulty levels. The study compares two recent foundation models and shows that, while both achieve similar overall invariance scores, they exhibit distinct vulnerability profiles depending on the type of transformation and domain. The findings demonstrate that metamorphic testing reveals robustness characteristics of language model reasoning that remain invisible to standard benchmarks, providing valuable insights for the reliable deployment of large language models in high-stakes reasoning applications.