A Multi-Layer Verification Harness for LLM-Generated Code Patches

Abstract

Este trabajo presenta un entorno de verificación multicapa para evaluar parches de código generados por LLMs. La motivación principal parte de una limitación habitual en los sistemas de reparación automática de programas: muchos parches se consideran correctos únicamente porque superan los tests existentes del repositorio. Sin embargo, pasar una batería de pruebas no siempre garantiza que el parche satisfaga realmente el comportamiento esperado descrito por el usuario en la incidencia original. Para abordar este problema, el proyecto propone un marco de verificación compuesto por tres capas complementarias. La primera capa realiza una verificación estática sin ejecutar el código. En ella se comprueba la validez sintáctica del parche, se extraen métricas estructurales y se calcula un Índice de Calidad Estática a partir de herramientas como Pylint, Radon, Flake8, Mypy y Bandit. Esta capa proporciona una señal temprana sobre la calidad, mantenibilidad, estilo, tipado y seguridad del código. La segunda capa realiza una verificación dinámica aplicando el parche en un entorno contenerizado y ejecutando los tests originales del repositorio, siguiendo la misma lógica de evaluación empleada en SWE-bench. Este paso permite comprobar si el parche resuelve los fallos esperados sin introducir regresiones. La tercera capa introduce una verificación semántica. Para ello, se extraen afirmaciones verificables a partir de la descripción en lenguaje natural de la incidencia. Estas afirmaciones guían la generación de tests adicionales mediante el uso de un bucle agéntico, con el objetivo de comprobar si el parche refleja la intención real del usuario y no solo si supera los tests disponibles. El sistema se evaluó sobre SWE-bench Lite, los resultados muestran que la verificación multicapa ofrece señales más completas y permite detectar diferencias de comportamiento que una validación basada únicamente en test unitarios podría pasar por alto.

This thesis presents a multi-layer verification harness for evaluating Python code patches generated by Large Language Models. The main motivation is that current automated program repair systems are often evaluated primarily against existing unit tests, which can confirm test-suite correctness but do not always guarantee that a patch truly satisfies the intended behavior described in a software issue. To address this limitation, the project proposes a verification framework composed of three complementary layers. The first layer performs static verification without executing the code. It checks syntax validity, extracts structural information from the patch, and computes a Static Quality Index based on tools such as Pylint, Radon, Flake8, Mypy, and Bandit. This provides an early signal about code quality, maintainability, typing, style, and security. The second layer performs dynamic verification by applying the candidate patch inside a controlled containerized environment and running the repository’s original test suite, following the evaluation logic used in SWE-bench. This step verifies whether the patch preserves existing behavior and resolves the original failing tests. The third layer introduces semantic verification. It extracts behavioral claims from the natural-language issue description and uses them to guide the generation of additional executable tests through an agentic loop. These tests are validated against both the buggy and reference versions of the repository, aiming to identify whether the generated patch captures the intended behavior rather than merely passing the available tests. The system was evaluated on SWE-bench Lite, and the results show that the layered approach provides richer verification signals and detects behavioral differences that traditional test-based validation misses.