Cross-platform evaluation of reasoning capabilities in foundation models across heterogeneous computational infrastructures

Abstract

Este artículo presenta una evaluación comparativa de las capacidades de razonamiento de modelos fundacionales de lenguaje en diferentes infraestructuras computacionales, incluyendo supercomputación, servicios en la nube y clústeres universitarios. El estudio analiza quince modelos mediante un benchmark de 79 problemas distribuidos en ocho dominios académicos. Los resultados muestran que la calidad del razonamiento depende principalmente del modelo y no de la infraestructura utilizada, siempre que las condiciones de inferencia sean equivalentes. Además, se identifican diferencias relevantes entre precisión final y transparencia del razonamiento paso a paso. El trabajo destaca que modelos más pequeños y optimizados pueden superar a arquitecturas de mayor tamaño y propone una metodología reproducible para la evaluación de modelos de inteligencia artificial en contextos científicos y educativos.

This article presents a comparative evaluation of reasoning capabilities in foundation language models across different computational infrastructures, including supercomputers, cloud services, and university clusters. The study analyzes fifteen models using a benchmark of 79 problems distributed across eight academic domains. Results show that reasoning quality primarily depends on the model itself rather than on the infrastructure, provided that inference conditions remain equivalent. The paper also identifies significant differences between final-answer accuracy and step-by-step reasoning transparency. Furthermore, the study demonstrates that smaller and better-optimized models can outperform larger architectures in reasoning tasks. Finally, the authors propose a reproducible framework for evaluating artificial intelligence models in scientific, educational, and research-oriented environments.