Sistema multi-agente para el entrenamiento y optimización de modelos de Machine Learning basado en los protocolos MCP y A2A

Abstract

En este trabajo se aborda el diseño e implementación de la capa de ejecución de un sistema multi-agente para la automatización del pipeline de Machine Learning. Partiendo de la infraestructura de comunicación establecida en el trabajo previo (basada en los protocolos Model Context Protocol (MCP) y Agent-to-Agent (A2A)), este trabajo se centra en los tres servidores MCP que implementan las capacidades de ML del sistema: el Data MCP Server, el ML MCP Server y el Evaluation MCP Server.

El Data MCP Server implementa el ciclo completo de preparación de datos, incluyendo análisis exploratorio, detección de problemas, preprocesamiento y partición del dataset. El ML MCP Server expone un catálogo de algoritmos de Machine Learning (regresión y clasificación) con optimización de hiperparámetros y registro de experimentos. El Evaluation MCP Server calcula métricas estándar para clasificación y regresión, compara modelos entre ejecuciones históricas y genera reportes automáticos en lenguaje natural con el razonamiento completo del pipeline.

El sistema se evalúa sobre cuatro datasets de benchmark y se compara con tres sistemas AutoML clásicos de referencia: AutoGluon, auto-sklearn2 y FLAML. Los resultados demuestran que el sistema propuesto puede producir modelos de calidad comparable a los sistemas AutoML tradicionales en tiempos competitivos, aportando además justificación explícita de cada decisión y trazabilidad completa del proceso. Las diferencias de rendimiento observadas son atribuibles al catálogo de herramientas disponible, no a la calidad del razonamiento del agente LLM, que seleccionó el algoritmo óptimo dentro del catálogo disponible en todos los casos evaluados.

This work addresses the design and implementation of the execution layer of a multi-agent system for Machine Learning pipeline automation. Building upon the communication infrastructure established in the previous work (based on the Model Context Protocol (MCP) and Agent-to-Agent (A2A) protocols), this work focuses on the three MCP servers that implement the system's Machine Learning capabilities: the Data MCP Server, the ML MCP Server, and the Evaluation MCP Server.

The Data MCP Server implements the complete data preparation lifecycle, including exploratory data analysis, issue detection, preprocessing, and dataset splitting. The ML MCP Server exposes a catalog of Machine Learning algorithms (for both regression and classification), featuring hyperparameter optimization and experiment tracking. The Evaluation MCP Server computes standard classification and regression metrics, compares models across historical runs, and generates automatic natural-language reports containing the complete reasoning behind the pipeline.

The system is evaluated on four benchmark datasets and compared against three established AutoML baselines: AutoGluon, auto-sklearn2, and FLAML. The results demonstrate that the proposed system can produce models of comparable quality to traditional AutoML systems within competitive execution times, while additionally providing explicit justification for each decision and complete process traceability. The observed performance differences are attributable to the available tool catalog rather than to the quality of the LLM agent's reasoning, as the agent selected the optimal algorithm within the available catalog in all evaluated cases.