Análisis de modelos de machine learning para la detección y prevención de amenazas en ciberseguridad de redes

Abstract

Este trabajo analiza y compara seis modelos de Machine Learning aplicados a la detección de intrusiones en redes sobre el dataset CICIDS2017, que contiene más de 1.600.000 flujos de red etiquetados en diez categorías de tráfico. Los modelos evaluados son K-Nearest Neighbors (KNN), árbol de decisión CART, Random Forest, red neuronal MLP, Support Vector Machine (SVM) y el modelo de lenguaje Llama 3.2-1B en modo zero-shot. Para el tratamiento del desequilibrio de clases se aplica SMOTE sobre el conjunto de entrenamiento, y se usa el F1-macro como métrica principal de evaluación. La búsqueda de hiperparámetros se realiza mediante GridSearchCV o RandomizedSearchCV según el modelo, siempre evaluando sobre un conjunto de test independiente. Random Forest con SMOTE obtiene el mejor resultado global con un F1-macro de 0,83, seguido de KNN con 0,78 sobre submuestra, CART con 0,71, MLP con 0,70 y SVM con 0,45. El experimento con Llama 3.2-1B obtiene un F1-macro de 0,02, equivalente a clasificar todo el tráfico como benigno, lo que confirma que un modelo de lenguaje pequeño sin ajuste específico no es adecuado para esta tarea. El análisis por clase muestra que los modelos supervisados detectan bien los ataques con patrones repetitivos como DDoS o FTP-Patator, pero fallan en los más graves como SQL Injection e Infiltration, una limitación estructural del enfoque basado en características de flujo sin inspección de paquetes. El trabajo incluye además una sección sobre Claude Mythos Preview, modelo de Anthropic con capacidades avanzadas en detección de vulnerabilidades, que ilustra el papel complementario de los LLMs en ciberseguridad frente a los clasificadores supervisados tradicionales.

This work analyses and compares six Machine Learning models applied to network intrusion detection using the CICIDS2017 dataset, which contains over 1,600,000 network flows labelled across ten traffic categories. The models evaluated are K-Nearest Neighbors (KNN), CART decision tree, Random Forest, MLP neural network, Support Vector Machine (SVM) and the Llama 3.2-1B language model in zero-shot mode. SMOTE is applied to the training set to address class imbalance, and macro F1-score is used as the primary evaluation metric. Hyperparameter tuning is performed using GridSearchCV or RandomizedSearchCV depending on the model, always evaluated on an independent test set. Random Forest with SMOTE achieves the best overall result with a macro F1 of 0.83, followed by KNN with 0.78 on a subsample, CART with 0.71, MLP with 0.70 and SVM with 0.45. The Llama 3.2-1B experiment achieves a macro F1 of 0.02, equivalent to classifying all traffic as benign, confirming that a small language model without task specific fine-tuning is not suitable for this task. The per class analysis shows that supervised models perform well on attacks with consistent patterns such as DDoS or FTP-Patator, but struggle with more severe attacks like SQL Injection and Infiltration, a structural limitation of flow-based features without packet inspection. The work also includes a section on Claude Mythos Preview, an Anthropic model with advanced vulnerability detection capabilities, illustrating the complementary role of LLMs in cybersecurity alongside traditional supervised classifiers