Simulación de la política de triaje en urgencias hospitalarias mediante gemelos digitales y agentes entrenados por aprendizaje por refuerzo - Castello Diez, Beatriz

Abstract

Este trabajo explora el uso combinado de gemelos digitales y algoritmos de aprendizaje por refuerzo (RL) como solución innovadora para mejorar el proceso de triaje hospitalario en servicios de urgencias. En un contexto de creciente presión asistencial sobre los hospitales, el triaje se convierte en una herramienta crítica para priorizar pacientes según la gravedad de su estado clínico. Sin embargo, los sistemas actuales presentan limitaciones, como la variabilidad entre profesionales y la falta de adaptación dinámica. En respuesta, se plantea el desarrollo de un gemelo digital –una réplica virtual del entorno de urgencias – sobre el cual se entrena un agente de IA utilizando técnicas avanzadas de RL.

El objetivo principal del trabajo es demostrar que un agente entrenado mediante RL, y en concreto con el algoritmo Proximal Policy Optimization (PPO), puede superar en precisión y eficiencia tanto a una política heurística basada en severidad como una política aleatoria. Para ello se implementa un entorno simulado en Python con la librería Gym, donde se modela la llegada de pacientes, la gravedad de sus síntomas, el tiempo de espera y la capacidad del hospital. En este entorno, el agente debe decidir a quién atender en cada turno con el objetivo de maximizar una recompensa diseñada para premiar la atención de pacientes graves y minimizar los tiempos de espera.

Durante el desarrollo se utilizan dos algoritmos de aprendizaje por refuerzo profundo: Deep Q-Network (DQN), un método basado en valores, y PPO, un método basado en políticas. Finalmente, se analiza la viabilidad del uso de estos sistemas en entornos reales, así como las barrearas tecnológicas, éticas y legales que deben ser abordadas para su implementación.This paper explores the combined use of digital twins and reinforcement learning (RL) algorithms as an innovative solution to improve the hospital triage process in emergency departments. In a context of increasing care pressure on hospitals, triage becomes a critical tool to prioritize patients according to the severity of their clinical condition. However, current systems have limitations, such as variability among professionals and lack of dynamic adaptation. In response, the development of a digital twin - a virtual replica of the medical emergency environment - on which an AI agent is trained using advanced RL techniques is proposed.

The main objective of the work is to demonstrate that an agent trained using RL, and specifically with the Proximal Policy Optimization (PPO) algorithm, can outperform in accuracy and efficiency both a heuristic policy based on severity and a random policy. For this purpose, a simulated environment is implemented in Python with the Gym library, where the arrival of patients, the severity of their symptoms, the waiting time and the capacity of the hospital are modeled. In this environment, the agent must decide who to attend to in each shift with the objective of maximizing a reward designed to reward the care of serious patients and minimize waiting times.

Two deep reinforcement learning algorithms are used during the development: Deep Q-Network (DQN), a value-based method, and PPO, a policy-based method. Finally, the feasibility of using these systems in real environments is analysed, as well as the technological, ethical and legal barriers that must be addressed for their implementation.