Immersive virtual reality platform for sign language learning through automatic gesture recognition and translation

Abstract

El proyecto desarrollado consiste en el diseño e implementación de una plataforma inmersiva en realidad virtual orientada al aprendizaje guiado de lengua de signos americana (ASL), denominada ASL LearnVR. El sistema permite al usuario practicar signos manuales mediante seguimiento óptico de la mano en tiempo real, recibir retroalimentación inmediata sobre su ejecución y comparar su gesto con una referencia visual dentro del propio entorno inmersivo. La propuesta no se centra únicamente en reconocer si un signo es correcto o incorrecto, sino en facilitar un proceso de práctica guiada en el que el usuario pueda identificar errores concretos y corregirlos progresivamente. Para ello, la plataforma integra reconocimiento determinista de gestos, análisis por dedo, manos guía y distintos modos de interacción orientados al aprendizaje.

The project developed consists of the design and implementation of an immersive virtual reality platform aimed at guided learning of American Sign Language (ASL), named ASL LearnVR. The system allows the user to practice manual signs through real-time optical hand tracking, receive immediate feedback on their execution, and compare their gesture with a visual reference within the immersive environment itself. The proposal is not limited to recognizing whether a sign is correct or incorrect, but rather focuses on facilitating a guided practice process in which the user can identify specific errors and progressively correct them. To achieve this, the platform integrates deterministic gesture recognition, finger-level analysis, guiding hands, and different interaction modes oriented towards learning.