OneMap+: evaluación, extensiones y despliegue eficiente de un mapeo semántico open-vocabulary para navegación multi-objeto en tiempo real

Abstract

Los sistemas autónomos modernos no solo necesitan detectar obstáculos, sino también comprender escenas y objetivos expresados en lenguaje natural. En estos contextos, los modelos de visión-lenguaje emergen como herramientas eficaces para relacionar información visual del entorno con consultas semánticas. Debido a ello, el idioma deja de ser un simple medio de comunicación con el usuario para convertirse en un factor que interviene en la interpretación del sistema. Este trabajo se plantea, por tanto, desde una doble vertiente: incorporar el consumo energético como métrica adicional de evaluación y analizar el efecto del idioma sobre el rendimiento de los modelos.

Tomando OneMap como marco orientador, se desarrollan varios experimentos complementarios. Inicialmente, se evalúan cinco modelos de lenguaje en trece idiomas mediante problemas de razonamiento. Seguidamente, se analizan modelos de visión-lenguaje en tareas de percepción visual aplicadas a escenarios de navegación. Finalmente, se estudia la influencia del idioma en el grounding visual mediante arquitecturas CLIP multilingües.

Los resultados reflejan la existencia de una dependencia lingüística en los sistemas evaluados. El idioma afecta a la calidad y al contenido de las respuestas, así como al consumo energético asociado a la inferencia. No obstante, la variación del coste computacional depende principalmente del modelo y de la arquitectura empleados. En grounding visual, el idioma puede además afectar a la localización espacial de los conceptos dentro de la imagen.Modern autonomous systems must not only detect obstacles, but also understand scenes and objectives expressed in natural language. In these contexts, vision-language models emerge as effective tools for relating visual information from the environment to semantic queries. As a result, language is no longer merely a means of communication with the user, but becomes a factor that influences the system’s interpretation. This work therefore follows a twofold approach: incorporating energy consumption as an additional evaluation metric and analysing the effect of language on model performance.

Using OneMap as a guiding framework, several complementary experiments are conducted. First, five language models are evaluated across thirteen languages using reasoning problems. Next, vision-language models are analysed in visual perception tasks applied to navigation scenarios. Finally, the influence of language on visual grounding is studied using multilingual CLIP architectures.

The results reveal the existence of linguistic dependence in the systems evaluated. Language affects both the quality and content of the generated responses, as well as the energy consumption associated with inference. Nevertheless, variations in computational cost depend mainly on the model and architecture employed. In visual grounding tasks, language may also affect the spatial localisation of concepts within an image.