Scenario Generation for the Comparison of Automated Vehicle Variants

Abstract

Antes de que los vehículos autónomos estén disponibles al público, es necesario asegurarse de que son suficientemente seguros. Este proceso de validación se puede realizar a través de pruebas con vehículos reales o mediante simulaciones. En las simulaciones, se realizan pruebas con un modelo de un vehículo autónomo en escenarios virtuales. El proceso de generación de escenarios consiste en realizar algunas variaciones a un determinado escenario para encontrar una situación crítica para el vehículo. A partir de este proceso se desarrolla un método. Sin embargo, en este caso, el método compara dos sistemas (o vehículos) y busca escenarios específicos en los que se maximiza la diferencia de comportamiento entre los dos sistemas. En el proceso de generación de escenarios, se define un escenario base. Éste incluye la carretera, los vehículos y sus maniobras. De estos parámetros que definen el escenario, algunos de ellos se eligen como parámetros variables. Estos son los parámetros que cambian de una prueba a otra para tener simulaciones en diferentes escenarios. La forma de elegir los valores para estos parámetros variables puede ser al azar o mediante un proceso iterativo. El trabajo se centra en utilizar el proceso iterativo, específicamente a través de algoritmos evolutivos. Después del desarrollo del método, se ejecutan dos experimentos. El primer escenario es una maniobra de adelantamiento. Esta es la prueba de concepto y en ella se eligen los parámetros del algoritmo evolutivo. En el segundo experimento, se comparan cuatro algoritmos diferentes para generar escenarios partiendo del mismo escenario base. Dos de estos algoritmos son algoritmos evolutivos y los otros dos son métodos de muestreo aleatorio. En este experimento, los métodos de muestreo aleatorio funcionan mejor que los algoritmos evolutivos. Los resultados muestran que el método es capaz de generar escenarios para encontrar las situaciones en las que los dos sistemas tienen mayores diferencias. Los algoritmos que obtuvieron mejores resultados son los métodos de muestreo aleatorio y un método mixto entre el muestreo aleatorio y los algoritmos evolutivos.Before autonomous vehicles are available to the public, it needs to be ensured that they are safe enough. This validation process can be made through test with real vehicles or through simulations. In the simulations, a model of the autonomous vehicle is tested in virtual scenarios. The scenario generation process consists on making some variations to a certain scenario in order to find a critical situation for the vehicle. Based on this, a method is developed. However, in this case the method compares two systems (or vehicles) and tries to find specific scenarios in which the behavior difference between the two systems is maximized. In scenario generation, a base scenario is defined. It includes the road, the vehicles and their maneuvers. From these parameters that define the scenario, some of them are selected to be variable parameters. These are the parameters that change from one test to another in order to have simulations in different scenarios. The way to choose the values for these variable parameters is either randomly or by an iterative process. The work is focused on using the iterative process, specifically through evolutionary algorithms. After the method development, two experiments are run. The first scenario is an overtaking maneuver. This is the proof of concept and in this experiment the evolutionary algorithm parameters are chosen. In the second experiment, four different algorithms to generate scenarios are compared in the same base scenario. Two of these algorithms are evolutionary algorithms and the other two are random sampling methods. In this experiment the random sampling methods outperform the evolutionary algorithms. The results show that the method is able to generate scenarios to find the situations where the two systems have greater differences. The algorithms which obtained better results are the random sampling methods and a mixed method between random sampling and evolutionary algorithms.