Parametrización y optimización de una red neuronal recurrente aplicada a la generación de texto

Abstract

Las redes neuronales artificiales son uno de los métodos de procesamiento y generación de información con una mayor capacidad de desarrollo en el futuro. A lo largo de este proyecto se desarrolla una búsqueda de los mejores valores de los hiperparámetros que componen una red neuronal recurrente, en este caso destinada a la generación de poesía. Los hiperparámetros son las características de una red neuronal artificial establecidas manualmente de forma previa al procesamiento de los datos, que determinan la forma en que la red va a gestionar la información de entrada y que por tanto van a afectar de forma activa al comportamiento de la red. Los valores buscados serán aquellos que optimicen el modelo creado, de forma que permita generar versos con la mayor calidad posible, sin comprometer en exceso la complejidad de la red. Para obtenerlos, será necesario establecer un sistema de evaluación que posibilite calificar los versos. A través de dicho sistema, se evaluará la influencia de los hiperparámetros en los versos generados por la red, atendiendo a la calificación que se ha obtenido para los diferentes valores de los hiperparámetros. Finalmente, se establecerá cuál es la combinación óptima de los hiperparámetros, así como su nivel de influencia final sobre el comportamiento de la red.

Artificial neural networks are one of the methods of processing and generating information with the greatest capacity for development in the future. Throughout this project, a search for the best values of the hyperparameters that make up a recurrent neural network is being developed, in this case for poetry generation. Hyperparameters are the characteristics of an artificial neural network established manually prior to data processing, which determine the way in which the network will manage the input information and will therefore actively affect the behavior of the network. The values sought will be those that optimize the model created, so that it allows verses to be generated with the highest possible quality, without excessively compromising the complexity of the network. To obtain them, it will be necessary to establish an evaluation system that makes it possible to grade the verses. Through this system, the influence of the hyperparameters on the verses will be evaluated, considering the qualification that has been obtained for the different values of the hyperparameters. Finally, from the different evaluations obtained, the results will be analyzed and the optimal combination of the hyperparameters will be established, as well as their final level of influence on the behavior of the network.