Clasificación sobre Texto, Exploraciónde técnicas de Procesamiento de Lenguaje Natural y su impacto en el rendimiento sobre los Transformers

Abstract

A lo largo de este documento trataremos distintos modelos orientados al procesamiento de lenguaje natural, en especial los Transformers, propuestos en 'Attention is all you need', así como diversas técnicas (Fine-Tune del Tokenizer y Data Augmentation) que permitan aumentar el rendimiento de estos y la medición del impacto que generan sobre los mismos.

Throughout this article we will study in detail differents natural language procesing models, specially Transformers, introduced in 'Attention is all you need', diverse techniques (Tokenizer Fine-Tune and Data Augmentation) that will increases their performance as well as the impact generated on them.