Comparing BERT against traditional machine learning text classification

Abstract

El modelo BERT ha surgido como un estado de modelo de última generación en los últimos años. Es capaz de hacer frente a las tareas de PNL. como la clasificación de texto supervisada sin supervisión humana. Su flexibilidad para hacer frente a cualquier corpus y ofrecer excelentes resultados. ha hecho que este enfoque sea muy popular en la academia y la industria. Aunque, otros enfoques se han utilizado antes con éxito. Primero presentamos BERT y una revisión de los enfoques clásicos de PNL. Luego, probamos empíricamente con un conjunto de diferentes escenarios la comportamiento de BERT contra el vocabulario tradicional TF-IDF alimentado a los algoritmos de ML. El propósito de este trabajo es agregar datos empíricos evidencia para respaldar el uso de BERT como predeterminado en las tareas de NLP. Los experimentos muestran la superioridad de BERT y su independencia de características del problema de la PNL como el lenguaje del texto agregar evidencia empírica para usar BERT como una técnica predeterminada en problemas de PNL.The BERT model has arisen as a popular state-of- the-art model in recent years. It is able to cope with NLP tasks such as supervised text classification without human supervision. Its flexibility to cope with any corpus delivering great results has make this approach very popular in academia and industry. Although, other approaches have been used before successfully. We first present BERT and a review on classical NLP approaches. Then, we empirically test with a suite of different scenarios the behaviour of BERT against traditional TF-IDF vocabulary fed to ML algorithms. The purpose of this work is adding empirical evidence to support the use of BERT as a default on NLP tasks. Experiments show the superiority of BERT and its independence of features of the NLP problem such as the language of the text adding empirical evidence to use BERT as a default technique in NLP problems.