Fine-tuning transformer models for M&A target prediction in the U.S. energy sector

Abstract

Este estudio explora la aplicación de modelos transformer directamente para tareas de clasificación en la predicción de objetivos de fusiones y adquisiciones (M&A) dentro del sector energético de Estados Unidos. El objetivo principal es evaluar la capacidad y el rendimiento de diversos modelos basados en transformers para predecir directamente empresas objetivo de M&A, mientras que el objetivo secundario investiga la relación entre las empresas objetivo y el uso de terminología relacionada con energías renovables en sus informes anuales.

Presentamos un enfoque novedoso para la predicción de objetivos de M&A mediante el uso de técnicas avanzadas de Procesamiento del Lenguaje Natural (Natural Language Processing, NLP), como modelos de lenguaje de gran tamaño (Large Language Models, LLMs) basados en transformers y ajustados (fine-tuned) para clasificación directa. Analizamos datos textuales procedentes de los informes presentados ante la SEC por 200 empresas energéticas estadounidenses que cotizan en bolsa y empleamos FinBERT, ALBERT y GPT-3-babage-002 como modelos predictivos de objetivos de M&A.

Aportamos evidencia empírica sobre la capacidad de los LLMs para la clasificación directa de empresas objetivo de M&A, siendo FinBERT —con el uso de oversampling— el modelo con mejor rendimiento, debido a su alta precisión y a la minimización de falsos positivos, aspectos críticos para una toma de decisiones financieras precisa. Además, aunque el estudio revela diferencias clave en las características de los informes de empresas objetivo y no objetivo, no se encuentra evidencia significativa de que las empresas objetivo de M&A utilicen una mayor cantidad de terminología relacionada con energías renovables.

Este trabajo es el primero en aplicar modelos transformer-LLM ajustados para predecir objetivos de M&A, demostrando de manera efectiva su capacidad para esta tarea de clasificación directa como modelos predictivos.

This study explores the application of transformer models directly for classification in predicting mergers and acquisitions (M&A) targets within the U.S. energy sector. The primary objective is to evaluate the capability and performance of various transformer-based models in directly predicting M&A target companies, while the secondary objective investigates the relationship between target companies and renewable energy terminology in their annual reports. We present a novel approach to predicting M&A targets by utilizing cutting-edge Natural Language Processing (NLP) techniques, such as fine-tuned transformer LLMs (Large Language Models) for direct classification. We analyze textual data from 200 publicly-listed US energy companies’ SEC-filings and employ FinBERT, ALBERT, and GPT-3-babage-002 as predictive models of M&A targets. We provide empirical evidence on LLMs’ capability in the direct classification of M&A target companies, with FinBERT utilizing oversampling, being the top-performing model due to its high precision and minimized false positives, critical for precise financial decision-making. Additionally, while the study revealed key differences in target and non-target report characteristics, it finds no significant evidence that M&A target companies use more renewable energy-related terminology. It is the first paper applying fine-tuned transformer-LLMs to predict M&A targets, effectively showcasing their capability for this task of direct classification as predictive models.