Fine-tuning ClimateBert transformer with ClimaText for the disclosure analysis of climate-related issues in corporates’ financial and non-financial reports

Abstract

Este artículo analiza la aplicación de técnicas avanzadas de procesamiento del lenguaje natural para identificar la divulgación de riesgos financieros relacionados con el cambio climático en informes financieros y no financieros de las empresas. Mediante aprendizaje por transferencia, los autores ajustan dos modelos basados en transformadores, BERT y ClimateBert, utilizando la base de datos ClimaText, compuesta por textos procedentes de Wikipedia, informes 10-K y fuentes web. Los resultados muestran que el modelo ClimateBert ajustado supera tanto a BERT como a otros enfoques previos en la detección de contenidos relacionados con el cambio climático. El estudio destaca la utilidad de estos modelos para inversores, reguladores y empresas, facilitando el seguimiento de la divulgación de riesgos climáticos en un contexto de creciente regulación y demanda de transparencia. Asimismo, se subraya que la metodología empleada es computacionalmente eficiente y accesible para distintas organizaciones.This paper analyses the use of advanced natural language processing techniques to detect the disclosure of climate-related financial risks in corporate financial and non-financial reports. Using transfer learning, the authors fine-tune two transformer-based models, BERT and ClimateBert, on the ClimaText database, which includes text from Wikipedia, 10-K reports and web-based sources. The results show that the fine-tuned ClimateBert model outperforms BERT and previous approaches in identifying climate change-related content. The study highlights the relevance of these tools for investors, regulators and companies, enabling effective monitoring of climate risk disclosure in a context of increasing regulatory requirements and transparency demands. In addition, the proposed methodology is computationally efficient and accessible for a wide range of organizations.