Asociación de textos mediante procesamiento del lenguaje natural (NLP)

Abstract

Este proyecto consiste en el desarrollo de un modelo de inteligencia artificial que permita generar asociaciones entre textos de distinto formato y contenido empleando técnicas de procesamiento del lenguaje natural (NLP). El sistema diseñado debe poder relacionar textos que compartan un mismo tema de manera automática y sin requerir de ningún tipo de entrenamiento. Además, este trabajo busca cubrir las necesidades de un proyecto real de la empresa colaboradora The Wise Seeker, en el que se desea realizar una recomendación de cursos online a partir de una evaluación sobre un determinado conocimiento. Para realizar esto, se desarrolla un modelo de NLP con las tecnologías de OpenAI que resultan ser las más efectivas después de haber hecho pruebas con otras alternativas existentes dentro del estado del arte. El modelo utiliza la API de ChatGPT para caracterizar un texto de entrada y los posibles textos objetivo con unas palabras clave que describen el tema principal de cada texto. Después, estas caracterizaciones se transforman en vectores numéricos (embeddings) con los modelos de OpenAI. Finalmente, se calcula la distancia entre el vector del texto de entrada y el de cada texto objetivo para determinar qué textos tienen un tema más similar al del primero.

This project involves the creation of an artificial intelligence model that allows generating associations between texts of different formats and content using natural language processing (NLP) techniques. The designed system should be able to automatically relate texts that share the same topic without requiring any kind of training. Additionally, this work aims to satisfy the needs of a real project for the company, The Wise Seeker, where the goal is to recommend online courses based on an evaluation of specific knowledge.

To achieve this, an NLP model is developed using OpenAI technologies, which have proven to be the most effective after testing other alternatives in the state of the art. The model utilizes the ChatGPT API to characterize an input text and potential target texts using keywords that describe the main topic of each text. These characterizations are then transformed into numerical vectors (embeddings) using OpenAI models. Finally, the distance between the input text vector and each target text vector is calculated to determine which texts have a more similar topic to the input text.