Detección de palabras clave en el análisis de sentimiento de tweets usando técnicas de ML

Abstract

RESUMEN : El desarrollo del presente trabajo se basa en identificar las palabras claves que manifiestan la carga de sentimiento clasificados como positivo, negativo y neutral sobre un conjunto de tweets. Se diseñaron 7 modelos, dos de ellos con redes neuronales convolucionales y redes neuronales recurrentes para el etiquetado de sentimiento como ejercicio de ilustración ya que los tweets están previamente anotados, un baseline que implementan 3 estrategias de preprocesamiento de texto para la salida e implementación de arquitecturas con capas de BERT y RoBERTa, estos para detectar las palabras claves del tweet que poseen la carga de sentimiento el cual es objetivo principal de la tarea. El modelo que mejor resultados arrojó según la métrica del índice de Jaccard fue el implementado con RoBERTa con un valor de 0.749, es importante anotar que uno de los baseline implementado con una capa de embedding a partir de una matriz de coocurrencia generada por la técnica Glove haya obtenido un valor de 0.586 del promedio del índice de Jaccard por encima de la implementación con BERT que fue del 0.549 sobre la misma métrica. La exploración de los datos evidenció que la eliminación de caracteres especiales y palabras con poco significado semántico permiten mejorar el desempeño de los modelos además la creación de estrategias de preprocesamiento de texto para la variable objetivo ayuda a implementar un baseline con un buen desempeño para regirse como punto de referencia en el diseño de modelos más robustos.

ABSTRACT : The present work is focused on identifying the keywords that manifest the sentiment load classified as positive, negative, and neutral on a set of tweets. 7 models were designed, two of them with convolutional neural networks and recurrent neural networks for the labeling of sentiment as an illustration exercise since the tweets are previously annotated, a baseline that implements 3 text preprocessing strategies for the output and implementation of architectures with layers of BERT and RoBERTa, these to detect the keywords of the tweet that have the sentiment load which is the main objective of the task. The model that produced the best results according to the Jaccard index metric was the one implemented with RoBERTa with a value of 0.749, it is important to note that one of the baselines implemented with an embedding layer from a co-occurrence matrix generated by the Glove technique obtained a value of 0.586 from the average of the Jaccard index above the implementation with BERT which was 0.549 on the same metric. The exploration of the data showed that the elimination of special characters and words with little semantic meaning allow to improve the performance of the models, and the creation of text preprocessing strategies for the target variable helps to implement a baseline with a good performance to be governed as benchmark for the design of more robust models.