Desarrollo de una herramienta de análisis de sentimiento en tiempo real para comprender la percepción pública a través de Google Noticias

Abstract

RESUMEN : Hoy en día, en la era digital, los datos de las noticias digitales son la mina de oro de la opinión pública y de las tendencias emergentes en el tiempo. De este proyecto esperamos que surja una potente máquina analítica que nos permita explorar esta riqueza de datos para encontrar significado dentro de ellos. Además del hecho de que queremos que esta herramienta evolucione a través de niveles más altos de sofisticación de la ciencia y el análisis de datos, la visión es que esta herramienta esté en progreso y se actualice continuamente para aprender y adaptarse a entornos cambiantes según sea necesario. Esta información puede tener un valor incalculable para empresas, investigadores y organismos gubernamentales, interesados en conocer mejor las opiniones del público en general sobre diversos temas de la sociedad actual. Se entrenaron desde cero cuatro modelos siguiendo la arquitectura de BERT, para la clasificación de noticias en positivas o negativas. El mejor modelo tuvo un accuracy de 72%, precisión de 80%, recall de 80%, F1 score de 80%, adicionalmente la grafica ROC muestra un 89% de probabilidades de que el modelo clasifique correctamente un ejemplo positivo de uno negativo.

ABSTRACT : Today in digital era, digital news data is the gold mine of public opinion and time-emerging trend. Coming out of this project we expect a powerful analytical machine that will allow us to explore this wealth of data to find meaning within that data. Besides the fact that we want this tool to evolve across higher levels of sophistication of data science and analysis, the vision is that this tool is in progress and continuously updated to learn and adapt to changing environments as needed. This information can be invaluable to companies, researchers, and government agencies, as they are interested in learning more about the views of the general public on various issues in current society. Four models were trained from scratch following the BERT architecture for the classification of news into positive or negative. The best model obtained an accuracy of 72%, a precision of 80%, a recall of 80% and an F1 score of 80%. In addition, the ROC plot shows an 89% probability that the model correctly classifies a positive example from a negative one.