Herramientas de aprendizaje automático con redes neuronales para el reconocimiento de Lengua de Señas Colombiana

Abstract

RESUMEN : Este estudio aborda la mejora de la inclusión social mediante la creación de un sistema de traducción para la Lengua de Señas Colombiana (LSC), aprovechando avances en inteligencia artificial. Se utiliza tecnología de redes neuronales, específicamente redes neuronales recurrentes con unidades de procesamiento GRU y LSTM. Estas se optimizaron buscando los mejores hiperparámetros en plataformas como TensorFlow y Keras. Además, se propone el desarrollo de una plataforma colaborativa para unir a organizaciones interesadas en el proyecto. Esto permitirá crear un amplio corpus de LSC, esencial para el crecimiento del proyecto. Se utilizó FastAPI para mejorar la interfaz de usuario, complementada con React, y Kubernetes para sostener la infraestructura, asegurando su escalabilidad y eficiencia. El proyecto incluyó la creación de un corpus con 1500 videos de LSC. Esto no solo facilitó el entrenamiento de los modelos, sino que también generó una base de datos valiosa para futuras investigaciones. Los resultados preliminares indican un progreso notable en la interpretación automática de LSC, lo que podría tener un impacto significativo en la comunicación y la integración de la comunidad sorda en Colombia. Se desarrollaron experimentos comparando el desempeño de dos tipos de redes neuronales recurrentes con capas GRU y LSTM, obteniendo un desempeño promedio en la métrica en el F1 de 84.62% ± 11.04% con la red LSTM, mientras que con la red GRU se obtuvo un rendimiento promedio en el F1 del 91.17% ± 3.76%, lo que demostró una estabilidad mayor con las capas GRU.

ABSTRACT : This study addresses the improvement of social inclusion by creating a translation system for Colombian Sign Language (LSC), leveraging advances in artificial intelligence. Neural network technology is used, specifically recurrent neural networks with GRU and LSTM processing units. These were optimized by seeking the best hyperparameters on platforms such as TensorFlow and Keras. In addition, the development of a collaborative platform is proposed to bring together organizations interested in the project. This will allow the creation of a broad LSC corpus, essential for the project’s growth. FastAPI was used to improve the user interface, complemented with React, and Kubernetes to sustain the infrastructure, ensuring its scalability and efficiency. The project included the creation of a corpus with 1500 LSC videos. This not only facilitated the training of the models but also generated a valuable database for future research. Preliminary results indicate significant progress in the automatic interpretation of LSC, which could have a significant impact on communication and the integration of the deaf community in Colombia. Experiments were conducted comparing the performance of two types of recurrent neural networks with GRU and LSTM layers, achieving an average performance on the F1 metric of 84,62%±11,04% with the LSTM network, while with the GRU network, an average performance on the F1 of 91,17%±3,76% was obtained, demonstrating greater stability with GRU layers.