Análisis de Logs de las APIs de TABi Connect usando Machine Learning: Optimización del proceso de monitoreo de APIs de TABi connect en el proceso automático de cotización de cargas usando Inteligencia Artificial. Semestre de industria

Abstract

RESUMEN : Este proyecto hecho en TABi Connect tiene como objetivo desarrollar un sistema de análisis de logs de APIs utilizando Inteligencia Artificial con el fin de optimizar el monitoreo y la identificación de problemas en su proceso de cotización automática de cargas. El proyecto siguió un enfoque cuantitativo, aplicando la metodología CRISP-DM en cuatro etapas: comprensión del problema, preparación de datos, modelamiento y evaluación de resultados. Se implementó un pipeline de datos que extrae, transforma, carga y limpia los logs desde Amazon CloudWatch utilizando Python. Posteriormente, se ajustaron y evaluaron modelos de Machine Learning no supervisados, como DBSCAN y Latent Dirichlet Allocation (LDA), para identificar patrones y categorizar errores. Los resultados muestran que el modelo LDA clasificó los errores en cuatro temas principales: validación de datos, excepciones internas, errores de servidor y solicitudes externas, con un impacto significativo en la priorización de problemas. Por otro lado, aunque el modelo DBSCAN mostró un buen rendimiento en las métricas Silhouette y Calinski-Harabasz, sus patrones no fueron completamente interpretables desde el punto de vista del negocio. Las implicaciones prácticas incluyen la reducción del tiempo y recursos humanos requeridos para las tareas de monitoreo de las APIs. Además, la jerarquización de errores permite abordar problemas críticos en etapas iniciales, reduciendo así su propagación. Finalmente, se destaca la necesidad de seguir explorando técnicas avanzadas de Machine Learning y Deep Learning para manejar el creciente volumen de datos y mejorar aún más la eficiencia del sistema con patrones más robustos.