Automatización de un proceso de extracción, transformación y carga de datos, enmarcado en el diseño de experiencia al cliente de la empresa TIGO

Abstract

RESUMEN: El BIG DATA es un término que ha tenido un auge reciente debido, entre otros, a sus aplicaciones en los negocios. Con él se describe la recopilación masiva de datos que en la mayoría de los casos son difíciles de procesar ya que están almacenados en diferentes motores de bases de datos relacionales y no relacionales. Estos requieren de técnicas de software y herramientas para encontrar, transformar, analizar y visualizar, por tal razón estas técnicas son necesarias para la toma de decisiones. El Big Data se puede enmarcar en tres áreas o las 3V que son volumen, velocidad y variedad. El volumen hace referencia al almacenamiento de una gran cantidad de datos provenientes de diferentes fuentes como son redes sociales, sensores, entre otros. La velocidad con que se trasmiten estos datos no tiene precedentes, se puede afirmar que es casi en tiempo real. La variedad son los diferentes tipos de formatos en los que ingresan los datos, como son textos estructurados, numéricos, no estructurados, correos electrónicos, video, audio, entre otros. Es de vital importancia poder agrupar datos de múltiples fuentes o aplicaciones, almacenarlos y acondicionarlos a las necesidades de las organizaciones. Por estas razones se formuló un marco de trabajo para la extracción transformación y carga de datos conocido como ETL. La primera etapa del ETL consiste en extraer los datos relevantes o apropiados de las diferentes fuentes de información con datos que generalmente están disponibles sin formato, CSV, XLS o TXT, también se puede hacer mediante un cliente RESTful. La transformación requiere la limpieza de los datos, haciendo uso de controles de calidad, para cumplir con los requerimientos del esquema de destino. Las actividades básicas comprenden la normalización de los datos, la eliminación de duplicados, filtrado de datos basados en criterios definidos por los interesados, clasificación y agrupación de los datos acorde a los requerimientos. La última etapa de Carga implica llevar los datos a una base de datos de destino, data mart o data warehouse para ser consumida por el cliente. Este proyecto utilizó la herramienta comercial Microsoft SQL Server Integration Services, un servicio en la nube de AWS S3 y Automatic Task para automatizar el proceso, que al final es cargado como un archivo plano con información de los clientes que han utilizado el servicio corrección de fallas automáticas, utilizando un servidor de envío masivo de SMS para que el cliente califique el servicio y de esta forma los analistas de servicio al cliente puedan tomar decisiones para mejorar el servicio.