Diseño e implementación de sistema de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS

Abstract

RESUMEN : En este informe de práctica, se expone el diseño e implementación de un software que permite el monitoreo a los procesos de ETL de Source Meridian. Esta herramienta permite la trazabilidad de los procesos y ayuda con la identificación de posibles mejoras a los procesos internos de la compañía en particular al equipo de datos. El siguiente trabajo presenta el desarrollo de un software de monitoreo de ETLs con enfoque en transformaciones de Big Data dentro de GCP y AWS, permitiendo al equipo técnico tener una visión profunda de los procesos internos. El resultado obtenido brinda un punto de partida para el análisis de la cantidad de recursos usados y comportamientos en los diferentes procesos activos en el equipo de datos.