Desarrollo de Soluciones Sistémicas para la Gobernanza de Datos, Pipelines ETL y Agentes de Modelo de Lenguaje con Contexto Aumentado sobre Procesos Internos mediante RAG. Semestre de industria

Abstract

RESUMEN : Este trabajo propone el desarrollo de soluciones sistémicas para mejorar la gobernanza de datos y optimizar procesos internos en la industria del 401K mediante la implementación de pipelines ETL y agentes de lenguaje con contexto aumentado usando Retrieval-Augmented Generation (RAG). El objetivo es garantizar la seguridad, eficiencia y cumplimiento normativo en la gestión de datos sensibles, apoyándose en tecnologías como Ruby on Rails, Python, AWS RDS y ElasticSearch. La metodología sigue un enfoque mixto y ágil, estructurada en fases de planificación, desarrollo, integración, pruebas y despliegue. Hasta la fase actual de integración, se han generado resultados preliminares prometedores, incluyendo la creación de 238 documentos de contexto para los agentes RAG, limitando sus respuestas mediante guardrails y obteniendo una tasa de satisfacción interna de 4.4/5 en pruebas iniciales. No obstante, se identifican áreas de mejora para optimizar la precisión de respuestas y minimizar limitaciones antes del lanzamiento en producción.

ABSTRACT : This work proposes the development of systemic solutions to improve data governance and optimize internal processes in the 401K industry through the implementation of ETL pipelines and language agents with augmented context using Retrieval-Augmented Generation (RAG). The objective is to ensure security, efficiency, and regulatory compliance in sensitive data management, leveraging technologies such as Ruby on Rails, Python, AWS RDS, and ElasticSearch. The methodology follows a mixed and agile approach, structured into planning, development, integration, testing, and deployment phases. In the current integration phase, promising preliminary results have been achieved, including the creation of 238 context documents for RAG agents, response restrictions through guardrails, and an internal satisfaction rate of 4.4/5 in initial tests. However, improvement areas have been identified to optimize response accuracy and minimize limitations before the production launch.