LogMapper: Definición de una estrategia computacional para la detección en línea de problemas de rendimiento en sistemas distribuidos

Abstract

RESUMEN: El rendimiento es un atributo de los sistemas informáticos que hace referencia a la capacidad de entregar una respuesta en un tiempo determinado. Los efectos de un problema de rendimiento son indisponibilidad del servicio, rechazo de los usuarios, retraso en la operación y sobrecostos. Una necesidad de las organizaciones que utilizan o desarrollan sistemas distribuidos es poder detectar, en línea, la causa raíz de este tipo de problemas. El presente trabajo expone una estrategia computacional usada para recopilar información desde todos los componentes involucrados en el procesamiento de un sistema distribuido, medir el rendimiento a partir de los archivos log y, utilizando técnicas de aprendizaje de máquinas, predecir si el comportamiento del rendimiento es el típico del sistema o si, por el contrario, se trata de una anomalía. Se desarrolla una herramienta denominada LogMapper que, gracias a una arquitectura distribuida, puede capturar y procesar en línea la información mencionada, para poder ofrecer reportes gráficos en línea, que permiten detectar y diagnosticar, fácil y rápidamente, problemas de rendimiento. Dicha estrategia ofrece una alternativa novedosa para diagnosticar el rendimiento con respecto a los trabajos previos, ya que involucra la duración de los flujos de operación, las métricas de los nodos y componentes y técnicas de aprendizaje de máquinas.

ABSTRACT: Performance is an attribute of computer systems that refers to the ability to get a response between a certain amount of time. The effects of a performance problem are unavailability of service, user rejection, delay in operation and overrun cost. A need for organizations that use or develop distributed systems is to be able to detect, online, the root cause of a performance problem. This project presents a computational strategy which information is collected from all the components involved in the processing of a distributed system, measures performance based on log files and, using machine learning techniques, predicts if it is a typical performance or if, in contrary, it is an anomaly. A tool called LogMapper was developed, which is supported in a distributed architecture, can capture and process in line the mentioned information in a way that allows the generation of graphical in-line reports which can detect and diagnose, easily and quickly, performance issues. That strategy offers a novel alternative to diagnose performance in relation to previous works, because it involves the duration of the operation flows, nodes and components’ metrics and machine learning techniques.