Plasticidad sináptica para mitigar el problema del olvido catastrófico durante el aprendizaje continuo en redes neuronales artificiales

Abstract

RESUMEN : Abordar el problema del olvido catastrófico en redes neuronales artificiales (ANNs), es crucial en la liberación de su potencial para adaptarse y aprender continuamente en diferentes contextos y dominios sin perder el conocimiento previamente aprendido. Mitigarlo puede convertir a las ANNs en sistemas óptimos y versátiles. Este estudio realiza un análisis comparativo de dos estrategias de aprendizaje continuo bio-inspiradas en la plasticidad sináptica: Learning to Continually Learn (LCL) y Continual Learning Through Synaptic Intelligence (SI). Estas estrategias buscan mitigar el problema del olvido catastrófico en el contexto de clasificación de imágenes. La investigación evalúa y contrasta las capacidades de LCL y SI para permitirle a las ANNs aprender continuamente en múltiples tareas y dominios. Los resultados experimentales muestran como las estrategias se desempeñan en tres escenarios. Pese a su baja capacidad de representación, la estrategia LCL muestra comportamientos interesantes, como tasas de olvido relativamente bajas, permitiéndole aprender nuevas clases o instancias sin afectar negativamente las previamente aprendidas. Por otro lado, la estrategia SI presentó problemas graves de olvido catastrófico al aprender nuevas clases. Esta investigación ofrece información valiosa sobre el comportamiento de las estrategias LCL y SI, basadas en la plasticidad sináptica, para abordar el problema del olvido catastrófico en las ANNs. Las implicaciones de estos resultados destacan la importancia de investigaciones y desarrollos adicionales, para refinar las estrategias de aprendizaje continuo y ampliar su impacto potencial en diversas aplicaciones de inteligencia artificial. Este estudio contribuye a la búsqueda de modelos de aprendizaje más adaptables y eficientes.

ABSTRACT : Addressing the catastrophic forgetting problem in artificial neural networks (ANNs), is essential for unlocking their potential to adapt and learn continuously across various contexts and domains without losing previously acquired knowledge. Mitigating this issue can transform ANNs into more optimal and versatile systems, enabling them to handle dynamic data efficiently and accurately. This study conducts a comparative analysis of two bio-inspired continuous learning strategies based on synaptic plasticity: Learning to Continually Learn (LCL) and Continual Learning Through Synaptic Intelligence (SI). These strategies aim to mitigate the catastrophic forgetting problem in the context of image classification tasks. The research evaluates and contrasts the ability of LCL and SI to enable ANNs to learn continuously across multiple tasks and domains. The experimental results demonstrate the performance of both strategies in three distinct scenarios. Despite its low representation capacity, the LCL strategy exhibits intriguing behaviors, such as relatively low forgetting rates, enabling it to learn new classes without negatively affecting previous ones. In contrast, the SI strategy encounters significant catastrophic forgetting issues when incorporating new classes. This investigation provides valuable insights into the behavior of LCL and SI strategies, based on synaptic plasticity, for addressing the catastrophic forgetting problem in ANNs. The implications of these findings emphasize the need for further research and development to refine continuous learning strategies, enhancing their potential impact across various artificial intelligence applications. The study contributes to the ongoing pursuit of more adaptable and efficient learning models.