Arquitectura de aprendizaje profundo usando CNNs y RNNs para la clasificación de la enfermedad de Parkinson y Huntington a partir de señales de voz

Abstract

RESUMEN : Los desórdenes neurodegenerativos como las enfermedades de Parkinson o de Huntington afectan las funciones normales del cuerpo como el habla, el movimiento, el equilibrio, entre otros. Específicamente el deterioro del habla se produce por la pérdida del control de los músculos encargados de la producción del lenguaje oral, esta condición se denomina disartria. Teniendo en cuenta que la disartria está ligada con frecuencia a la progresión de estas enfermedades y que cada una provoca distintos tipos de disartria (disartria hipocinética e hipercinética para Parkinson y Huntington respectivamente), es posible desarrollar sistemas de evaluación automática a partir de señales de voz para apoyar a los profesionales de la salud en el diagnóstico y toma de decisiones para el tratamiento temprano de pacientes de enfermedades neurodegenerativas como el Parkinson y Huntington. El enfoque propuesto en el presente trabajo consiste en desarrollar una arquitectura basada en redes neuronales convolucionales de una dimensión (CNNs) seguidas de redes neuronales recurrentes (RNN) para la clasificación del habla patológica, considerando que esta configuración es típicamente usada para el modelamiento de información secuencial, como es el caso de una señal de audio en el dominio del tiempo. Particularmente, en este trabajo se realizó la clasificación de la disartria hipocinética vs. habla sana, disartria hipercinética vs. habla sana y disartria hipocinética vs disartria hipercinética. El modelo desarrollado fue entrenado y evaluado usando dos bases de datos con diferentes tareas de habla realizadas por hablantes nativos checos. Además, se comparó el rendimiento del modelo implementado con métodos clásicos, es decir, sin el uso de herramientas de aprendizaje profundo. En general los resultados alcanzados con la arquitectura de aprendizaje profundo propuesta no superaron los resultados obtenidos usando características clásicas de articulación y prosodia, sin embargo, se desarrolló un marco de trabajo sistemático con el potencial para evaluar y optimizar modelos de aprendizaje profundo.

ABSTRACT : Neurodegenerative disorders such as Parkinson's or Huntington's disease affect normal body functions such as speech, movement, balance, among others. Specifically, speech deterioration is caused by the loss of proper control of the muscles responsible for oral language production, this condition is called dysarthria. Considering that dysarthria is often linked to the progression of these diseases and that each causes different types of dysarthria (hypokinetic and hyperkinetic dysarthria for Parkinson's and Huntington's disease respectively), it is possible to develop automatic evaluation systems based on speech signals to support healthcare professionals in diagnosing and making decisions for early treatment of patients with neurodegenerative diseases such as Parkinson's and Huntington's disease. The approach proposed in this work consists of developing an architecture based on one dimensional convolutional neural networks (CNNs) followed by recurrent neural networks (RNNs) for pathological speech classification, considering that this configuration is typically used for modeling sequential information, such as an audio signal in the time domain. Particularly, the experiments performed in this work were: the classification of hypokinetic dysarthria vs. healthy speech, hyperkinetic dysarthria vs. healthy speech and hypokinetic dysarthria vs. hyperkinetic dysarthria. The developed model was trained and evaluated using two databases with different speech tasks performed by Czech native speakers. In addition, the performance of the implemented model was compared with classical methods, i.e., without the use of deep learning tools. Overall, the results achieved with the proposed deep learning architecture did not outperform the results obtained using classical articulation and prosody features, however, the systematic framework developed throughout the research has the potential to evaluate and optimize other deep learning models.