Transfer learning strategies to model speech impairment in patients with neurodegenerative diseases

Abstract

ABSTRACT : Nowadays, the interest in the automatic analysis of speech in different scenarios has increased. This biomarker has been explored for diagnostic support and monitoring of different neurodegenerative diseases such as Parkinson’s disease (PD) and Huntington’s disease (HD). Speech has the main benefit of being a non-invasive method, which can be captured remotely, at a low cost, and includes detailed information about each participant. Deep learning (DL) has facilitated the development of different robust computational models, their main advantages are that these systems receive the raw signal at the input and can process a large amount of information in parallel. However, obtaining large amounts of data for pathological speech, particularly in neurodegenerative diseases, is very difficult and expensive. Therefore, it is necessary to implement DL techniques to address this issue. Transfer Learning (TL) takes advantage of the experience obtained in a previously trained model to improve the learning of new target phenomena. The main aim of this work is to evaluate the suitability of using DL for pathological speech processing applications, particularly using TL methods. Different approaches are implemented including transfer knowledge in classical methods by crossing pathologies and languages for the classification of PD and HD in the Czech language. In addition, different Convolutional Neural Networks (CNNs) are trained to perform a fine-tuning strategy from cross-language and cross-pathology for the discrimination of patients with PD and HD with respect to Healthy Control (HC) subjects and also the estimation of their depression level. Subsequently, a freezing of layers strategy was performed for the classification of PD patients vs. HC subjects in different languages. Finally, a DL strategy based on embeddings is proposed to know which additional demographic information a CNN learns from pathological speech data.

RESUMEN : En la actualidad, ha aumentado el interés por el análisis automático del habla en diferentes escenarios. Este biomarcador se ha explorado para el apoyo al diagnóstico y el seguimiento de diferentes enfermedades neurodegenerativas como la enfermedad de Parkinson y la enfermedad de Huntington. El habla tiene la principal ventaja de ser un método no invasivo, que puede ser capturado de forma remota, a un bajo costo, e incluye información detallada sobre cada participante. El aprendizaje profundo ha facilitado el desarrollo de diferentes modelos computacionales robustos, una de sus principales ventajas es que estos sistemas reciben la señal sin procesar en la entrada y pueden extraer una gran cantidad de información en paralelo. Sin embargo, obtener grandes cantidades de datos para el habla patológica, particularmente en enfermedades neurodegenerativas, es difícil y costoso. Por lo tanto, es necesario implementar técnicas de aprendizaje profundo para abordar este problema. El aprendizaje por transferencia aprovecha la experiencia obtenida en un modelo previamente entrenado para mejorar el aprendizaje de nuevos fenómenos. Por lo tanto, el objetivo principal de este trabajo es evaluar la idoneidad de utilizar técnicas de aprendizaje profundo para aplicaciones de procesamiento del habla patológica, en particular utilizando métodos de transferencia de aprendizaje. Se implementan diferentes enfoques que incluyen la transferencia de conocimiento en métodos clásicos combinando patologías e idiomas para la clasificación de la enfermedad de Parkinson y Huntington en el idioma checo. Además, se entrenan diferentes redes neuronales convolucionales para realizar una estrategia de ajuste fino a partir del cruce de idiomas y patologías para la discriminación de pacientes con enfermedad de Parkinson y Huntington con respecto a participantes sanos, ademas de la estimación de su nivel de depresión. Posteriormente, se realizó una estrategia de congelación de capas para la clasificación de pacientes con enfermedad de Parkinson frente a controles sanos en diferentes idiomas. Finalmente, se propone una estrategia de aprendizaje profundo basada en representaciones intermedias para saber qué información demográfica adicional aprende una red neuronal convolucional a partir de los datos del habla patológica.