Multimodal Assessment of Parkinson’s Disease Patients Using Information from Speech, Handwriting, and Gait

Abstract

ABSTRACT : The automatic analysis of different bio-signals from patients with Parkinson’s disease is a highly relevant topic that has been addressed by the research community within several years. Identifying bio-markers for early and differential diagnosis, severity assessment, and response to therapy is a primary goal of the research on Parkinson's disease today. There are important contributions of these topics considering different bio-signals individually. Multimodal analyses, i.e., considering information from different sensors, have not been extensively studied. Although many improvements have been shown in several tasks, there is still an absence of a multimodal system able to deliver an accurate prediction of the disease severity and to monitor the disease progression. The aim of this thesis is to develop robust models for the accurate diagnosis of Parkinson's disease and to evaluate the disease severity of patients using different bio-signals such as speech, online handwriting, gait (using inertial sensors), and those signals collected from smartphones. The proposed models are evaluated in three application scenarios: (1) The automatic classification of healthy subjects and Parkinson's patients. (2) The evaluation of the disease severity of the patients based on a clinical scale, including both the motor-state severity and the dysarthria level of the subjects. (3) The classification of patients into different groups according to their disease severity e.g., mild, moderate, and severe. The experiments covered both traditional pattern recognition and novel deep learning models.

Three approaches are introduced to model the speech of Parkinson's patients: (1) phonological analysis of speech, which is more interpretable for clinicians by directly modeling information about the mode and manner of articulation. (2) Representation learning strategies using recurrent autoencoders, which have the potential to extract more abstract and robust features than those traditionally computed. Finally, (3) convolutional neural networks trained to process time-frequency representations of the speech of the patients. Regarding handwriting analysis, the proposed approach involves the computation of traditional kinematic features, combined with novel approaches based on geometric, and in-air features. Deep learning models based on convolutional neural networks are also proposed to evaluate both raw online handwriting data, and the reconstructed offline images created by the patients. The proposed approaches for gait analysis involve the computation of traditional kinematic and spectral features, combined with novel approaches based on non-linear dynamics. A deep-learning approach combining convolutional and recurrent neural networks is also introduced to model the gait signals from the patients. Finally, this thesis covered a multimodal analysis of the speech, handwriting, and gait signals collected from the patients. The addressed experiments are carried out using both early and late fusion strategies. The proposed methods are also evaluated in two scenarios: (1) high quality sensors, which can be available in medical centers for the assessment of patients, and (2) data collected via smartphones, which can be used for continuous monitoring of patients at home. The results indicate that the combined results outperformed those obtained with each bio-signal separately, both for the automatic classification of the disease and the evaluation of the disease severity. In addition, the proposed models are robust to be applied both on signals collected with high-quality sensors and smartphones.

RESUMEN : El análisis automático de diferentes bio-señales en pacientes con enfermedad de Parkinson es un tema altamente relevante y que ha sido abordado por la comunidad científica durante varios años. La identificación de bio-marcadores para la detección temprana y diferencial, evaluación de la severidad, y respuesta a la terapia es un objetivo primordial en la investigación actual de la enfermedad de Parkinson. Existen importantes contribuciones en estos temas considerando diferentes bio-señales de manera individual. Sistemas multimodales que consideren información de diferentes sensores no han sido ampliamente estudiados. A pesar de que muchas contribuciones se han propuesto para diferentes tareas, aún existe una ausencia de un sistema multimodal capaz de entregar una predicción acertada de la severidad de la enfermedad y monitorear el progreso de la misma. El objetivo de esta disertación es desarrollar modelos para apoyar el diagnóstico y evaluar la severidad de la enfermedad de Parkinson por medio de diferentes bio-señales como la voz, la escritura online, y la marcha (usando sensores inerciales), además de señales capturadas con teléfonos inteligentes. Los modelos propuestos se evalúan en tres escenarios de aplicación: (1) clasificación automática de personas sanas y pacientes con Parkinson. (2) Evaluación de la severidad de le enfermedad basada en una escala clínica tanto para la severidad motora y el nivel de disartria de los pacientes. (3) Clasificación de pacientes en diferentes grupos de acuerdo con su estado de severidad, por ejemplo, inicial, moderado, y severo. Los experimentos realizados cubren tanto esquemas tradicionales de reconocimiento de patrones además de modelos novedosos de aprendizaje profundo.

Se proponen tres enfoques para modelar la voz de pacientes con Parkinson: (1) análisis fonológico de la voz, el cual es más interpretable para los médicos al modelar directamente la información acerca del modo y manera de articulación. (2) Estrategias de aprendizaje por representación utilizando autoencoders recurrentes, los cuales tienen el potencial de extraer características más abstractas y robustas que aquellas tradicionalmente calculadas. Finalmente, (3) redes neuronales convolucionales entrenadas para procesar representaciones tiempo-frecuencia de la voz de los pacientes. Para el análisis de escritura, el enfoque propuesto envuelve el cálculo de características cinemáticas tradicionales, combinado con enfoques novedosos basados en características geométricas y en-aire. Modelos de aprendizaje profundo basados en redes neuronales convolucionales también se proponen para evaluar tanto las señales brutas de escritura online, así como las imágenes offline reconstruidas creadas por los pacientes. Los enfoques propuestos para el análisis de marcha envuelven el cálculo de características cinemáticas y espectrales, combinadas con un enfoque novedoso basado en dinámica no lineal. Un enfoque basado en aprendizaje profundo combinando redes neuronales convolucionales y recurrentes también se considera para modelar las señales de marcha de los pacientes. Finalmente, esta disertación cubre un análisis multimodal de señales de voz, escritura, y marcha. Los experimentos realizados consideran estrategias de fusión temprana y tardía. Los métodos propuestos son evaluados en dos escenarios: (1) usando sensores de alta calidad, y que pueden estar disponibles en centros clínicos para la evaluación de los pacientes, y (2) datos obtenidos de teléfonos inteligentes, los cuales pueden ser usados para el monitoreo continuo de los pacientes en casa. Los resultados indican que el análisis conjunto de diferentes bio-señales mejora aquellos obtenidos individualmente, tanto para la clasificación automática de la enfermedad y la evaluación de la severidad de los pacientes. Adicionalmente, los modelos propuestos son robustos para ser aplicados tanto en señales de alta calidad, como de aquellas obtenidas de teléfonos inteligentes.

ABSTRAKT : Die automatische Analyse verschiedener Biosignale von Patienten mit Parkinson-Krankheit ist ein hochaktuelles Thema, das seit mehreren Jahren in der Forschungsgemeinschaft behandelt wird. Die Identifizierung von Biomarkern für die Früh- und Differenzialdiagnose, die Bewertung des Schweregrads und das Ansprechen auf die Therapie ist heute ein primäres Ziel der Forschung zur Parkinson-Krankheit. Es gibt wichtige Beiträge zu diesen Themen, die verschiedene Biosignale einzeln betrachten. Multimodale Analysen, d.h. die Berücksichtigung von Informationen verschiedener Sensoren, wurden nicht umfassend untersucht. Obwohl bei mehreren Aufgaben viele Verbesserungen gezeigt wurden, fehlt noch immer ein multimodales System, das in der Lage ist, eine genaue Vorhersage der Schwere der Erkrankung zu liefern und den Krankheitsverlauf zu überwachen. Das Ziel dieser Dissertation ist es, robuste Modelle für die genaue Diagnose der Parkinson-Krankheit zu entwickeln und die Schwere der Erkrankung von Patienten anhand verschiedener Biosignale wie Sprache, Online-Handschrift, Gang (mit Inertialsensoren) und der von Smartphones gesammelten Signale zu bewerten. Die vorgeschlagenen Modelle basieren auf drei Anwendungsszenarien: (1) Die automatische Klassifizierung von gesunden Probanden und Parkinson-Patienten. (2) Die Bewertung der Schwere der Erkrankung der Patienten basierend auf einer klinischen Skala, die sowohl die Schwere des motorischen Zustands als auch den Grad der Dysarthrie der Probanden umfasst. (3) Die Einteilung von Patienten in verschiedene Gruppen entsprechend ihrer Schwere der Erkrankung, z. B. leicht, mittelschwer und schwer. Die Experimente umfassten sowohl traditionelle Mustererkennung als auch neuartige Deep-Learning-Modelle.

Drei Ansätze werden vorgestellt, um die Sprache von Parkinson-Patienten zu modellieren: (1) phonologische Analyse der Sprache, die für Kliniker besser interpretierbar ist, indem Informationen über die Art und Weise der Artikulation direkt modelliert werden. (2) Repräsentation Lernstrategien unter Verwendung wiederkehrender Autoencoder, die das Potenzial haben, abstraktere und robustere Merkmale zu extrahieren als die herkömmlich berechneten. Schließlich (3) konvolutionale neuronale Netze, die darauf trainiert sind, Zeit-Frequenz-Darstellungen der Sprache der Patienten zu verarbeiten. In Bezug auf die Handschriftanalyse umfasst der vorgeschlagene Ansatz die Berechnung traditioneller kinematischer Merkmale, kombiniert mit neuartigen Ansätzen, die auf geometrischen und in der Luft befindlichen Merkmalen basieren. Deep-Learning-Modelle auf der Grundlage von Convolutional Neural Networks werden ebenfalls vorgeschlagen, um sowohl rohe Online-Handschriftsdaten als auch die von den Patienten erstellten rekonstruierten Offline-Bilder auszuwerten. Die vorgeschlagenen Ansätze zur Ganganalyse beinhalten die Berechnung traditioneller kinematischer und spektraler Merkmale, kombiniert mit neuartigen Ansätzen, die auf nichtlinearer Dynamik basieren. Ein Deep-Learning-Ansatz, der konvolutionelle und rekurrente neuronale Netze kombiniert, wird ebenfalls eingeführt, um die Gangsignale der Patienten zu modellieren. Schließlich befasste sich diese Arbeit mit einer multimodalen Analyse der von den Patienten gesammelten Sprach-, Handschrift- und Gangsignale. Die angesprochenen Experimente werden sowohl mit frühen als auch mit späten Fusionsstrategien durchgeführt. Die vorgeschlagenen Methoden werden auch in zwei Szenarien evaluiert: (1) hochwertige Sensoren, die in medizinischen Zentren zur Beurteilung der Patienten zur Verfügung stehen können, und (2) über Smartphones gesammelte Daten, die zur kontinuierlichen Überwachung der Patienten verwendet werden können zu Hause. Die Ergebnisse zeigen, dass die kombinierte Analyse verschiedener Biosignale die mit jedem Biosignal erhaltenen sowohl bei der automatischen Klassifizierung der Krankheit als auch bei der Bewertung der Schwere der Erkrankung der Patienten übertraf. Darüber hinaus sind die vorgeschlagenen Modelle robust, um sowohl auf Signale angewendet zu werden, die mit hochwertigen Sensoren als auch auf Smartphones gesammelt wurden.