Analysis of Pathological Speech Signals

Abstract

ABSTRACT : This thesis addresses the automatic analysis of speech disorders resulting from a clinical condition (Parkinson's disease and hearing loss) or the natural aging process. For Parkinson's disease, the progression of speech symptoms is evaluated by considering speech recordings captured in the short-term (4 months) and long-term (5 years). Machine learning methods are used to perform three tasks: (1) automatic classification of patients vs. healthy speakers. (2) regression analysis to predict the dysarthria level and neurological state. (3) speaker embeddings to analyze the progression of the speech symptoms over time. For hearing loss, automatic acoustic analysis is performed to evaluate whether the duration and onset of deafness (before or after speech acquisition) influence the speech production of cochlear implant users. Additionally, articulation, prosody, and phonemic analyses show that cochlear implant users present altered speech production even after hearing rehabilitation.

RESUMEN : La presente tesis aborda el análisis automático de los trastornos del habla derivados de la enfermedad de Parkinson y la pérdida auditiva. En el caso de la enfermedad de Parkinson, el progreso de los síntomas del habla se evalúa considerando las grabaciones capturadas a corto (4 meses) y largo plazo (5 años). Métodos de aprendizaje automático son utilizados para realizar tres tareas: (1) clasificación automática de pacientes contra a hablantes sanos, (2) análisis de regresión para predecir el nivel de disartria y el estado neurológico, y (3) modelos de hablante para análisis longitudinal del progreso de los desórdenes en la voz. En el caso de la pérdida auditiva, se realiza un análisis acústico automático para evaluar si la duración y el inicio de la sordera (antes o después de la adquisición del habla) influye en la producción del habla de los usuarios de implantes cocleares. Además, se realizan análisis de articulación, prosodia y fonéticos para demostrar que los usuarios de implantes cocleares presentan una producción del habla alterada incluso después de la rehabilitación auditiva. El análisis acústico automático se realiza considerando fonación, articulación, prosodia y características fonéticas. La precisión de la producción de fonemas se caracteriza mediante el cálculo de las probabilidades obtenidas de redes neuronales recurrentes entrenadas en Alemán y Español. El análisis fonético considera tres dimensiones principales: forma de articulación, lugar de articulación y sonorización. Esta tesis también propone una metodología para la detección automática del tiempo de inicio de la voz en consonantes oclusivas sordas. Además, en este trabajo se analiza la influencia de la edad en el análisis acústico. El análisis de regresión se realiza para estimar la edad de una persona utilizando las características de fonación, articulación, prosodia y fonética. También, en esta tesis se considera el uso de smartphones para aplicaciones en el sector médico.