Análisis de arquitecturas de aprendizaje profundo para el modelamiento de rostro y expresiones faciales

Abstract

RESUMEN: La enfermedad de Parkinson (EP) es un trastorno neurológico que afecta a los movimientos faciales y la comunicación no verbal. Los pacientes con EP presentan una reducción de los movimientos faciales movimientos faciales llamada hipomimia que se evalúa en el ítem 3.2 de la escala MDS-UPDRS-III. En este trabajo, proponemos utilizar el análisis de la expresión facial a partir de imágenes de la cara basadas en dominios afectivos para mejorar la detección de la EP. Proponemos diferentes técnicas de adaptación de dominios para explotar los últimos avances en el reconocimiento facial y la detección de la Unidad de Acción Facial (UAF). Las principales contribuciones de este trabajo son: (1) un marco novedoso para explotar arquitecturas faciales profundas para modelar la hipomimia en pacientes con EP; (2) comparamos experimentalmente la detección de la EP basada en imágenes individuales frente a secuencias de imágenes mientras se evocan en los pacientes diversas expresiones faciales; (3) exploramos diferentes técnicas de adaptación de dominio para explotar los modelos existentes inicialmente entrenados para el reconocimiento facial o para la detección de UAF para la discriminación automática entre los pacientes con EP y los sujetos sanos; y sanos; y (4) un nuevo enfoque para utilizar el aprendizaje de triple pérdida para mejorar el modelado de la hipomimia y la detección de la EP. Los resultados en imágenes faciales reales de pacientes con EP muestran que somos capaces de modelar adecuadamente las emociones evocadas utilizando secuencias de imágenes (neutral, inicio-transición, ápice, offset-transición y neutro) con una mejora de la precisión de hasta el 5,5% (del 72,9% al 78,4%) con respecto a la detección de EP de una sola imagen. También mostramos que nuestra propuesta de adaptación al dominio afectivo proporciona mejoras en la detección de EP de hasta un 8,9% (de 78,4% a 87,3% de precisión en la detección).