Categorical assessment of depression based on high level features.
Φόρτωση...
Ημερομηνία
2018-04-17
Τίτλος Εφημερίδας
Περιοδικό ISSN
Τίτλος τόμου
Εκδότης
Τ.Ε.Ι. Κρήτης, Σχολή Τεχνολογικών Εφαρμογών (Σ.Τ.Εφ), ΠΜΣ Πληροφορική και Πολυμέσα
T.E.I. of Crete, School of Engineering (STEF), PPS in Informatics and Multimedia
T.E.I. of Crete, School of Engineering (STEF), PPS in Informatics and Multimedia
Επιβλέπων
Περίληψη
Depression is one of the leading causes of ill health and disability worldwide. In the US nearly 50 million people were living with depression in 2015. According to the latest estimates from the World Health Organization (WHO), more than 300 million people worldwide are living with depression, an increase of more than 18% between 2005 and 20151. This fact seems to be confirmed by an EU Green Paper [1], which manifests that one to four civilians suffer from a mental illness at some point during their lifetime, sometimes even causing suicidal tendencies.
Objective measures of depressive symptomatology could be advantageous for clinicians, in the context of a clinical decision support system.
Automatic recognition of emotions through intelligent systems, established to assess facial expressions is a vital issue that needs to be addressed for understanding human behavior, interpersonal relationships, and most importantly for mental health assessment. According to the literature in the field of clinical research, facial expressions were used to assess possible deficiencies or weaknesses in emotional expression as well as in social diagnosis in psychiatric-psychological disorders [2] [3]. Major Depressive Disorder (MDD) is the most common mood disorder, varying in terms of severity, impairing an individual's functionality and ability to deal with their daily routine. The figures provided by the EU Green Paper [4], [1] are alarming, as it is argued that by 2020 MDD is expected to become the main cause of disability.
The aim of this dissertation is to develop a framework capable of detecting objective signs of MDD, to support the clinical care of patients. More specifically, the proposed system aims to identify signs related to MDD as portrayed in the facial expression of an individual. This has been designed within the terms of the AViD-Corpus (AVEC’14) [5], which provides audio-visual recordings annotated for the level of depression based on self-reports. The proposed framework was evaluated through experimental tests, designed to detect patterns related to depression in the facial expression.
In the proposed implementation the emotions of happiness and sadness, two of the six basic emotions according to Ekman and Friesen [6], [7], are examined more carefully, as they seem to be respectively negatively and positively correlated with MDD. For example, the emotion of sadness appears to be more prominent in individuals suffering by MDD compared to that of happiness.
In summary, the primary purpose of this thesis is to design and develop an application in MATLAB for facial image analysis, with the ultimate goal of detecting visual signs of depression through video recordings. As it is mentioned above, Facial expression is significant in human interaction and communication since it contains critical information regarding to emotion analysis. High level information about the facial features was extracted with the use of OpenFace toolkit [8], while special focus has been given to the AViD-Corpus (AVEC’14) for testing the developed algorithms. Subsequently, since high-level information was extracted by the facial features, the proper machine learning algorithms were selected, in order to examine the sensitivity and specificity of this proposed framework. Several classification algorithms were tested, namely: Discriminant Analysis, Random Forest Tree, Naïve Bayes, Linear and k-nearest Neighbor Classifiers. The best performing method involved the Discriminant Analysis classifier, with a runtime of approximately 4 minutes, to be precise 4,29 minutes. Additionally, by selecting an approximately 1 second-window, with Leave-One-Subject-Out cross-validation an accuracy of 72.57% was achieved for our depression assessment framework.
Η κατάθλιψη είναι μια από τις κύριες αιτίες κακής υγείας και δυσλειτουργίας παγκοσμίως. Στις ΗΠΑ, περίπου 50 εκατομμύρια άνθρωποι είχαν διαγνωστεί με κατάθλιψη έως το 2015. Σύμφωνα με τις τελευταίες εκτιμήσεις του Οργανισμού Παγκόσμιας Υγείας (WHO), περισσότεροι από 300 εκατομμύρια άνθρωποι παγκοσμίως ζουν με κατάθλιψη, δηλαδή αύξηση άνω του 18% μεταξύ 2005 και 2015. Το γεγονός αυτό φαίνεται να επιβεβαιώνεται από την Πράσινη Βίβλο της ΕΕ [1] , η οποία καταδεικνύει ότι ένας στους τέσσερις πολίτες υποφέρουν από κάποια ψυχική ασθένεια κάποια στιγμή κατά τη διάρκεια της ζωής τους, προκαλώντας μερικές φορές ακόμη και αυτοκτονικές τάσεις. Οι αντικειμενικές εκτιμήσεις της καταθλιπτικής συμπτωματολογίας θα μπορούσαν να είναι επωφελείς για τους κλινικούς ιατρούς, στο πλαίσιο ενός συστήματος υποστήριξης κλινικών αποφάσεων. H αυτόματη αναγνώριση των συναισθημάτων μέσω ευφυών συστημάτων, η οποία αξιολογεί τις εκφράσεις του προσώπου είναι ένα ζωτικής σημασίας ζήτημα που πρέπει να αντιμετωπιστεί για την κατανόηση της ανθρώπινης συμπεριφοράς, των διαπροσωπικών σχέσεων, και το πιο σημαντικό για την αξιολόγηση της ψυχικής υγείας. Σύμφωνα με τη βιβλιογραφία στον τομέα της κλινικής έρευνας, οι εκφράσεις του προσώπου χρησιμοποιήθηκαν για την αξιολόγηση πιθανών ελλείψεων ή αδυναμιών στη συναισθηματική έκφραση, καθώς και στην κοινωνική διάγνωση σε ψυχιατρικές και ψυχολογικές διαταραχές [2] [3]. Η Μείζονα Καταθλιπτική Διαταραχή (MMD) είναι η πιο συχνή διαταραχή της διάθεσης, η όποια ποικίλλει από την άποψη της σοβαρότητας, αλλοιώνοντας την ικανότητα του ατόμου να ασχοληθεί με την καθημερινή ρουτίνα του. Τα στοιχεία που παρέχονται από την Πράσινη Βίβλο της ΕΕ [1], [4], καταδεικνύουν ότι η κατάθλιψη είναι μια από τις κύριες αιτίες της κακής υγείας και της δυσλειτουργίας παγκοσμίως. Στις ΗΠΑ, περίπου 50 εκατομμύρια άνθρωποι είχαν διαγνωστεί με κατάθλιψη έως το 2015. Σύμφωνα με τις τελευταίες εκτιμήσεις του Οργανισμού Παγκόσμιας Υγείας (WHO), περισσότεροι από 300 εκατομμύρια άνθρωποι παγκοσμίως υποφέρουν από κατάθλιψη, καταγράφεται δηλαδή, μια αύξηση άνω του 18% μεταξύ 2005 και 2015. Το γεγονός αυτό φαίνεται να επιβεβαιώνεται από την Πράσινη Βίβλο της ΕΕ [1], στη οποία καταδεικνύεται ότι ένας στους τέσσερις πολίτες υποφέρουν από κάποια ψυχική ασθένεια κάποια στιγμή κατά τη διάρκεια της ζωής τους, προκαλώντας μερικές φορές ακόμη και αυτοκτονικές τάσεις. Οι αντικειμενικές εκτιμήσεις της καταθλιπτικής συμπτωματολογίας θα μπορούσαν να είναι επωφελείς για τους κλινικούς ιατρούς, στο πλαίσιο ενός συστήματος υποστήριξης κλινικών αποφάσεων. H αυτόματη αναγνώριση των συναισθημάτων μέσω ευφυών συστημάτων, η οποία αξιολογεί τις εκφράσεις του προσώπου είναι ένα ζήτημα ζωτικής σημασίας, που πρέπει να αντιμετωπιστεί συμβάλλοντας στην κατανόηση της ανθρώπινης συμπεριφοράς, των διαπροσωπικών σχέσεων, και κυρίως για την αξιολόγηση της ψυχικής υγείας. Σύμφωνα με τη βιβλιογραφία στον τομέα της κλινικής έρευνας, οι εκφράσεις του προσώπου χρησιμοποιήθηκαν για την αξιολόγηση πιθανών ελλείψεων ή αδυναμιών στη συναισθηματική έκφραση, καθώς επίσης και στην κοινωνική διάγνωση σε ψυχιατρικές και ψυχολογικές διαταραχές [2], [3]. Η Μείζονα Καταθλιπτική Διαταραχή (MMD) είναι η πιο συχνή διαταραχή της διάθεσης, η όποια ποικίλλει ως προς τη σοβαρότητα, αλλοιώνοντας την ικανότητα του ατόμου να καταπιαστεί με την καθημερινή ρουτίνα του. Τα στοιχεία που παρέχονται από την Πράσινη Βίβλο της ΕΕ, είναι ανησυχητικά καθώς διατυπώνεται ότι ως το 2020 αναμένεται η Μείζονα Καταθλιπτική Διαταραχή (MMD) να αποτελεί τη βασική αιτία δυσλειτουργίας. Στόχος αυτής της διπλωματικής είναι να αναπτυχθεί μια μεθοδολογία, που θα είναι ικανή να ανιχνεύει αντικειμενικά σημάδια Μείζονας Καταθλιπτικής Διαταραχής, συμβάλλοντας έτσι στην κλινική φροντίδα των ασθενών. Ειδικότερα, το προτεινόμενο σύστημα στοχεύει στην αναγνώριση ενδείξεων στις εκφράσεις του προσώπου ενός ατόμου, που σχετίζονται με την Μείζονα Καταθλιπτική Διαταραχή. Στα πλαίσια της παρούσας εργασίας που πραγματοποιήθηκε σχεδιαστήκαν αλγοριθμικές διαδικασίες για τον εντοπισμό προτύπων, ικανών να ανιχνεύουν συγκεκριμένες εκφράσεις του προσώπου που συνδέονται με την κατάθλιψη και μελετήθηκε η συμπεριφορά τους μέσω πειραματικών ελέγχων. Συγκεκριμένα, η λειτουργία της μεθοδολογίας και των αλγορίθμων που αναπτύχθηκαν επικυρώθηκε με το AviD-Corpus (AVEC’14), ένα σύνολο οπτικοακουστικής καταθλιπτικής γλώσσας σώματος [5],το οποίο παρέχει οπτικοακουστικό υλικό συνοδευόμενο από ετικέτες με τον αντίστοιχο βαθμό κατάθλιψης του κάθε συμμετέχοντα. Στην προτεινόμενη υλοποίηση εξετάστηκαν προσεκτικά τα συναισθήματα της χαράς και της λύπης, που είναι δυο από τα έξι βασικά συναισθήματα, σύμφωνα με τους Ekman και Friesen [6] [7], καθώς φαίνεται να συνδέονται θετικά και αρνητικά αντίστοιχα με την MMD. Παραδείγματος χάριν, το συναίσθημα της λύπης εμφανίζεται να είναι κυρίαρχο στα άτομα που υποφέρουν από MMD από εκείνο της χαράς. Συνοψίζοντας ο κύριος σκοπός της παρούσας εργασίας είναι να σχεδιαστεί και να αναπτυχθεί μια εφαρμογή με το ΜΑΤLAB με στόχο την ανάλυση της εικόνας του προσώπου, με απώτερο στόχο την ανίχνευση οπτικών ενδείξεων της κατάθλιψης μέσω καταγεγραμμένων βίντεο. Όπως αναφέρθηκε και παραπάνω, οι εκφράσεις του προσώπου είναι καθοριστικές στην ανθρώπινη αλληλεπίδραση και επικοινωνία καθώς παρέχουν σημαντικές πληροφορίες όσων αφορά την ανάλυση των συναισθημάτων. Υψηλού επιπέδου πληροφορίες σχετικά με τα χαρακτηριστικά του προσώπου αντληθήκαν μέσω του OpenFace toolkit [8], ενώ δόθηκε ιδιαίτερη έμφαση στο AviD-Corpus (AVEC’14), ώστε να ελεγχθούν οι υλοποιημένοι αλγόριθμοι. Αφού εντοπίστηκαν οι απαιτούμενες υψηλού επιπέδου πληροφορίες που είναι σχετιζόμενες με τα χαρακτηριστικά του προσώπου, επιλέχτηκαν οι κατάλληλοι αλγόριθμοι μηχανικής μάθησης. Απώτερος στόχος ήταν να εξεταστεί η «Ευαισθησία» (‘sensitivity’) και η «Ειδικότητα» (‘specificity’) του παρόντος εργαλείου υποστήριξης για τη διάγνωση της κατάθλιψης. Ορισμένοι από τους αλγόριθμους κατηγοριοποίησης που εξεταστήκαν είναι οι παρακάτω: Διαχωριστική Ανάλυση (Discriminant Analysis), Δέντρα αποφάσεων (Random Forest Tree), Απλός Κατηγοριοποιητής Bayes (Naïve Bayes), Γραμμικός (Linear) και τον Κατηγοριοποιητή Εγγύτατου Γείτονα (k-nearest Neighbor Classifiers). Η αποτελεσματικότερη μέθοδος περιλαμβάνει τον Κατηγοριοποιητή Διαχωριστική Ανάλυση (Discriminant Analysis) με χρόνο εκτέλεσης τα 4 λεπτά, κατά προσέγγιση, για την ακρίβεια 4,29 λεπτά. Καταληκτικά, επιλέγοντας κατά προσέγγιση το 1 λεπτό- παράθυρο και αξιοποιώντας το πρωτόκολλο Leave-One-Subject-Out της μεθόδου cross-validation, ακρίβεια 72,57% για το εργαλείο υποστήριξης της διάγνωσης της κατάθλιψης.
Η κατάθλιψη είναι μια από τις κύριες αιτίες κακής υγείας και δυσλειτουργίας παγκοσμίως. Στις ΗΠΑ, περίπου 50 εκατομμύρια άνθρωποι είχαν διαγνωστεί με κατάθλιψη έως το 2015. Σύμφωνα με τις τελευταίες εκτιμήσεις του Οργανισμού Παγκόσμιας Υγείας (WHO), περισσότεροι από 300 εκατομμύρια άνθρωποι παγκοσμίως ζουν με κατάθλιψη, δηλαδή αύξηση άνω του 18% μεταξύ 2005 και 2015. Το γεγονός αυτό φαίνεται να επιβεβαιώνεται από την Πράσινη Βίβλο της ΕΕ [1] , η οποία καταδεικνύει ότι ένας στους τέσσερις πολίτες υποφέρουν από κάποια ψυχική ασθένεια κάποια στιγμή κατά τη διάρκεια της ζωής τους, προκαλώντας μερικές φορές ακόμη και αυτοκτονικές τάσεις. Οι αντικειμενικές εκτιμήσεις της καταθλιπτικής συμπτωματολογίας θα μπορούσαν να είναι επωφελείς για τους κλινικούς ιατρούς, στο πλαίσιο ενός συστήματος υποστήριξης κλινικών αποφάσεων. H αυτόματη αναγνώριση των συναισθημάτων μέσω ευφυών συστημάτων, η οποία αξιολογεί τις εκφράσεις του προσώπου είναι ένα ζωτικής σημασίας ζήτημα που πρέπει να αντιμετωπιστεί για την κατανόηση της ανθρώπινης συμπεριφοράς, των διαπροσωπικών σχέσεων, και το πιο σημαντικό για την αξιολόγηση της ψυχικής υγείας. Σύμφωνα με τη βιβλιογραφία στον τομέα της κλινικής έρευνας, οι εκφράσεις του προσώπου χρησιμοποιήθηκαν για την αξιολόγηση πιθανών ελλείψεων ή αδυναμιών στη συναισθηματική έκφραση, καθώς και στην κοινωνική διάγνωση σε ψυχιατρικές και ψυχολογικές διαταραχές [2] [3]. Η Μείζονα Καταθλιπτική Διαταραχή (MMD) είναι η πιο συχνή διαταραχή της διάθεσης, η όποια ποικίλλει από την άποψη της σοβαρότητας, αλλοιώνοντας την ικανότητα του ατόμου να ασχοληθεί με την καθημερινή ρουτίνα του. Τα στοιχεία που παρέχονται από την Πράσινη Βίβλο της ΕΕ [1], [4], καταδεικνύουν ότι η κατάθλιψη είναι μια από τις κύριες αιτίες της κακής υγείας και της δυσλειτουργίας παγκοσμίως. Στις ΗΠΑ, περίπου 50 εκατομμύρια άνθρωποι είχαν διαγνωστεί με κατάθλιψη έως το 2015. Σύμφωνα με τις τελευταίες εκτιμήσεις του Οργανισμού Παγκόσμιας Υγείας (WHO), περισσότεροι από 300 εκατομμύρια άνθρωποι παγκοσμίως υποφέρουν από κατάθλιψη, καταγράφεται δηλαδή, μια αύξηση άνω του 18% μεταξύ 2005 και 2015. Το γεγονός αυτό φαίνεται να επιβεβαιώνεται από την Πράσινη Βίβλο της ΕΕ [1], στη οποία καταδεικνύεται ότι ένας στους τέσσερις πολίτες υποφέρουν από κάποια ψυχική ασθένεια κάποια στιγμή κατά τη διάρκεια της ζωής τους, προκαλώντας μερικές φορές ακόμη και αυτοκτονικές τάσεις. Οι αντικειμενικές εκτιμήσεις της καταθλιπτικής συμπτωματολογίας θα μπορούσαν να είναι επωφελείς για τους κλινικούς ιατρούς, στο πλαίσιο ενός συστήματος υποστήριξης κλινικών αποφάσεων. H αυτόματη αναγνώριση των συναισθημάτων μέσω ευφυών συστημάτων, η οποία αξιολογεί τις εκφράσεις του προσώπου είναι ένα ζήτημα ζωτικής σημασίας, που πρέπει να αντιμετωπιστεί συμβάλλοντας στην κατανόηση της ανθρώπινης συμπεριφοράς, των διαπροσωπικών σχέσεων, και κυρίως για την αξιολόγηση της ψυχικής υγείας. Σύμφωνα με τη βιβλιογραφία στον τομέα της κλινικής έρευνας, οι εκφράσεις του προσώπου χρησιμοποιήθηκαν για την αξιολόγηση πιθανών ελλείψεων ή αδυναμιών στη συναισθηματική έκφραση, καθώς επίσης και στην κοινωνική διάγνωση σε ψυχιατρικές και ψυχολογικές διαταραχές [2], [3]. Η Μείζονα Καταθλιπτική Διαταραχή (MMD) είναι η πιο συχνή διαταραχή της διάθεσης, η όποια ποικίλλει ως προς τη σοβαρότητα, αλλοιώνοντας την ικανότητα του ατόμου να καταπιαστεί με την καθημερινή ρουτίνα του. Τα στοιχεία που παρέχονται από την Πράσινη Βίβλο της ΕΕ, είναι ανησυχητικά καθώς διατυπώνεται ότι ως το 2020 αναμένεται η Μείζονα Καταθλιπτική Διαταραχή (MMD) να αποτελεί τη βασική αιτία δυσλειτουργίας. Στόχος αυτής της διπλωματικής είναι να αναπτυχθεί μια μεθοδολογία, που θα είναι ικανή να ανιχνεύει αντικειμενικά σημάδια Μείζονας Καταθλιπτικής Διαταραχής, συμβάλλοντας έτσι στην κλινική φροντίδα των ασθενών. Ειδικότερα, το προτεινόμενο σύστημα στοχεύει στην αναγνώριση ενδείξεων στις εκφράσεις του προσώπου ενός ατόμου, που σχετίζονται με την Μείζονα Καταθλιπτική Διαταραχή. Στα πλαίσια της παρούσας εργασίας που πραγματοποιήθηκε σχεδιαστήκαν αλγοριθμικές διαδικασίες για τον εντοπισμό προτύπων, ικανών να ανιχνεύουν συγκεκριμένες εκφράσεις του προσώπου που συνδέονται με την κατάθλιψη και μελετήθηκε η συμπεριφορά τους μέσω πειραματικών ελέγχων. Συγκεκριμένα, η λειτουργία της μεθοδολογίας και των αλγορίθμων που αναπτύχθηκαν επικυρώθηκε με το AviD-Corpus (AVEC’14), ένα σύνολο οπτικοακουστικής καταθλιπτικής γλώσσας σώματος [5],το οποίο παρέχει οπτικοακουστικό υλικό συνοδευόμενο από ετικέτες με τον αντίστοιχο βαθμό κατάθλιψης του κάθε συμμετέχοντα. Στην προτεινόμενη υλοποίηση εξετάστηκαν προσεκτικά τα συναισθήματα της χαράς και της λύπης, που είναι δυο από τα έξι βασικά συναισθήματα, σύμφωνα με τους Ekman και Friesen [6] [7], καθώς φαίνεται να συνδέονται θετικά και αρνητικά αντίστοιχα με την MMD. Παραδείγματος χάριν, το συναίσθημα της λύπης εμφανίζεται να είναι κυρίαρχο στα άτομα που υποφέρουν από MMD από εκείνο της χαράς. Συνοψίζοντας ο κύριος σκοπός της παρούσας εργασίας είναι να σχεδιαστεί και να αναπτυχθεί μια εφαρμογή με το ΜΑΤLAB με στόχο την ανάλυση της εικόνας του προσώπου, με απώτερο στόχο την ανίχνευση οπτικών ενδείξεων της κατάθλιψης μέσω καταγεγραμμένων βίντεο. Όπως αναφέρθηκε και παραπάνω, οι εκφράσεις του προσώπου είναι καθοριστικές στην ανθρώπινη αλληλεπίδραση και επικοινωνία καθώς παρέχουν σημαντικές πληροφορίες όσων αφορά την ανάλυση των συναισθημάτων. Υψηλού επιπέδου πληροφορίες σχετικά με τα χαρακτηριστικά του προσώπου αντληθήκαν μέσω του OpenFace toolkit [8], ενώ δόθηκε ιδιαίτερη έμφαση στο AviD-Corpus (AVEC’14), ώστε να ελεγχθούν οι υλοποιημένοι αλγόριθμοι. Αφού εντοπίστηκαν οι απαιτούμενες υψηλού επιπέδου πληροφορίες που είναι σχετιζόμενες με τα χαρακτηριστικά του προσώπου, επιλέχτηκαν οι κατάλληλοι αλγόριθμοι μηχανικής μάθησης. Απώτερος στόχος ήταν να εξεταστεί η «Ευαισθησία» (‘sensitivity’) και η «Ειδικότητα» (‘specificity’) του παρόντος εργαλείου υποστήριξης για τη διάγνωση της κατάθλιψης. Ορισμένοι από τους αλγόριθμους κατηγοριοποίησης που εξεταστήκαν είναι οι παρακάτω: Διαχωριστική Ανάλυση (Discriminant Analysis), Δέντρα αποφάσεων (Random Forest Tree), Απλός Κατηγοριοποιητής Bayes (Naïve Bayes), Γραμμικός (Linear) και τον Κατηγοριοποιητή Εγγύτατου Γείτονα (k-nearest Neighbor Classifiers). Η αποτελεσματικότερη μέθοδος περιλαμβάνει τον Κατηγοριοποιητή Διαχωριστική Ανάλυση (Discriminant Analysis) με χρόνο εκτέλεσης τα 4 λεπτά, κατά προσέγγιση, για την ακρίβεια 4,29 λεπτά. Καταληκτικά, επιλέγοντας κατά προσέγγιση το 1 λεπτό- παράθυρο και αξιοποιώντας το πρωτόκολλο Leave-One-Subject-Out της μεθόδου cross-validation, ακρίβεια 72,57% για το εργαλείο υποστήριξης της διάγνωσης της κατάθλιψης.