Neues multimodales System erkennt Depressionen in Social Media während Covid-19

Die COVID‑19‑Pandemie hat weltweit zu einem deutlichen Anstieg von psychischen Problemen wie Angst, Stress und Depression geführt. Trotz der hohen Prävalenz bleiben viele Betroffene unentdeckt, weil sie zögern, ärztliche Hilfe in Anspruch zu nehmen.

Da Menschen vermehrt soziale Medien nutzen, um ihre Gefühle auszudrücken, eröffnet sich eine große Datenquelle für die Erkennung von Depressionen. Bisher vernachlässigten viele Ansätze die Datenknappheit in Tweets und die multimodalen Inhalte, die auf Plattformen vorhanden sind.

In der vorliegenden Studie wird ein neuartiges multimodales Framework vorgestellt, das Text, nutzerspezifische Informationen und Bildanalysen kombiniert. Zusätzlich werden extrinsische Merkmale aus den in Tweets enthaltenen URLs sowie der Text aus Bildinhalten extrahiert. Insgesamt werden fünf verschiedene Merkmalsgruppen genutzt, um das emotionale Profil eines Nutzers zu beschreiben.

Zur Bildverarbeitung wird ein Deep‑Learning‑Modell namens Visual Neural Network (VNN) eingesetzt, das Bild‑Embeddings erzeugt und als visuelle Feature‑Vektoren für die Vorhersage dient. Darüber hinaus stellt die Arbeit einen sorgfältig kuratierten COVID‑19‑Datensatz von depressiven und nicht depressiven Nutzern zur Verfügung und demonstriert die Wirksamkeit des Ansatzes.