Maschinelles Vorstellungsvermögen verbessert Zero-Shot-Kommonsense-Logik

Neuste Fortschritte im Zero-Shot-Kommonsense-Reasoning haben vortrainierte Sprachmodelle (PLMs) dazu befähigt, umfangreiches Allgemeinwissen zu erwerben, ohne dass sie für spezifische Aufgaben feinjustiert werden müssen. Trotz dieser Erfolge leiden die Modelle häufig unter Beschränkungen, die aus menschlichen Berichterstattungsbiases in textbasiertem Wissen resultieren und zu Verständnisunterschieden zwischen Maschinen und Menschen führen.

Um diese Lücke zu schließen, wird eine zusätzliche Modalität eingeführt, die die Denkfähigkeit der PLMs erweitert. Das neue Framework „Imagine“ – Machine Imagination-based Reasoning – ergänzt textuelle Eingaben um visuelle Signale, die von einem maschinell generierten Bildgenerator erzeugt werden. Durch die direkte Einbettung des Bildgenerators in den Reasoning-Pipeline erhält das Modell die Fähigkeit, sich Bilder vorzustellen und daraus zusätzliche Kontextinformationen abzuleiten.

Zur effektiven Nutzung dieses imaginären visuellen Kontexts wurden synthetische Datensätze entwickelt, die Szenarien des Visual Question Answering nachahmen. Umfangreiche Evaluierungen an mehreren Kommonsense-Benchmarks zeigen, dass Imagine bestehende Zero-Shot-Ansätze deutlich übertrifft und sogar fortgeschrittene große Sprachmodelle überholt.

Diese Ergebnisse unterstreichen, dass maschinelles Vorstellungsvermögen den Berichterstattungsbias mildern und die Generalisierungsfähigkeit von Kommonsense-Reasoning-Modellen erheblich steigern kann.