Automatisierte Videoerstellung: Skript‑Sätze exakt an Folienobjekte ausrichten

In der heutigen Bildungs- und Forschungspraxis werden Folienvideos häufig mit visuellen Effekten angereichert, um Inhalte anschaulicher zu präsentieren. Der Aufwand, diese Effekte manuell an die gesprochenen Inhalte anzupassen, ist jedoch enorm und frustrierend.

Eine neue Studie präsentiert ein System, das diese Arbeitsschritte automatisiert und aus einer Kombination von Folien und zugehörigen Skripten sofort fertige Lehrvideos erzeugt.

Im Mittelpunkt steht die Aufgabe „Script‑to‑Slide Grounding“ (S2SG), bei der Sätze aus dem Skript exakt den entsprechenden Objekten auf den Folien zugeordnet werden. Damit wird ein bislang nur intuitiv verstandener Prozess in ein klar definiertes, rechnerisch lösbares Problem überführt.

Als ersten Ansatz schlägt die Arbeit die Methode „Text‑S2SG“ vor, die ein großes Sprachmodell nutzt, um die Zuordnung von Textobjekten zu automatisieren. Durch den Einsatz moderner KI‑Technologien wird die Genauigkeit der Zuordnung deutlich verbessert.

Die Experimente zeigen, dass die vorgeschlagene Methode mit einem F1‑Score von 0,924 eine herausragende Leistung erzielt. Damit ebnet die Forschung den Weg für die vollständige Automatisierung der Erstellung von Folienvideos mit visuellen Effekten.