VibraVerse: Neues Datenset verbindet 3D‑Geometrie mit akustischer Realität

Ein neues Forschungsprojekt namens VibraVerse liefert ein umfangreiches Datenset, das die physikalische Verbindung zwischen 3D‑Geometrie, Materialeigenschaften und den erzeugten Klängen explizit abbildet. Für jedes 3D‑Modell sind Dichte, Young’scher Modulus und Poisson‑Verhältnis festgelegt, sodass aus der Volumengeometrie die Modalfrequenzen und Eigenvektoren berechnet werden können. Diese Daten ermöglichen die synthetische Erzeugung von Aufprallgeräuschen unter kontrollierten Bedingungen und schaffen damit einen klaren kausalen Zusammenhang von Form zu Klang.

Zur Sicherstellung der physikalischen Konsistenz wurde das kontrastive Lernframework CLASP entwickelt. CLASP richtet die multimodale Ausrichtung so aus, dass die physikalische Struktur eines Objekts exakt mit seiner akustischen Reaktion übereinstimmt. Dadurch entsteht ein einheitlicher Repräsentationsraum, der Form, Bild und Ton umfasst und die Kausalität zwischen den Modalitäten bewahrt.

Auf Basis von VibraVerse wurden mehrere Benchmark‑Aufgaben definiert: Vorhersage von Klängen aus Geometrie, klanggesteuerte Rekonstruktion von Formen und generelles multimodales Representation Learning. Umfangreiche Tests zeigen, dass Modelle, die mit VibraVerse trainiert wurden, in diesen Aufgaben deutlich höhere Genauigkeit und Interpretierbarkeit erreichen als bisherige Ansätze.