TokenDance: Revolutionäre Musik-zu-Tanz-Generierung mit Bidirectional Mamba

Die automatische Umwandlung von Musik in Tanzbewegungen hat in den letzten Jahren stark an Bedeutung gewonnen – sei es für virtuelle Realitäten, Tanzschulungen oder die Animation digitaler Charaktere. Doch bisher beschränkten sich die meisten Modelle auf eine kleine Auswahl an Musikstilen und Choreografie-Mustern, weil die verfügbaren 3D-Tanzdatensätze nicht ausreichend vielfältig sind. Das Ergebnis waren oft vereinfachte, sich wiederholende Bewegungen, die weder Ausdruckskraft noch Realismus boten.

TokenDance löst dieses Problem mit einem innovativen, zweistufigen Ansatz. In der ersten Phase werden sowohl Tanz- als auch Musikdaten mithilfe von Finite Scalar Quantization (FSQ) in diskrete Token zerlegt. Dabei wird die Tanzbewegung in obere und untere Körperkomponenten aufgeteilt und mit kinematischen sowie dynamischen Beschränkungen versehen. Die Musik wird in semantische und akustische Merkmale zerlegt, wobei jeweils eigene Codebooks verwendet werden, um die spezifische Struktur von Choreografien einzufangen.

Die zweite Phase nutzt einen Local‑Global‑Local Token‑to‑Token Generator, der auf einer Bidirectional Mamba‑Architektur basiert. Dieser Generator erzeugt zusammenhängende Tanzsequenzen, die sich eng an die musikalische Begleitung anpassen, und ermöglicht gleichzeitig eine effiziente, nicht‑autoregressive Inferenz. Durch die Kombination von lokalem Detail und globaler Kohärenz entstehen flüssige, ausdrucksstarke Bewegungen.

Umfangreiche Experimente zeigen, dass TokenDance die aktuelle Spitzenleistung (State‑of‑the‑Art) sowohl bei der Qualität der generierten Tänze als auch bei der Rechenzeit übertrifft. Die Modelle liefern realistische, musikalisch abgestimmte Bewegungen in Echtzeit und eröffnen damit neue Möglichkeiten für Anwendungen in der virtuellen Realität, im Tanzunterricht und in der digitalen Animation.

TokenDance stellt damit einen bedeutenden Fortschritt in der Musik‑zu‑Tanz‑Generierung dar und demonstriert, wie gezielte Tokenisierung und moderne Transformer‑Architekturen die Grenzen bisheriger Systeme sprengen können. Für Entwickler und Kreative bedeutet dies, dass hochwertige, musikkompatible Tanzanimationen jetzt schneller und zuverlässiger als je zuvor erzeugt werden können.