Neues Training mit Pose-EMG verbessert Gestenklassifizierung um bis zu 72 %

Wissenschaftler haben ein innovatives Pre‑Training-Verfahren namens CPEP (Contrastive Pose‑EMG Pre‑Training) vorgestellt, das die Klassifizierung von Handgesten auf Basis von Oberflächselektromyographie (sEMG) deutlich verbessert. Durch die Kombination von EMG‑Signalen mit hochqualitativen Pose‑Daten aus Videos und Handskizzen schafft CPEP eine starke Verbindung zwischen beiden Modalitäten.

Im Kern lernt ein spezieller EMG‑Encoder, Pose‑informative Repräsentationen zu erzeugen. Diese werden anschließend linear abgetastet und in Zero‑Shot‑Szenarien getestet, bei denen das Modell Gesten klassifizieren soll, die es zuvor nicht gesehen hat. Die Ergebnisse sind beeindruckend: Im Vergleich zu bestehenden Benchmark‑Modellen übertrifft CPEP die Leistung bei in‑Distribution‑Gesten um bis zu 21 % und bei unbekannten Gesten um erstaunliche 72 %.

Die Methode eröffnet neue Möglichkeiten für Wearable‑Technologien, die kontinuierliche Gestensteuerung mit minimalem Stromverbrauch ermöglichen. Durch die Nutzung von sEMG, einem kostengünstigen und energieeffizienten Signal, kann CPEP die Grundlage für robuste, benutzerfreundliche Interfaces legen, die sich nahtlos an neue Gesten anpassen.