TEMPEST: Transformer lernen direkt aus komprimierten Dateiformaten

In einer Welt, in der Datenmengen exponentiell wachsen, bietet die effiziente Speicherung und Übertragung von komprimierten Dateien einen entscheidenden Vorteil. Doch ihr volles Potenzial für das Lernen von Repräsentationen bleibt bislang weitgehend unerforscht. Mit TEMPEST (TransformErs froM comPressed rEpreSenTations) wird dieses Potenzial endlich erschlossen.

Die Methode nutzt die inhärente Byte‑Stream‑Struktur von komprimierten Dateien, um eine gezielte Tokenisierung und Codierung zu entwickeln. Dadurch kann ein Standard‑Transformer direkt aus den komprimierten Daten lernen, ohne dass die Rohbytes erst dekodiert oder ein vollständiges Medienformat verarbeitet werden muss. Das Ergebnis: ein deutlich reduzierter Token‑Anzahl, was sowohl die Rechenkomplexität als auch den Speicherbedarf senkt.

Durch umfangreiche Experimente über verschiedene Datensätze, Codierungsschemata und Modalitäten hinweg zeigt TEMPEST, dass die Genauigkeit mit dem aktuellen Stand der Technik konkurrieren kann – und gleichzeitig erhebliche Einsparungen bei Speicher und Rechenleistung erzielt werden. Diese Fortschritte markieren einen bedeutenden Schritt in Richtung effizienter, datenintensiver KI‑Modelle.