ConfLayers: Dynamisches Layer‑Skipping für schnellere LLM‑Generierung

In der neuesten Veröffentlichung auf arXiv wird ein innovatives Verfahren namens ConfLayers vorgestellt, das die Geschwindigkeit von großen Sprachmodellen (LLMs) erhöht, ohne die Qualität der Ausgabe zu beeinträchtigen. Das Konzept basiert auf dem Ansatz des Self‑Speculative Decodings, bei dem ein kompakteres Modell zunächst eine schnelle, grobe Vorhersage erzeugt, die anschließend vom vollständigen Zielmodell verfeinert wird.

ConfLayers nutzt einen dynamischen, plug‑and‑play Mechanismus, um die Zwischenschichten eines Modells gezielt zu überspringen. Dabei werden für jede Schicht iterativ Konfidenzwerte berechnet und ein adaptiver Schwellenwert bestimmt, ab dem die Schicht übersprungen wird. Der Prozess wiederholt sich, bis keine weitere Verbesserung mehr möglich ist oder eine maximale Iterationszahl erreicht wurde. Dadurch entfällt die Notwendigkeit, eine separate Schicht‑Skipping‑Policy zu trainieren, was sowohl Rechenaufwand als auch Komplexität reduziert.

Die Autoren haben ConfLayers an verschiedenen Modellen und Datensätzen getestet und konnten bis zu 1,4‑fach schnellere Ausgaben im Vergleich zur Standard‑LLM‑Generierung erzielen. Das Verfahren bietet damit einen konsistenteren Trade‑off zwischen Geschwindigkeit und Qualität und bleibt dabei flexibel genug, um sich an unterschiedliche Aufgaben und Daten anzupassen.