Kollaboration von Sprachmodellen über versteckte Zustände

Neues Forschungsergebnis aus dem Bereich des Reinforcement Learning (RL) zeigt, dass kleine, spezialisierte Sprachmodelle (SLMs) ohne große monolithische Modelle komplexes, strukturiertes Denken demonstrieren können. Durch die Einführung einer „soft hidden‑state collaboration“ werden mehrere heterogene, eingefrorene SLM‑Experten über ein trainierbares Aufmerksamkeitsinterface miteinander verbunden.

In Experimenten auf den Plattformen Reasoning Gym und GSM8K erwies sich diese latente Integration als konkurrenzfähig gegenüber starken Einzelmodell‑RLVR‑Baselines. Die Ablationsstudien verdeutlichen, dass bei einfachen arithmetischen Aufgaben die Leistungssteigerung vor allem durch statische Expertenpräferenzen erklärt werden kann, während bei anspruchsvolleren Problemen ein zunehmend konzentrierter und strukturierter Experten‑Aufmerksamkeitsmechanismus entsteht. Dies weist auf eine emergente Spezialisierung hin, wie der Router im Laufe des Trainings relevante Experten auswählt.

Die vorgestellte Methode bietet einen kompakten Ansatz, eingefrorene Experten zu nutzen, und liefert gleichzeitig Einblicke in deren Einsatzmuster und deren Entwicklung unter RLVR. Damit eröffnet sie neue Perspektiven für die effiziente Zusammenarbeit mehrerer Sprachmodelle in komplexen Aufgabenbereichen.