Offline‑Lernmethode steigert Fachkompetenz von LLMs bei begrenzten Ressourcen

Eine neue Technik zur Wissensdistillation, die ausschließlich offline arbeitet, ermöglicht es großen Sprachmodellen, sich in spezialisierten Bereichen mit hoher Genauigkeit zu profilieren – und das ohne den Einsatz teurer Hardware.

Im Fokus steht ein Ansatz, bei dem ein „Teacher“-Modell Antworten generiert, die anschließend als Trainingsmaterial für ein kleineres „Student“-Modell dienen. Durch diese Antwort‑basierte Distillation werden die Modelle gezielt auf domänenspezifische Inhalte trainiert, ohne dass sie während des Trainings auf externe Daten zugreifen müssen.

Die Studie testet drei unterschiedliche Datenstrategien: eine allgemeine Domänenanpassung mit 15.000 Zeilen, eine unstrukturierte Wissensinjektion von 2.000 Zeilen und ein kontext‑sensitives synthetisches Dataset von nur 500 Zeilen, das vom Teacher-Modell erzeugt wurde. Trotz der geringen Größe des letzten Datensatzes erzielte er eine beeindruckende Genauigkeit von 96,7 % und zeigte eine starke Fähigkeit, unpassende Antworten abzulehnen.

Um die Rechenkosten zu senken, wurde die Unsloth‑Bibliothek eingesetzt, die das Qwen‑2.5‑7B‑Studentmodell optimiert. Dadurch konnte der Speicherbedarf einer NVIDIA A100‑GPU von 40 GB auf 16 GB reduziert werden. Die Ergebnisse belegen die LIMA‑Hypothese: In ressourcenarmen Szenarien ist die Qualität und strukturelle Ausrichtung der Daten entscheidender als deren Menge.