ReSS: Symbolische Entscheidungsbäume stärken LLMs für tabellarische Vorhersagen

Tabellarische Daten sind in Bereichen wie Gesundheit und Finanzen allgegenwärtig, wo Vorhersagemodelle nicht nur hochpräzise, sondern auch nachvollziehbar sein müssen. Traditionelle symbolische Modelle bieten zwar überprüfbare Logik, bleiben jedoch in ihrer semantischen Ausdruckskraft begrenzt. Gleichzeitig erfordern generelle Sprachmodelle oft aufwändige Feinabstimmungen, um domänenspezifische tabellarische Logik zu erlernen.

ReSS (Reasoning via Symbolic Scaffold) schlägt eine Brücke zwischen diesen beiden Ansätzen. Das System nutzt einen Entscheidungsbaum, um für jede Instanz einen symbolischen Entscheidungsweg zu extrahieren. Diese Pfade dienen als „Gerüst“, das zusammen mit den Eingangsmerkmalen und Zielwerten ein vortrainiertes Sprachmodell anleitet, natürliche Sprachbegründungen zu generieren, die strikt dem zugrunde liegenden Entscheidungsbaum folgen.

Das daraus resultierende, hochqualitative Datenset wird anschließend verwendet, um das Sprachmodell gezielt für tabellarische Vorhersagen zu feintunen. Durch eine scaffold‑invariante Datenaugmentation wird die Generalisierbarkeit und Erklärbarkeit weiter verbessert.

Um die Glaubwürdigkeit der erzeugten Erklärungen zu prüfen, wurden neue quantitative Metriken eingeführt: Halluzinationsrate, Erklärungsnotwendigkeit und Erklärungsangemessenheit. Auf medizinischen und finanziellen Benchmark-Datensätzen konnte ReSS die Leistung traditioneller Entscheidungsbäume und Standard-Fine‑Tuning-Methoden um bis zu 10 % steigern, während gleichzeitig die Erklärungen vertrauenswürdig und konsistent bleiben.

ReSS demonstriert, dass symbolische Strukturen und neuronale Sprachmodelle kombiniert werden können, um robuste, erklärbare Vorhersagen für tabellarische Daten zu liefern – ein bedeutender Fortschritt für datenintensive, hochverantwortungsvolle Anwendungsbereiche.