DeltaLogic: Neue Benchmark-Methode enthüllt Schwächen bei Beweisrevision

Traditionelle Reasoning‑Benchmarks prüfen, ob ein Modell aus einer festen Premissenmenge die richtige Antwort ableiten kann. Dabei wird jedoch ein entscheidendes Merkmal in dynamischen Umgebungen vernachlässigt: die Fähigkeit zur Beweisrevision bei minimalen Änderungen der Evidenz.

DeltaLogic ist ein neues Benchmark‑Transformationsprotokoll, das natürliche Sprachbeispiele in kurze Revisionsepisoden umwandelt. Jede Episode besteht aus drei Schritten: erst wird ein Anfangs­schluss unter den Premissen P gefordert, anschließend wird eine minimale Änderung δ(P) vorgenommen, und zuletzt wird gefragt, ob der vorherige Schluss unverändert bleiben oder angepasst werden soll.

Wir haben DeltaLogic aus den Datensätzen FOLIO und ProofWriter abgeleitet und kleine kausale Sprachmodelle mit eingeschränkter Label‑Bewertung getestet. Auf einem 30‑Episode‑Teilset zeigte Qwen3‑1.7B eine Anfangs­genauigkeit von 0,667, jedoch nur 0,467 bei der Revision und eine Inertie von 0,600, wenn die Gold‑Antwort geändert werden sollte. Qwen3‑0.6B verzichtete fast vollständig auf Antworten. Qwen3‑4B wies ein ähnliches Muster auf (0,650 Anfang, 0,450 Revision, 0,600 Inertie), während Phi‑4‑mini‑instruct deutlich besser abschnitt (0,950 Anfang, 0,850 Revision), jedoch noch Abstentions‑ und Kontrollinstabilitäten zeigte.

Diese Ergebnisse verdeutlichen, dass logische Kompetenz unter festen Premissen nicht automatisch zu einer disziplinierten Beweisrevision nach lokalen Evidenzänderungen führt. DeltaLogic adressiert damit eine bislang wenig beachtete, aber praktisch wichtige Fähigkeit im Bereich des logischen Denkens.