RuleFlow: Wiederverwendbare Optimierungen für Pandas-Programme mit LLMs

Forscher haben ein neues Tool namens RuleFlow vorgestellt, das Pandas-Programme deutlich schneller macht.

Die Optimierung von Pandas-Code ist seit langem ein schwieriges Problem. Bestehende Systeme sind entweder zu komplex oder unterstützen nur eine begrenzte Auswahl an Optimierungen. Auf der anderen Seite können große Sprachmodelle (LLMs) individuelle Optimierungen erzeugen, aber sie sind unzuverlässig, kostenintensiv und liefern selten Ergebnisse.

RuleFlow löst dieses Problem mit einem hybriden Ansatz, der in drei klar getrennte Phasen unterteilt ist: Entdeckung, Brücke und Einsatz.

In der Entdeckungsphase werden pro Programm spezifische Optimierungen automatisch identifiziert. Anschließend wandelt die Brückenschicht diese Optimierungen in allgemeine Rewrite-Regeln um, die nicht an ein einzelnes Programm gebunden sind.

Im Einsatzschritt werden die generierten Regeln in einen Compiler integriert, der sie überall dort anwendet, wo sie passen. Dadurch entfällt die wiederholte Nutzung von LLMs und die Optimierungen können effizient und zuverlässig ausgeführt werden.

Auf dem PandasBench-Benchmark, einer anspruchsvollen Sammlung von Python-Notebooks, erzielt RuleFlow bis zu 4,3‑fachen Geschwindigkeitsgewinn gegenüber dem vorherigen Compiler-basierten SOTA Dias und über 1900‑fachen gegenüber dem systembasierten SOTA Modin.

Der komplette Code ist auf GitHub verfügbar: https://github.com/ADAPT-uiuc/RuleFlow.