MobileFineTuner: LLMs direkt auf Smartphones feinjustieren – Open-Source-Framework

Ein neues Open-Source-Framework namens MobileFineTuner ermöglicht es, große Sprachmodelle (LLMs) direkt auf handelsüblichen Smartphones zu verfeinern. Durch die Nutzung von privaten Nutzerdaten auf dem Gerät bleibt die Privatsphäre gewahrt, während gleichzeitig die Leistungsfähigkeit von LLMs verbessert wird.

MobileFineTuner unterstützt sowohl das vollständige Feintuning aller Modellparameter als auch parameter-effiziente Varianten (PEFT). Um die Beschränkungen von Speicher und Energie auf Mobilgeräten zu überwinden, wurden systemweite Optimierungen eingeführt: Parameter-Sharding, Gradient-Accumulation und ein energiesensibles Rechenplanungsmodul. Diese Maßnahmen reduzieren den Speicherbedarf und minimieren den Stromverbrauch, ohne die Trainingsqualität zu beeinträchtigen.

Die Machbarkeit des Ansatzes wurde demonstriert, indem Modelle wie GPT‑2, Gemma 3 und Qwen 2.5 auf realen Smartphones feinjustiert wurden. Umfangreiche Experimente und Ablationsstudien belegen, dass die vorgeschlagenen Optimierungen die Effizienz deutlich steigern und MobileFineTuner als solide Basis für zukünftige Forschungen im Bereich des On‑Device-Trainings von LLMs etablieren.