Finde Modelle, Firmen und Themen

Eine aktuelle Untersuchung hat gezeigt, dass das Weglassen der Orthogonalisation während des Trainings und deren Einsetzen ausschließlich b…

Eine neue Technik ermöglicht es, große Sprachmodelle (LLMs) in Echtzeit mit individuellen Persönlichkeiten zu versehen, ohne dass dafür umf…

Der Muon-Optimierer hat bereits bei der Vortrainierung großer Sprachmodelle vielversprechende Ergebnisse erzielt, indem er Gradienten (oder…

Auf dem arXiv erschienen die Ergebnisse der Studie Stabilizing Native Low-Rank LLM Pretraining (ID 2602.12429v1). Sie zeigen, dass große Sp…

Muons, eine Familie von Optimierern, nutzt Newton-Schulz-Iteration, um die Update-Schritte zu orthogonalisieren. Dadurch entsteht eine nahe…

In der jüngsten Veröffentlichung auf arXiv wird ein faszinierendes Phänomen bei der Feinabstimmung großer Sprachmodelle (LLMs) mit der Low‑…

Die neuesten Forschungsergebnisse zeigen, dass die Optimierungsstrategie Muon die Vortrainingsphase großer Sprachmodelle deutlich beschleun…

Orthogonality-basierte Optimierer wie Muon haben in den letzten Monaten beeindruckende Ergebnisse bei groß angelegten Trainingsaufgaben erz…