meineki.news Logo
meineki.news
KI News. Verstehen, was wichtig wird.
Anmelden
Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “RKL”
Forschung

<h1>Neues Modell erklärt Phasenwechsel beim Training von neuronalen Netzen</h1> <p>Ein neues mathematisches Konzept, die „Spectral Edge Thesis“, liefert einen klaren Rahmen für die Phasenwechsel, die beim Training von neuronalen Netzen auftreten. Diese Wechsel – von Grokking über Leistungssteigerungen bis hin zu Verlustplateaus – werden laut der Theorie durch das Spektral­gap des rollenden‑Fenster‑Gram‑Matrizen der Parameterupdates bestimmt.</p> <p>Im extremen Aspektverhältnis (Parameter im Bereich von 10^8
arXiv – cs.LG
Forschung

<p>Cosine‑Ähnlichkeit zwischen Label‑Repräsentationen erklärt Softmax‑Modelle nicht</p> <p>In einer kürzlich veröffentlichten Studie von arXiv:2603.29488v1 wird deutlich, dass die übliche Messgröße Cosine‑Similarity bei Softmax‑Klassifikatoren – sei es bei Bild‑ oder Sprachmodellen – keine Aussagekraft über die vom Modell vergebenen Wahrscheinlichkeiten besitzt. Die Autoren zeigen, dass für jedes Softmax‑Modell zwei beliebige Label‑Repräsentationen existieren, für die ein anderes Modell konstruiert werden k
arXiv – cs.LG