meineki.news Logo
meineki.news
KI News. Verstehen, was wichtig wird.
Anmelden
Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “LLM-Embeddings”
Forschung

<p>LLM-Embeddings neu: Dynamische Graphanalyse verbessert psychometrische Modelle</p> <p>In der Psychologie werden große Sprachmodelle (LLMs) zunehmend eingesetzt, um die dimensionalen Strukturen von Item-Pools bereits vor der Datenerhebung abzuschätzen. Bisher werden die daraus gewonnenen Embeddings jedoch als statische, kreuzschnitteartige Darstellungen betrachtet, was impliziert, dass alle Koordinaten gleichermaßen zur Struktur beitragen. Diese Annahme ignoriert die Möglichkeit, dass wertvolle Informatio
arXiv – cs.LG
Forschung

<h1>LLM-Embeddings: Diskrete semantische Zustände und Hamiltonianische Dynamik</h1> <p>In einer neuen Studie wird die Struktur von Embedding‑Räumen großer Sprachmodelle (LLMs) mit Hilfe linearer Algebra und des Hamiltonian‑Formalismus untersucht. Dabei greifen die Forscher auf Parallelen zur Quantenmechanik zurück, um die beobachteten diskreten semantischen Zustände besser zu verstehen.</p> <p>Die Analyse zeigt, dass die L2‑Normalisierung, die in vielen LLM‑Architekturen üblich ist, die Embedding‑Räume in e
arXiv – cs.LG
Forschung

<p>LLM-Embeddings zeigen überraschend niedrige Dimensionalität der Semantik</p> <p>Psychologische Studien haben immer wieder gezeigt, dass menschliche Bewertungen von Wörtern über verschiedene semantische Skalen hinweg auf ein niedrigdimensionales Modell reduziert werden können, ohne dabei wesentliche Informationen zu verlieren. In einer neuen Untersuchung wurde festgestellt, dass die semantischen Beziehungen, die in den Einbettungs­matrizen großer Sprachmodelle (LLMs) gespeichert sind, ein sehr ähnliches M
arXiv – cs.AI