Genomische Modelle kompakt: 200‑fach kleinere mRNA‑Lernmaschine

Die neuesten genomischen Basismodelle haben beeindruckende Ergebnisse erzielt, doch ihre Größe von mehreren Milliarden Parametern macht sie bei begrenzter Rechenleistung teuer und schwer einsetzbar. Um diesem Problem zu begegnen, wurde ein neues Distillationsverfahren vorgestellt, das die mRNA‑Repräsentationen eines hochmodernen genomischen Modells in ein viel kleineres, mRNA‑spezifisches Modell überträgt. Durch die Reduktion um das 200‑fache bleibt die Modellgröße handhabbar, ohne die Leistungsfähigkeit zu verlieren.

Im Gegensatz zu herkömmlichen Logit‑basierten Distillationsmethoden, die sich als instabil erwiesen haben, erwies sich die Embedding‑Level‑Distillation als deutlich effektiver. Auf dem Benchmark‑Set mRNA‑Bench zeigte das verdichtete Modell eine Spitzenleistung unter Modellen gleicher Größe und konnte mit größeren Architekturen bei mRNA‑bezogenen Aufgaben konkurrieren.

Diese Ergebnisse unterstreichen die Wirksamkeit von Embedding‑basierter Distillation für mRNA‑Sequenzen und eröffnen neue Möglichkeiten für effiziente, skalierbare Sequenzmodellierung in der Genomik. Besonders in Szenarien, in denen große Modelle aufgrund von Rechenbeschränkungen unpraktisch sind, bietet diese Methode einen vielversprechenden Ansatz für die Entwicklung leistungsfähiger biologischer Basismodelle.