CountsDiff: Diffusionsmodell für natürliche Zahlen – neue Generation & Imputation

Die jüngste Veröffentlichung von CountsDiff eröffnet ein neues Kapitel in der Anwendung von Diffusionsmodellen auf diskrete, ordinalbasierte Daten. Während klassische Diffusionsmodelle vor allem in kontinuierlichen und tokenbasierten Domänen glänzen, bleibt die Modellierung von Zählwerten bislang weitgehend unerforscht.

CountsDiff baut auf dem Blackout‑Diffusionsframework auf, vereinfacht dessen Formulierung jedoch erheblich. Durch die direkte Parametrisierung mittels eines Überlebenswahrscheinlichkeitsplans und einer expliziten Verlustgewichtung erhält das Modell eine hohe Flexibilität. Designparameter, die klare Entsprechungen in bestehenden Diffusionsmodellen besitzen, ermöglichen eine intuitive Anpassung an unterschiedliche Aufgaben.

Darüber hinaus integriert CountsDiff moderne Features, die bislang bei zählbasierten Modellen fehlten: kontinuierliches Training in der Zeit, classifier‑free Guidance sowie Churn‑/Remasking‑Reverse‑Dynamics, die nicht‑monotone Rückwärtswege erlauben. In ersten Tests auf Bilddatensätzen wie CIFAR‑10 und CelebA zeigen sich die Vorteile der neuen Parameter‑Konfigurationen deutlich.

Ein besonders vielversprechender Anwendungsfall ist die Imputation von Einzelzell‑RNA‑seq‑Daten. Auf einem Fetal‑Cell‑ und Heart‑Cell‑Atlas übertrifft die einfache Instanz von CountsDiff sogar führende diskrete Generative Modelle und etablierte Imputationsmethoden. Damit bleibt ein großer Spielraum für weitere Optimierungen und zukünftige Durchbrüche offen.