SR-Transformer nutzt FlashAttention dank Rank-Factorized Implicit Neural Bias

In den letzten Jahren haben sich Super‑Resolution‑Methoden zunehmend auf Transformer‑Architekturen verlassen, weil diese ein starkes Langzeit‑Modellierungsvermögen besitzen. Ein großes Problem bleibt jedoch die Abhängigkeit von relativen Positionsbias (RPB). Diese Bias‑Mechanismen verhindern die Nutzung von hardware‑effizienten Attention‑Kernen wie FlashAttention, was sowohl beim Training als auch bei der Inferenz enorme Rechenkosten verursacht. Dadurch ist die Skalierung von SR‑Transformern – etwa durch größere Patch‑ oder Attention‑Fenster – stark eingeschränkt.

Die neue Arbeit stellt den Rank‑Factorized Implicit Neural Bias (RIB) vor, der RPB als Low‑Rank‑Implizite neuronale Repräsentationen ersetzt. RIB wird kanalweise an die Pixel‑Content‑Tokens angehängt, wodurch die elementweise Bias‑Addition im Attention‑Score zu einer Dot‑Product‑Operation wird. Diese Umgestaltung ermöglicht die Nutzung von FlashAttention, ohne die Modellleistung zu beeinträchtigen.

Zusätzlich führen die Autoren eine konvolutionale lokale Attention und eine zyklische Fensterstrategie ein, um die Vorteile der langen Reichweite vollständig auszuschöpfen. Durch die Erhöhung des Fenster‑Größen auf 96 × 96 und die gleichzeitige Skalierung von Trainingspatch‑Größe und Datensatzgröße wird das volle Potenzial von Transformers im Super‑Resolution‑Aufgabe freigesetzt.

Das Ergebnis ist ein Netzwerk, das mit einem PSNR von 35,63 dB auf dem jeweiligen Benchmark herausragt – ein deutlicher Fortschritt gegenüber bisherigen SR‑Transformern, die auf RPB angewiesen waren.