Autonomer Agent entdeckt: Transformer-Design für Moleküle funktioniert überall

Ein neuer Beitrag auf arXiv (2603.28015v1) untersucht, ob Transformer‑Architekturen, die ursprünglich für natürliche Sprache entwickelt wurden, optimal für molekulare Daten geeignet sind. Der Artikel beschreibt einen autonomen Architektursuchprozess, der auf drei Sequenztypen angewendet wurde.

Der Agent führte 3.106 Experimente auf einer einzigen GPU durch, wobei SMILES (Moleküle), Proteine und englischer Text als Kontrollgruppe getestet wurden. Für SMILES zeigte sich, dass reine Hyperparameter‑Tuning‑Strategien (Learning‑Rate, Scheduler) die Architektur‑Suche übertrifft (p = 0.001). Bei natürlicher Sprache erzielte die Architektur‑Optimierung 81 % der Leistungssteigerung (p = 0.009). Proteine lagen zwischen beiden Extremen.

Interessanterweise entdeckte der Agent für jedes Domain unterschiedliche Architekturen (p = 0.004), doch diese Innovationen übertrugen sich mit weniger als 1 % Leistungsverlust auf die anderen beiden Domains. Das deutet darauf hin, dass die Unterschiede eher auf den Suchpfad als auf biologische Besonderheiten zurückzuführen sind.

Der Beitrag stellt ein Entscheidungs‑Framework und ein Open‑Source‑Toolkit vor, das Teams im Molekular‑Design hilft, zu entscheiden, ob sie autonome Architektursuche oder einfaches Hyperparameter‑Tuning einsetzen sollten. Diese Ressourcen ermöglichen es, die Effizienz von Deep‑Learning‑Modellen für Arzneimittelentwicklung zu steigern.