Falcon Perception: 0,6 Mrd. Parameter Transformer für sprachbasierte Segmentierung

TII hat mit Falcon Perception einen Meilenstein in der Computer‑Vision gesetzt. Der neue Transformer verfügt über 0,6 Milliarden Parameter und kombiniert Bild- und Sprachinformationen bereits in der ersten Schicht – ein Ansatz, der die herkömmliche modulare „Lego‑Brick“-Architektur überwindet.

Derzeit arbeiten die meisten Systeme mit einem vortrainierten Vision‑Encoder, der Merkmale extrahiert, und einem separaten Decoder, der die Aufgabe vorhersagt. Diese Trennung erleichtert zwar die Entwicklung, erschwert jedoch die Skalierung und führt zu Engpässen in der Interaktion zwischen Sprache und Bild.

Falcon Perception nutzt einen Early‑Fusion‑Transformer, der Bild- und Sprachdaten von Anfang an miteinander verknüpft. Dadurch kann das Modell offene Vokabulare verarbeiten und aus natürlichen Sprachaufforderungen präzise Segmentierungen erzeugen – ohne dass ein zusätzlicher Decoder nötig ist.

Die neue Architektur verspricht nicht nur höhere Genauigkeit, sondern auch schnellere Trainingszeiten und eine größere Flexibilität bei der Wortwahl. TII demonstriert damit, dass ein integrierter Ansatz die Grenzen der klassischen modularen Systeme sprengen kann und die Zukunft der multimodalen Vision vorantreibt.