Fehler-gesteuertes Lernen spart Energie und Speicher bei Lernprozessen

Synaptische Plastizität verbraucht viel Energie, doch Tiere aktualisieren ihre inneren Modelle ständig, ohne ihre Energiereserven zu erschöpfen.

Bei künstlichen neuronalen Netzwerken werden die Gewichte jedoch bei jedem Beispiel angepasst, selbst wenn das Beispiel bereits korrekt klassifiziert wurde.

In Anlehnung an die menschliche Negativitätsbias und die Fehler-assoziierte Negativität schlagen wir das Konzept des „memorized mistake-gated learning“ vor – eine biologisch plausiblere Regel, bei der synaptische Anpassungen ausschließlich durch aktuelle und vergangene Klassifikationsfehler gesteuert werden.

Durch diese Fehlersteuerung reduziert sich die Anzahl der notwendigen Anpassungen um 50 % bis 80 %.

Der Ansatz eignet sich besonders für zwei Szenarien: 1) inkrementelles Lernen, bei dem neues Wissen auf bereits vorhandenem Wissen aufgebaut wird, und 2) Online-Lernen, bei dem Daten für spätere Replay-Sitzungen gespeichert werden müssen – hier verringert die Fehlersteuerung den Speicherbedarf.

Der Algorithmus lässt sich in wenigen Codezeilen umsetzen, erfordert keine zusätzlichen Hyperparameter und verursacht nur einen vernachlässigbaren Rechenaufwand.

Das Lernen ausschließlich auf Fehlern ist somit eine energieeffiziente und biologisch relevante Modifikation gängiger Lernregeln und eignet sich hervorragend für kontinuierliches Lernen.