Der Preisträger Jenia Jitsev stellte sich nach seiner Rückkehr von der International Joint Conference on Neuronal Networks (IJCNN) in Brisbane unseren Fragen zu Auszeichnung, seiner Forschung und zukünftigen Ideen.

"Jenia, zurück von der größten Konferenz im Bereich der neuronalen Modellierung. Im Gepäck gleich zwei Auszeichnungen. Wie fühlst Du Dich?"

"Es ist natürlich ein sehr schönes Gefühl zu erfahren, dass die eigene Arbeit auf so viel Interesse und Anerkennung stößt. Das bestärkt uns auch in dem Glauben, dass unsere Fragestellung von Neurowissenschaftlern aus verschiedenen Communities als enorm wichtig für den Fortschritt im grundsätzlichen Verständnis der Funktionsweise des Gehirns betrachtet wird."

"Woran forschst Du?"

"Grundsätzlich beschäftige ich mich mit der Frage, wie Plastizität der neuronalen Netzwerke des Gehirns höhere Gehirnfunktionen wie Lernen und Gedächtnis ermöglicht. In dem aktuellen Projekt geht es darum, wie das Gehirn aus positiven und negativen Konsequenzen der eigenen Handlungen, also aus Belohnung und Bestrafung, lernen kann."

"Was genau bedeutet Plastizität in diesem Zusammenhang?"

"Plastizität bedeutet jede Art der Veränderung, die eine gemachte Erfahrung im Gehirn hinterlässt. Solche Veränderungen finden oft an den Verbindungsstellen zwischen den Neuronen, den Synapsen, statt. Die Synapsen können verstärkt oder abgeschwächt werden, was den Signalaustausch zwischen den Zellen und somit die Informationsverarbeitung in Netzwerken des Gehirns an jeweilige Anforderungen anpasst."

"Was thematisiert Deine auf der Konferenz gezeigte Arbeit?"

"In dem gerade ausgezeichneten Projekt geht es um eine spezielle Form des Lernens, um das sogenannte Verstärkungslernen - Lernen durch Belohnung und Bestrafung. Diese Form des Lernens findet im Basalganglien-Netzwerk des Gehirns statt. Die Basalganglien sind eine Ansammlung von Zellkernen, die unterhalb der Großhirnrinde liegen."

Wie geht Verstärkungslernen?"

Es wird aktuell vermutet, dass Belohnungslernen stattfindet, indem nach Ausführen einer Handlung eine Art Differenz zwischen den bereits vorhandenen Erwartungen, was danach passiert wird, und den später tatsächlich beobachteten Konsequenzen dieser Handlung vom Gehirn gebildet wird."

"Ein Beispiel?"

"Nehmen wir mal an, dass jemand eine neue Arbeitsstelle antritt und zum ersten Mal auf seine zukünftigen Kollegen trifft. Die Begegnung geschieht zunächst ohne besondere Erwartungen und nun kommt es, dass dem Neuankömmling auf Anhieb viel Zuwendung entgegengebracht wird. Man lässt ihn bei allem spüren, dass er willkommen ist. Diese unerwartete, positive Erfahrung wird mit der ursprünglich neutralen Erwartungshaltung abgeglichen und löst einen Lernprozess aus, der zwei Dinge bewirkt: Zum einen ändert sich die ehemals neutrale Erwartung und wird positiver. So entsteht eine Vorfreude zu dieser neuen Arbeit zu gehen, es entwickelt sich eine gesteigerte Motivation. Zum anderen wird auch der Impuls stärker, den Arbeitsplatz wieder aufzusuchen. Man wird regelrecht zum Ort hingezogen, wo ehemals eine positive Erfahrung gemacht wurde. Passiert das Gegenteil - wird man also mit eher negativen Schwingungen am neuen Ort konfrontiert - entwickelt man durch diese unerwartet schlechte Erfahrung sowohl die Abneigung gegen den Ort als auch einen verminderten Antrieb, dort wieder hinzugehen."

"Ich erwarte also eine Konsequenz aus dem was ich tue und schaue was tatsächlich passiert?"

"Genau. Diese Differenz nennt man Vorhersagefehler. Dieser ist intuitiv ein Maß dafür, wie falsch man mit seiner Einschätzung im Bezug auf zukünftige Belohnung und Bestrafung gelegen hat. Die Idee ist, dass Lernen eben dann stattfindet, wenn man feststellt, dass sein Erwartungen an Belohnung und Bestrafung falsch waren und somit korrigiert werden müssen. Dies löst auch Anpassung im Verhalten aus, damit in Zukunft Belohnung angestrebt und Bestrafung vermieden werden kann."

"Und wie muss ich mir diesen Vorhersagefehler im Gehirn vorstellen?"

"Es gibt sehr starke Evidenz dafür, dass dieser Vorhersagefehler in der Aktivität von Neuronen wiedergegeben wird, die den Neurotransmitter Dopamin ausschütten. Dopamin ist wiederum dafür bekannt, dass es die Plastizität der Synapsen des Basalganglien-Netzwerkes beeinflusst. Interessanterweise gibt es auch Hinweise darauf, dass die gebildeten Erwartungen über Belohnung und Bestrafung im Striatum - einem Kern des Basalganglien-Netzwerkes - gespeichert werden. Im selben Kern werden auch unsere Handlungspräferenzen vermutet. Damit ist gemeint: Was wir unter gegebenen Umständen tun und was eher nicht."

"Wie fügt sich das alles zusammen?"

"Unser neuronales Netzwerkmodell erklärt, wie bisher unerwartete Belohnungen und Bestrafungen einen Lernprozess in Gang bringen, der die bisher vorhandenen Erwartungen an Belohnung und Bestrafung korrigiert und die Handlungspräferenzen entsprechend nach und nach so ändert, dass das Netzwerk "weiß", was zu tun ist, um künftig Belohnung zu erhalten und Bestrafung zu vermeiden. Im Netzwerkmodell wird dies durch Annahmen über die Netzwerkorganisation und, besonders wichtig, über die Art der synaptischen Plastizität im Striatum erzielt - die Synapsen werden schwächer oder stärker in Abhängigkeit von der Menge an Dopamin, welches das Vorhersagefehlersignal übermittelt."

zu Teil 2 des Interviews: Simulieren und modellieren

zu Teil 3 des Interviews: Zukünftige Projekte

Weitere Fragen? Bitte schreiben Sie Dr. Jenia Jitsev eine E-Mail.

(Cortical Networks)

IJCNN 2012

Titel des ausgezeichneten Artikels:

"Learning from Positive and Negative Rewards in a Spiking Neural Network Model of Basal Ganglia"

"
als PDF.

Basalganglien - Anatomie

Das Belohnungssystem