Kevin Max

Fortunately for us humans, the brain is a complex network of billions of neurons and trillions of synapses. Unfortunately for us scientists, the brain is a complex network of billions of neurons and trillions of synapses.

In order to understand how complex function emerges from microscopic interactions making up neuronal activity, there are two opposing approaches: top-down and bottom-up modelling. Now, these two terms are often used in different contexts to mean, frankly, anything. Here, I am referring to the opposing sides of computational models, which can be functional (perform useful tasks, like image classification or protein folding prediction) but abstract, and networks which are biologically accurate, but hard to functionalize:

In order to understand how biological networks perform complex tasks, we need to satisfy both ends of the scale: model complex dynamics, while retaining the functionality and explainability found in simpler networks. My current approach is to start off from algorithms on the left side, and bring them closer to realistic models of neurons.

One issue this raises is the weight symmetry or weight transport problem. Algorithms for training of neural networks, such as Error Backpropagation, wake-sleep/contrastive Hebbian learning or certain implementations of learning by Predictive Coding all require synaptic strengths between two areas to be symmetric (same sign, same magnitude). If the brain uses such a learning algorithm, we need to explain how it could obtain such symmetry.

There are plenty of solutions for simple (rate-based) models, but a solution for more realistic models using spikes was needed. Therefore, we have developed Spike-based Alignment Learning (SAL), the spiking sister theory of my previous work PAL. SAL uses the information about asymmetric weights imprinted on the spiking times to recover and stabilize networks. To spare you a lengthy, technical description, I'll just refer you to our preprint, which contains lengthy, technical descriptions of how it works, and why it is pretty nice:

Weight transport through spike timing for robust local gradients

Timo Gierlich, Andreas Baumbach, Akos F. Kungl, Kevin Max, Mihai A. Petrovici
https://arxiv.org/abs/2503.02642

As part of the Postdoc.Mobility grant I have been awarded by the Swiss National Science Foundation (SNSF/SNF), I just moved to Okinawa, Japan. The project I will be working on here is called “Putting 'Backpropagation and the brain' to the test”. I'll go into more detail as to what that means as the project progresses.

Grant information can be found here: https://data.snf.ch/grants/grant/225643

Es ist bereits alles gesagt worden, es ist schon alles getan.

Arkadi saß am Esstisch, und es war bereits alles gesagt worden, und es war schon alles getan. Er legte seine Gabel zurecht, und jemand hatte vor ihm den höchsten Gipfel bestiegen. Die Aussicht dort oben muss überwältigend gewesen sein. Er zückte seine Serviette und steckte sie sich in den Kragen. Währenddessen hatte man bereits die Elektrizität erfunden, Amerika entdeckt. Und seine Frau brachte den Braten herein, und sie empfing ihn mit einem schelmischen Lächeln. Er konnte es nur müde erwidern.

Er schenkte ihnen roten Wein ein, und versuchte ihr zuzuhören. Sie wiederholte sich, sie alle wiederholten sich immer wieder, ständig, merkte sie es nicht? Doch es war alles bereits gesagt worden, und es war alles schon getan. Die Gabel in der linken, die Kreide in der rechten Hand hatte Einstein die Schwerkraft ergründet. Er nahm einen Bissen.

Der Braten war trocken, doch die Geste wäre ihm genug gewesen, sich dankbar zu äußern. Jedoch, die Worte wollten nicht gelingen. Schließlich war alles bereits gesagt worden, in wohlklingenden Phrasen mit gleichmäßiger Metrik und dem Vokabular, das ihn in Staunen versetzte. Er setzte an, öffnete den Mund, in der Hoffnung, es genüge, für die Worte Platz zu machen. Man war im Weltall gewesen, man hatte die Luke über dem Mond geöffnet und hatte hinausgeschaut; nichts hatte man gesehen, nichts, was man nicht erwartet hatte. Nachdem der Reiz des Neuen abgeklungen war, hatte man die Luke wieder geschlossen und Karten gespielt.

Der Rotwein, das Essen, die Romantik forderten das Ihrige, und es kam, wie es nun mal kam in einer lauen Sommernacht. Es ist alles bereits getan worden, allerdings noch nicht von jedem.

Es gab einige, die noch widersprachen. Man hatte das Flugzeug, die Postpostmoderne und neuronale Netzwerke erfunden, sagten sie. Sie verkannten, das alle ihre Innovationen ein bloßer Aufguss waren. Ein Imitat, das die Dinge nur beschleunigte, nicht von Grunde veränderte. Sie erfanden das künstliche Gehirn, und sie nutzten es, ihre eigenen zu ersetzen. Arkadi widersprach ihnen nicht mehr, als er bemerkte, dass er seine Worte nur immer wieder wiederholte.

Er fragte sie, und sie stimmte ihm wieder zu. Sie schwiegen, wie man es bereits vor ihnen getan hatte.

Auch Arkadi hatte einst Hoffnung gehabt. Als man die Maschine einschaltete, waren sich alle sicher. Sie würde das Unerwartete bringen, die Natur würde sich selbst übertreffen und jeden Betrachter überraschen. Mit einem langatmigen Surren nahm die Maschine ihren Betrieb auf, immer schneller drehten sich ihre Räder, die Spannung stieg an, Licht pulsierte mit der schweren Mechanik. Die Beobachter kontrollierten die Parameter auf ihren Schirmen. Man war sich einig, sich selbst übertroffen zu haben. Das war es, das Werk, für das man sich an sie erinnern würde. Jetzt war die Natur am Zug, etwas zu tun, was sie noch nie getan hatte.

Ihr langer Atem überlebte die Hoffnung der Beobachter, und so wandte sich einer nach dem anderen ab. Nichts hatten sie gefunden, nichts, was sie nicht erwartet hatten.

Arkadi legte sich auf die Seite und starrte sie lange an. Er fühlte sich in seinem Haus, in seiner Stadt. Wähnte sich auf dem höchsten Gipfel, spürte den Schnee und die dünne Luft. Spannte weit die Flügel aus und erhob sich. Die Atmosphäre, der Mond, die Sonne. Rauschte vorbei an unendlichem Dunkel auf seinem Weg zum Ursprung. Immer weiter, immer ungestümer sog es ihn, so schnell ihn sein Durst zu tragen vermochte. Der Anfang war nah. Und der Kosmos gebar ihn, und es war bereits alles gesagt worden, es war schon alles getan.