Spektrum titelt recht reißerisch: “Eine neue Form von KI?“, immerhin mit Fragezeichen. Worum geht es denn überhaupt? Das Paper “Neuronal Ordinary Differential Equations” wurde auf im Rahmen der NeurIPS 2018 mit dem Best Paper Award ausgezeichnet.
Was sind ODE-Netze?
Die Idee, die in dem Paper beschrieben wird, hört sich interessant an. Diese wurde übrigens schon 2017 von anderen Autoren veröffentlicht. Grundsätzlich besteht ein Neuronales Netz ja aus einer Eingangsschicht, mehrerer versteckter Schichten (hidden layers) und einer Ausgangsschicht. Um diese sogenannten hidden layers geht es. Anstatt diese als diskrete Schichten zu betrachten, benutzen die Wissenschaftler ein kontinuierliches Modell, indem sie Ableitung des hidden states parametrisieren. Das wird mittels eines Differentialgleichungen-Solver (ODE = ordinary differential equations) gelöst. Im Endeffekt ist das Konstrukt kein Neuronales Netz mehr, denn die ganzen Knoten und Verbindungen sind ja nicht mehr da, sondern sind durch ein “Feld” ersetzt.
Noch ist die Entwicklung in einem frühen Stadium. Das Paper gibt einen proof of concept, mehr aber noch nicht. Wie nützlich das Konstrukt ist, wird sich herausstellen. Aber super spannend, denn jetzt kommen Analysis-Methoden zum Einsatz und auf diesem Gebiet kennen sich die Mathematiker sehr gut aus.
Links
Das Paper “Neuronal Ordinary Differential Equations” ist auf arxiv.org zu finden. Hier ist der Link dazu. Nicht zu vergessen das erste Paper zu Neuronalen ODEs von 2017: Reversible Architectures for Arbitrarily Deep Residual Neural Networks
Der zugehörige Artikel auf Spektrum.de findet Ihr hier.
Und hier ist noch ein besserer Artikel dazu auf MIT Technological Review
