Das Ziel der Arbeit soll sein, auf Grundlage der vorgestellten Forschungsergebnisse einen
Algorithmus zu entwickeln, welcher effizient binäre Gewichte für DNN generieren und op-
timieren kann. Die Beschränkung auf binäre Gewichte verspricht durch die Vereinfachung
der durchgeführten Rechenoperationen einen Geschwindigkeitsvorteil gegenüber klassi-
schen DNN und Unabhängigkeit von spezialisierter Hardware. ES erlauben dabei eine
schnelle Generierung von Lösungskandidaten und bieten Potenzial bei der Parallelisie-
rung. Die Verwendung des natural gradient bei der Optimierung verspricht zudem eine
schnelle Konvergenz und die Vermeidung von Problemen die sich aus den spezifischen Pa-
rametrisierungen von verwendeten Wahrscheinlichkeitsverteilungen ergeben. Auch Stra-
tegieparameter wie die Schrittweite können so direkt mit angepasst werden.
Weitere Optimierungsmöglichkeiten liegen in der Anpassung der durchgeführten Bi-
näroperationen um eine bessere Ausnutzung der zur Verfügung stehenden Rechenleistung
und Ressourcen zu ermöglichen.
Konkret sollte dabei insgesamt möglichst die lineare Skalierung des Zeitaufwands mit
der Anzahl der Rechenkerne beibehalten und gleichzeitig Fehlerraten erzielt werden, wel-
che vergleichbar sind mit denen von durch BinaryConnect trainierten Netzwerken.
In der Praxis könnte das Ergebnis für das Training von DNN auf leistungsstarken Com-
putern mit vielen Rechenkernen, aber ohne verbaute GPUs verwendet werden. Denkbar
wäre auch ein solches Vortrainieren eines Netzwerks mit anschließender Nutzung auf einem
kleineren Gerät. Aufgrund des reduzierten Rechenaufwands und der bereits angepassten
Strategieparameter könnte das Training hier sehr einfach beispielsweise als Reaktion auf
Nutzereingaben noch weiter fortgeführt werden.