Ja ciągle jestem pod wrażeniem tego, że zamiana funkcji aktywacji z sigmoid na reLU to był taki duży krok do przodu. Tym bardziej, ze reLu wygląda tak "prosto" i nie ma w niej żadnej magii.