An analysis of weight initialization methods in connection with different activation functions for feedforward neural networks
Autor:innen
Autor:in (Körperschaft)
Publikationsdatum
2024
Typ der Arbeit
Studiengang
Typ
01A - Beitrag in wissenschaftlicher Zeitschrift
Herausgeber:innen
Herausgeber:in (Körperschaft)
Betreuer:in
Übergeordnetes Werk
Evolutionary Intelligence
Themenheft
DOI der Originalpublikation
Link
Reihe / Serie
Reihennummer
Jahrgang / Band
17
Ausgabe / Nummer
Seiten / Dauer
2081–2089
Patentnummer
Verlag / Herausgebende Institution
Springer
Verlagsort / Veranstaltungsort
Berlin
Auflage
Version
Programmiersprache
Abtretungsempfänger:in
Praxispartner:in/Auftraggeber:in
Zusammenfassung
The selection of weight initialization in an artificial neural network is one of the key aspects and affects the learning speed, convergence rate and correctness of classification by an artificial neural network. In this paper, we investigate the effects of weight initialization in an artificial neural network. Nguyen-Widrow weight initialization, random initialization, and Xavier initialization method are paired with five different activation functions. This paper deals with a feedforward neural network, consisting of an input layer, a hidden layer, and an output layer. The paired combination of weight initialization methods with activation functions are examined and tested and compared based on their best achieved loss rate in training. This work aims to better understand how weight initialization methods in neural networks, in combination with activation functions, affect the learning speed in comparison after a fixed number of training epochs.
Schlagwörter
Fachgebiet (DDC)
330 - Wirtschaft
Veranstaltung
Startdatum der Ausstellung
Enddatum der Ausstellung
Startdatum der Konferenz
Enddatum der Konferenz
Datum der letzten Prüfung
ISBN
ISSN
1864-5917
1864-5909
1864-5909
Sprache
Englisch
Während FHNW Zugehörigkeit erstellt
Ja
Zukunftsfelder FHNW
Publikationsstatus
Veröffentlicht
Begutachtung
Peer-Review der ganzen Publikation
Open Access-Status
Hybrid
Lizenz
Zitation
WONG, Kit, Rolf DORNBERGER und Thomas HANNE, 2024. An analysis of weight initialization methods in connection with different activation functions for feedforward neural networks. Evolutionary Intelligence. 2024. Bd. 17, S. 2081–2089. DOI 10.1007/s12065-022-00795-y. Verfügbar unter: https://doi.org/10.26041/fhnw-10906