Jej natura i przyszłość, Wydawnictwo Uniwersytetu Łódzkiego, Łódź, 2020, s.62..
Jednymi z najbardziej popularnych architektur sieci neuronowych są sieci rekurencyjne, sieci konwolucyjne, sieci generatywne GAN czy transformer.
Wczesne formy sieci neuronowych były inspirowane metodami przetwarzania informacji i rozmieszczenia elementów komunikacji w układach narządów, szczególnie w mózgowiu człowieka, jednak aktualne sieci neuronowe nie skupiają się na modelowaniu funkcji mózgu i są postrzegane jako modele o niskim stopniu odwzorowania.
Historia Uczenie głębokie powstało w latach 80. XX wieku (dzięki Jürgenowi Schmidhuberowi). Cześć badaczy wiąże powstanie sieci głębokich z pracami ukraińskiego uczonego, Ołeksij Hryhorowycz IwachnenkoIvakhnenko, A. G. and Lapa, V. G. (1965). Cybernetic Predicting Devices. CCM Information Corporation. First working Deep Learners with many layers, learning internal representations.. Istotny wkład w rozwój uczenia głębokiego miało wynalezienie sieci konwulencyjnych przez Kunihiko Fukushimę, a następnie ich ulepszenie przez Yanna LeCuna (w latach 90.XX w. zaprojektowane przez niego sieci znakomicie radziły sobie z rozpoznawaniem odręcznie napisanych cyfr) i Yoshuę Bengio.