Funkcja aktywacjiWzór matematycznyGładkaMonotonicznaRóżniczkowalnaUwagi Funkcja liniowa Funkcja nieograniczona Z reguły Jednostronnie obcięta funkcja liniowa (ReLU) (oprócz punktu ) Brak górnej granicy Obcięta funkcja liniowa (oprócz punktów i ) Przedziałami liniowa Funkcja progowa unipolarna a – zadana wartość progowa Z reguły Taką funkcję aktywacji zastosowali w swojej pracy jako matematyczny model neuronu Warren McCulloch i Walter Pitts Funkcja progowa bipolarna a – zadana wartość progowa Z reguły Sigmoidalna funkcja unipolarna (funkcja logistyczna) Z reguły Gdy funkcja przechodzi w progową unipolarną funkcję aktywacji Sigmoidalna funkcja bipolarna (tangens hiperboliczny) Z reguły Gdy funkcja przechodzi w progową bipolarną funkcję aktywacji Funkcja Gaussa e – liczba EuleraZnormalizowana funkcja wykładnicza (softmax) Prawdopodobieństwo zawsze sumuje się do jedności: e – liczba Eulera K – szerokość wektorów wejściowego i wyjściowego Stosowana głównie w najwyższej warstwie klasyfikatorów, w celu obliczenia prawdopodobieństwa przynależności wektora wejściowego z do każdej z K klas wyjściowych
Przypisy
Kategoria:Sieci neuronowe