Dywergencja Kullbacka-Leiblera (zwana też entropią względną lub relatywną entropią) jest miarą stosowaną w statystyce i teorii informacji do określenia rozbieżności między dwoma rozkładami prawdopodobieństwa i Czasem zwana jest też odległością Kullbacka-Leiblera, nie jest to jednak prawdziwa metryka, gdyż nie jest symetryczna ani nie spełnia nierówności trójkąta.
Definicja Dywergencja Kullbacka-Leiblera dana jest wzorem:
dla rozkładów dyskretnych, oraz
dla rozkładów ciągłych. Dla przykładu, w typowym zastosowaniu reprezentuje dane rzeczywiste, zaś teoretyczny model.
Entropia względna przyjmuje zawsze wartości nieujemne, przy czym 0 wtedy i tylko wtedy, gdy porównywane rozkłady są identyczne. jest jedyną wartością tego typu charakteryzującą się pewnymi użytecznymi właściwościami charakteryzującymi miary entropii (m.in. jest ciągła i addytywna).
Oryginalna propozycja Dywergencja K-L została przedstawiona przez S. Kullbacka i R.A. Leiblera w pracy z 1951, i w podręczniku z 1959;