Efektywność pompy ciepła (COP – ang. Coefficient of Performace) jest większa od 1 i zależy silnie od różnicy temperatur górnego i dolnego źródła ciepła. Ze wzoru tego wynika, że pompy ciepła mają dużą efektywność przy małej różnicy temperatur, a tracą ją szybko wraz ze wzrostem tej różnicy. W praktyce temperatura czynnika w skraplaczu jest od kilku do kilkunastu stopni wyższa od temperatury ogrzewanego pomieszczenia, a temperatura czynnika w parowniku jest o kilka stopni niższa od temperatury dolnego źródła ciepła. Wyższą efektywność można uzyskać gdy powierzchnie wymiany ciepła będą większe, jednak wtedy koszt wymienników ciepła także będzie większy.
Równość w powyższym wzorze może być osiągnięta wyłącznie w doskonałej, odwracalnej pompie ciepła. Rzeczywiste urządzenia mają niższą efektywność głównie z dwóch powodów: nieodwracalności procesów przekazu ciepła w parowniku i skraplaczu (odwracalne procesy musiałyby biec nieskończenie wolno, byłyby więc praktycznie bezużyteczne), strat energii (tarcia) w sprężarce i oporów przepływu czynnika chłodniczego.