jeśli w zapisanej wartości doszło do omyłkowego przesunięcia przecinka dziesiętnego, nawet pojedyncza obserwacja może zakłócić wynik analizy.
Ponadto normalność rozkładu jest zawsze tylko przybliżeniem, bowiem realne dane są zawsze ograniczone, zaś rozkład normalny przypisuje dowolnej liczbie rzeczywistej dodatnią gęstość prawdopodobieństwa. Np. rozkład normalny zastosowany do opisu rozkładu prawdopodobieństwa wzrostu ludzi przewiduje istnienie ludzi o bardzo małym wzroście, a nawet o wzroście ujemnym lub też ludzi o ekstremalnie wielkim wzroście. Przybliżenie takie jest jednak właściwe, gdyż w tym przypadku prawdopodobieństwa przypisane przez rozkład normalny wartościom wzrostu niewystępującym w rzeczywistości są pomijalnie małe. Są jednak takie zjawiska statystyczne, dla których dane wyraźnie różnią się od rozkładu normalnego i standardowe metody statystyczne mogą dawać błędne wyniki.
Istnieją miary „odporności” (ang. robustness) danej metody na naruszenie założeń modelu. Najczęściej używane są punkt załamania (ang. breakdown point) i funkcja wpływu (ang.