Jest to możliwe, ponieważ estymator Jamesa–Steina jest obciążony, a zatem nie obowiązuje dla niego twierdzenie Gaussa–Markowa.
Podobnie jak estymator Hodgesa, estymator Jamesa-Steina jest superefektywny i nieregularny w .
Założenia Niech gdzie wektor jest nieznaną wartością oczekiwaną zmiennej losowej mającej m-wymiarowy rozkład normalny, zaś macierz kowariancji jest znana i równa .
Zależy nam na wyznaczeniu estymatora dla na podstawie jednej obserwacji zmiennej .
W zastosowaniach praktycznych jest to typowa sytuacja: próbkujemy zestaw parametrów, a próbki są zaburzone przez niezależny szum gaussowski. Ponieważ szum ten ma wartość oczekiwaną równą zeru, naturalnym podejściem jest użycie samych próbek jako estymatora parametrów. To właśnie klasyczny estymator najmniejszych kwadratów (LS), dany wzorem: .
Stein wykazał, że w kategoriach średniego błędu kwadratowego , estymator najmniejszych kwadratów, , jest suboptymalny w porównaniu do estymatorów opartych na „ściąganiu” (shrinkage), takich jak estymator Jamesa-Steina, .