V statistiki je metoda navadnih najmanjših kvadratov (OLS) vrsta metode linearnih najmanjših kvadratov za izbiranje neznanih parametrov v linearnem regresijskem modelu s fiksnimi učinki linearne funkcije seta pojasnjevalnih spremenljivk po načelu najmanjših kvadratov: minimiziranje vsote kvadratov razlik med opazovalno odvisno spremenljivko (vrednosti opazovalne spremenljivke) v vhodnem setu podatkov in izhodni (linearni) funkciji neodvisne spremenljivke. Nekateri viri imajo OLS za linearno regresijo.
Geometrijsko lahko na to gledamo kot na vsoto kvadriranih razdalj, vzporednih osi odvisne spremenljivke med vsako podatkovno točko v setu in ustrezno točko na regresijski površini – manjše kot so razlike, bolje model ustreza podatkom. Posledično cenilko lahko izrazimo s preprosto formulo, zlasti v primeru preproste linearne regresije, v kateri je en regresor na desni strani regresijske enačbe.
OLS cenilka je konsistentna za fiksne učinke prve ravni, ko so regresorji eksogeni in oblikuje popolno kolinearnost (pogoj ranga), konsistentno za oceno variance ostankov, ko imajo regresorji končne četrte momente in Gauss–Markov teorem – optimalna v razredu linearnih nepristranskih cenilk ko so napake homoskedastične in serijsko nekorelirane. Pod temi pogoji metoda OLS zagotavlja minimalno-variančno povprečno-nepristransko ocenjevanje, ko imajo napake končne variance. Pod dodatnimi predpostavkami, da so napake normalno razporejene z aritmetično sredino nič, je OLS cenilka največje verjetnosti, ki je boljša od katerekoli nelinearne nepristranske cenilke.
Ocenjevanje
Naj bo b "kandidat" vrednosti za parametrični vektor β. Količina , imenovana ostanek za i-to opazovanje, meri vertikalno razdaljo med podatkovno točko in hiperravnino , in tako vrednoti stopnjo ustrezanja med dejanskimi podatki in modelom. Vsota kvadriranih ostankov (SSR) (tudi vsota kvadratov napak (ESS) ali vsota kvadratov ostankov (RSS)) je mera splošnega ustrezanja modela:
kjer T označuje transponirano matriko, vrstice X pa označujejo vrednosti vseh neodvisnih spremenljivk, povezanih z določeno vrednostjo odvisne spremenljivke, so Xi = xiT. Vrednost b, ki minimizira to vsoto, se imenuje OLS cenilka za β. Funkcija S(b) je kvadratna v b s pozitivno-definitno Hessejevo matriko in tako ima ta funkcija unikatni globalni minimuum pri , ki mu lahko damo eksplicitno formulo
Produkt N = XT X je Gramova matrika in njen inverz, Q = N−1, je matrika kofaktorjev od β, močno povezana s svojo kovariančno matriko, Cβ. Matrika (XT X)−1 XT = Q XT se imenuje Moore–Penrosejeva psevdoinverzna matrika od X. Ta formulacija poudarja dejstvo, da lahko ocenjevanje izvedemo če in samo če ni popolne multikolinearnosti med pojasnjevalnimi spremenljivkami (ki bi povzročile, da Gramova matrika nima inverza).
Sklici
Viri in nadaljnje branje
Kategorija:Ekonometrija Kategorija:Parametrična statistika