Keskeinen raja-arvolause

Keskeinen raja-arvolause on toden­näköisyys­laskennan tulos, jonka mukaan keskiarvo riittävän suuresta määrästä toisistaan riippumattomia satunnais­muuttujia, joista kullakin on hyvin määritelty odotusarvo ja varianssi, on tietyin edellytyksin likipitäen normaalisti jakautunut riippumatta kunkin satunnaismuuttujan omasta jakaumasta.

Lausetta voi havainnollistaa muodostamalla suuren määrän havaintoja käsittävä otos, jossa kukin havainto on generoitu satunnaisesti muista havaintokerroista riippumatta. Tämän jälkeen lasketaan otoksen eli havaintojen keskiarvo. Jos tämä toistetaan monta kertaa, keskeisen raja-arvo­lauseen mukaan niiden keskiarvo jakautuu toden­näköisesti sitä tarkemmin normaali­jakauman eli niin sanotun kellokäyrän mukaisesti. Esimerkiksi jos kolikkoa heitetään erittäin monta kertaa, toden­näköisyys saada kruuna tietyllä määrällä kertoja noudattaa normaali­jakaumaa, jonka odotusarvo on puolet heittojen lukumäärästä.

Keskeisestä raja-arvo­lauseesta on monia muunnelmia. Sen kauimmin tunnettu muoto edellyttää, että satunnais­muuttujat, joiden keskiarvoa tarkastellaan, ovat samoin jakautuneet. Satunnais­muuttujien keskiarvo kuitenkin suppenee kohti normaali­jakaumaa tietyin edellytyksin useissa sellaisissakin tapauksissa, joissa ne eivät ole samoin jakautuneet eivätkä edes toisistaan riippumattomat.

Yleisimmässä mielessä keskeiset raja-arvolauseet ovat koko joukko toden­näköisyys­laskennan raja-arvo­lauseita. Ne kaikki ilmaisevat eri tavoin, että monen riippumattoman ja identtisesti jakautuneen tai tietyin edellytyksin myös tavalla tai toisella toisistaan riippuvankin satunnais­muuttujan summalla on taipumus noudattaa jakaumaa, joka kuuluu pieneen joukkoon attraktorijakaumaa. Kun riippumattomien ja identtisten jakautuneiden satunnais­muuttujien varianssi on äärellinen, tämä attraktori­jakauma on normaali­jakauma. Sitä vastoin jos muodostetaan sellaisten satunnais­muuttujien summa, joilla on potenssi­lain mukainen, funktion |x|-α-1 mukaisesti (0 < α < 2) pienenevä "häntä" ja joiden varianssi näin ollen on ääretön, se suppenee kohti alfa-vakaata jakaumaa, jonka vakausparametri muuttujien lukumäärän kasvaessa on α

Tilastotieteessä keskeisellä raja-arvolauseella on perustava merkitys käsiteltäessä suuria otoksia jostakin aineistosta. Sen sijaan pieniä otoksia käsiteltäessä se ei ole yhtä käyttö­kelpoinen.

Keskeisiä raja-arvolauseita riippumattomille jonoille

Klassinen keskeinen raja-arvolause Olkoon {X1, ..., Xn} n alkion satunnais­otos, toisin sanoen jono riippumattomia ja identtisesti jakautuneita satunnais­muuttujia, joilla kaikilla on sama odotusarvo on μ ja sama äärellinen varianssi σ2. Tarkastellaan näiden satunnaismuuttujien otoskeskiarvoa

.

suurten lukujen lain mukaan otoskeskiarvo suppenee stokastisesti ja melkein varmasti kohti odotusarvoa μ, kun n kasvaa rajatta. Klassinen keskeinen raja-arvolause kuvaa stokastisten fluktuaatioiden suuruutta ja niiden jakauman muotoa tämä raja-arvon μ molemmin puolin suppenemisen aikana. Tarkemmin sanottuna se sanoo, että kun n kasvaa, otoskeskiarvon Sn ja sen raja-arvon μ erotuksen jakauma, kun se kerrotaan tekijällä , toisin sanoen tulon jakauma) lähestyy normaalijakaumaa, jonka keskiarvo on 0 ja varianssi σ2. Tarpeeksi suurella n:n arvolla Sn:n jakauma on lähellä normaali­jakaumaa, jonka keskiarvo on μ ja varianssi σ2/n. Tuloksen merkitys perustuu siihen, että lausekkeen jakauma lähestyy normaali­jakaumaa riippumatta siitä, millainen jakauma alku­peräisillä satunnais­muuttujilla Xi itsellään on. Täsmällisessä muodossa lause voidaan esittää seuraavasti:

Lindebergin–Lévyn keskeinen raja-arvolause. Olkoon {X1, X2, ...} jono riippumattomia ja identtisesti jakautuneita satunnais­muuttujia, joiden odotusarvo on E[Xi] = µ ja varianssi Var[Xi] = σ2 < ∞. Tällöin kun n kasvaa rajatta, satunnais­muuttujat konvergoivat jakaumaltaan kohti normaalijakaumaa N(0, σ2):

Tapauksessa s > 0, jakauma­konvergenssi merkitsee, että lausekkeen jakauman kertymäfunktio suppenee pisteittäisesti kohti normaali­jakauman N (0, σ2 kertymä­funktiota jokaisella reaali­luvulla z,

missä F(x) on normaali­jakauman kertymä­funktion arvo pisteessä x. Suppeneminen on myös tasaista pisteessä z siinä mielessä, että

missä sup tarkoittaa joukon pienintä ylärajaa eli supremumia.

Ljapunovin keskeinen raja-arvolause Tämä lause on saanut nimensä venäläisen matemaatikko Aleksandr Ljapunovin mukaan. Tämä keskeisen raja-arvo­lauseen muunnelma edellyttää, että satunnais­muuttujien Xi on oltava riippumattomat, mutta ei välttämättä identtisesti jakautuneet. Lause edellyttää myös, että satunnais­muuttujilla |Xi| on oltava asteiden (2 + δ) momentit ja että näiden momenttien kasvu on rajoitettu jäljempänä selitetyllä Ljapunovin ehdon mukaisella tavalla.

Ljapunovin keskeinen raja-arvolause. Olkoon {X1, X2, ...} jono riippumattomia satunnais­muuttujia, joista jokaisen odotusarvo on µi ja varianssi σi2. Määritellään

Jos jollakin arvolla δ > 0, pätee Ljapunovin ehto

niin summa (Xi - µi)/sn konvergoi jakaumaltaan kohti standardia normaalijakaumaa, kun n kasvaa rajatta:

Käytännössä on tavallisesti helpointa tarkistaa, päteekö Ljapunovin ehto arvolla δ = 1. Jos satunnais­muuttujien jono toteuttaa Ljapunovin ehdon, se toteuttaa myös Lindebergin ehdon. Kääntäen ei kuitenkaan Lindebergin ehdosta seuraa Ljapunovin ehto.

Lindebergin–Fellerin lause

Suomalainen matemaatikko Jarl Waldemar Lindeberg osoitti vuonna 1920, että keskeisen raja-arvolauseen edellytyksenä ollut Ljapunovin ehto voidaan korvata heikommalla Lindebergin ehdolla. Myöhemmin William Feller osoitti, että Lindebergin ehto on myös välttämätön ehto sille, että summa konvergoi jakaumaltaan kohti normaalijakaumaa. Täten kysymyksen siitä, millä ehdoilla keskeinen raja-arvolause pätee, voidaan katsoa saaneen tyhjentävän ratkaisun.

Olkoon {X1, X2, ...} jono riippumattomia satunnais­muuttujia, joista jokaisen odotusarvo on µi ja varianssi σi2. Oletetaan lisäksi, että

, missä .

Tällöin summa (Xi - µi)/sn konvergoi jakaumaltaan kohti standardia normaalijakaumaa, kun n kasvaa rajatta, jos ja vain jos seuraava Lindebergin ehto pätee:

kaikilla ε > 0.

Moniulotteinen keskeinen raja-arvolause Todistukset, joissa käytetään karakteristisia funktioita, voidaan yleistää tapauksiin, joissa kukin muuttuja Xi on satunnaisvektori avaruudessa , jonka vektori­arvoinen odotus­arvo on µ = E(Xi) ja vektorin komponenteista muodostettu kovarianssimatriisi S, ja nämä satunnaisvektorit ovat riippumattomat ja identtisesti jakautuneet. Näiden vektorien summaus on suoritettava komponenteittain. Moniulotteinen keskeinen raja-arvolause sanoo, että skaalattuina nämä summat suppenevat kohti moniulotteista normaalijakaumaa.

Olkoon

k-vektori. Lihavointi merkinnässä Xi osoittaa, että kyseessä on satunnaisvektori, ei yksiulotteinen satunnaismuuttuja. Tällöin satunnaisvektorien summa on

ja keskiarvo

ja sen vuoksi

.

Moniulotteinen keskeinen raja-arvolause osoittaa, että

missä kovarianssimatriisi S on

Yleistetty lause

Keskeinen raja-arvolause sanoo, että riippumattoman ja identtisesti jakautuneiden satunnaismuuttujien summa, kun niillä on äärellinen varianssi, lähestyy suurella todennäköisyydellä normaalijakaumaa, kun muuttujien lukumäärä kasvaa. Gnedenko ja Kolmogorov keksivät lauseelle yleistyksen, joka koskee sellaisiakin satunnaismuuttujia, joiden jakaumat ääripäissään pienenevät potenssilain mukaan kuten |x|-a-1, missä 0 < a < 2, ja joiden varianssi tämän vuoksi on ääretön; tällainen on esimerkiksi Pareton jakauma. Tällaisissakin tapauksissa satunnaismuuttujien summa suppenee kohti jotakin vakaata jakaumaa , kun yhteenlaskettavien lukumäärä kasvaa. Jos a > 2, tämä summa suppenee kohti vakaata jakaumaa, jonka vakausparametri on arvoltaan 2, toisin sanoen Gaussin jakaumaa.

Keskeisiä raja-arvolauseita riippuville prosesseille

Huomautuksia

Klassisen keskeisen raja-arvolauseen todistus Keskeisen raja-arvolauseen klassinen voidaan todistaa melko helposti karakterististen funktioiden avulla. Todistus on samantapainen kuin heikon suurten lukujen lain. Taylorin lauseen mukaan jokaisen sellaisen satunnaismuuttujan Y karakteristinen funktio, jonka odotusarvo on nolla ja varianssi var(Y) = 1), on

missä o on jokin t:n funktio, joka suppenee kohti nollaa nopeammin kuin t2.

Olettamalla, että Yi on (Xi - µ)/s eli Xi:n standardoitu arvo on helppo huomata, että havaintojen X1, X2, ..., Xn standardoitu keskiarvo on

Karakterististen funktioiden perusominaisuuksien nojalla summan karakteristinen funktio on:

niin että kun eksponenttifunktio voidaan esittää raja-arvona , Zn:n karakteristinen funktio on

Mutta tämä on sama kuin standardin normaalijakauman N(0, 1), karakteristinen funktio, ja keskeinen raja-arvolause seuraa Lévyn jatkuvuuslauseesta, joka takaa, että karakterististen funktioiden suppenemisesta seuraa jakaumien konvergenssi.

Suppeneminen kohti raja-arvoa Keskeinen raja-arvolause antaa vain asymptoottisen jakauman. Äärelliselle äärelliselle määrälle havaintoja se antaa järkevän likiarvon vain lähellä normaalijakauman huippua; tarvitaan erittäin suuri määrä havaintoja, jotta tulos pätisi myös jakauman kummassakin ääripäässä.

Jos kolmas keskeinen momentti E((X1 - μ)3) on olemassa ja se on äärellinen, mainittu suppeneminen on tasaista ja suppenemisvauhti on vähintään luokkaa 1/n1/2 (katso Berryn-Esseenin lause). Steinin metodia voidaan käyttää, paitsi keskeisen raja-arvolauseen todistamiseen, myös suppenemisvauhdin arvioimiseen valitulla mitta-asteikolla.

Suppeneminen normaali­jakaumaa kohti on mono­tonista siinä mielessä, että Zn:n entropia kasvaa mono­tonisesti kohti normaali­jakauman entropiaa.

Keskeinen raja-arvolause pätee erityisesti myös riippumattomien ja identtisesti jakautuneiden diskreettien satunnais­muuttujien keskiarvolle. Diskreettien satunnais­muuttujien summa on yhä diskreetti satunnais­muuttuja, joten tässä on kysymyksessä jono diskreettejä satunnais­muuttujia, joiden kertymäfunktio suppenee kohti jatkuvan jakauman, nimittäin normaalijakauman kertymäfunktiota. Tämä merkitsee, että jos n riippumattoman identtisen satunnais­muuttujan toteutuneista summista laaditaan histogrammi ja piirretään käyrä, joka yhdistää histo­grammin muodostavien suorakulmioiden ylä­reunojen kesk­ipisteet, tämä käyrä muistuttaa muodoltaan Gaussin käyrää sitä tarkemmin, mitä suurempi luku n on. Tätä tulosta sanotaan de Moivren–Laplacen lauseeksi. Esimerkiksi jos lasketaan sellaisten satunnais­muuttujien summa, joista kullakin on vain kaksi mahdollista arvoa, tämä summa noudattaa binomijakaumaa, joka lähestyy muodoltaan normaali­jakaumaa sitä enemmän, mitä enemmän näitä yhteen­laskettuja satunnais­muuttujia on.

Keskeinen raja-arvolause ja suurten lukujen laki Keskeisen raja-arvolauseen tavoin myös suurten lukujen laki on osittainen ratkaisu yleiseen ongelmaan: Mitä riippumattomien ja identtisesti jakautuneiden satunnais­muuttujien summalle Sn tai niiden keskiarvolle lopulta tapahtuu kun satunnais­muuttujien lukumäärä n kasvaa rajatta?

Matemaattisessa analyysissä asymptoottiset sarjat kuuluvat käytetyimpiin työkaluihin senlaatuisten kysymysten käsittelyssä. Oletetaan, että f(n):llä on asymptoottinen kehitelmä:

Jakamalla molemmat puolet f1(n):llä ja ottamalla raja-arvo saadaan a1, kehitelmän korkeimman asteen termin kerroin, joka osoittaa, kuinka nopeasti f(n):n johtava termi muuttuu.

Epämuodollisesti voidaan sanoa, että "f(n) kasvaa likiptäen samassa tahdissa kuin a1 f1(n)". Jos f(n):n ja sen likiarvon erotus jaetaan kehitelmän seuraavalla termillä saadaan f(n):lle tarkempi arvio:

Tässä voidaan sanoa, että funktion ja sen likiarvon erotus kasvaa likipitäen saman verran kuin a2 f2(n). Ajatuksena on, että kun funktio jaetaan sopivilla normalisointi­funktioilla ja tutkitaan, miten näin saadulle funktiolle käy n:n kasvaessa voidaan päätellä paljon myös siitä, miten alkuperäiselle funktiolle silloin tapahtuu