Keskihajonnan käsitteestä

Seuraa 
Viestejä45973
Liittynyt3.9.2015

Olen tutkimassa johdatusta tilastomatematiikkaan lukion oppikirjasta, siis aiheen suhteen todellakin diletantti, ja jäin pohtimaan seuraavaa:

Miten keskihajonnan käsitteeseen on päädytty? Miten tuo hieman eksoottiselta vaikuttava kaava (poikkeamien neliöiden keskiarvon neliöjuuri) saa alkunsa?

En ole huolissani siitä, ettenkö selviäisi oppikirjani teknisistä tehtävistä, tuollainen mekaaninen laskeminen vain on turhauttavaa, kun ei ymmärrä mitä laskee.

Ja tämä on epäilemättä hyvin tyhmä kysymys, mutta kysynpä silti: miksi poikkeamien itseisarvojen aritmeettinen keskiarvo (keskipoikkeama) ei kelpaa keskihajonnan ”tehtävään”?

Ja jos joku ystävällinen sielu vastaa tähän, rohkenen vielä toivoa vastauksen olevan sellainen että lukiolainenkin voi periaatteessa sen ymmärtää. Kiitos.

Sivut

Kommentit (16)

Vierailija

keskihajonta liittyy keskeisesti keskeiseen raja-arvolauseeseen (central limit theorem). Tähän liittyen mittaustulokset voidaan usein olettaa noudattavan Gaussin jakaumaa, joka siis määräytyy keskiarvon ja keskihajonnan perusteella. Keskipoikkeama ei kuvaa tätä Gaussin käyrää yhtä selkeästi. Kysymys ei muuten ole mitenkään tyhmä.

Vielä hyödyllisemmäksi tämä muuttuu, kun halutaan arvioida keskiarvon virhettä, mikä on kokeellisessa fysiikassa tärkeää. Tämä virhe saadaan laskettua suoraan otoksen keskihajonnasta ja otoksen suuruudesta.

Toivottavasti selostus selvensi enemmän kuin sekoitti.

Vierailija
hex
Toivottavasti selostus selvensi enemmän kuin sekoitti.

Toistaiseksi tuo ei tehnyt kumpaakaan, mutta kiitos silti vaivannäöstä.

Lienee tarpeetonta sanoa, että keskeinen raja-arvolause on minulle tuntematon käsite. En toisaalta pelkää tehdä työtä ymmärtääkseni, mutta en oikein tiedä mistä aloittaisin. Kirjassani vain lasketaan sovellutuksia.

En muuten ole vielä laskenut yhtäkään keskihajontaa. Luulen vain, ettei kaavaan sijoittelu tule sinänsä olemaan mikään ongelma. Olen siinä määrin pedantti ja ehkä kriittinenkin luonne, etten haluaisi siirtyä sovellutuksiin ennen hieman syvempää ymmärtämystä.

Täytyy vähän miettiä... ehkä noita voisi viikonloppuna laskeskella siinä toivossa että puuhun pääsee p---e edellä.

Vierailija
Canto
Ja tämä on epäilemättä hyvin tyhmä kysymys, mutta kysynpä silti: miksi poikkeamien itseisarvojen aritmeettinen keskiarvo (keskipoikkeama) ei kelpaa keskihajonnan ”tehtävään”?

Ei tuo ole lainkaan typerä kysymys. Itse asiassa tuo kuvailemasi mittari/kaava olisi yksi täysin toimiva tapa kuvailla otoksen hajontaa. Nykyisessä keskihajonnan kaavassa on kuitenkin laskennallisia ominaisuuksia (niiden selittäminen onkin sitten suurempi urakka), jotka tekevät siitä hyödyllisemmän. Se (keskihajonnan kaava) mittaakin poikkeamien neliöiden keskiarvon (eli varianssin) neliöjuurta.

Vierailija
Canto

Lienee tarpeetonta sanoa, että keskeinen raja-arvolause on minulle tuntematon käsite. En toisaalta pelkää tehdä työtä ymmärtääkseni, mutta en oikein tiedä mistä aloittaisin. Kirjassani vain lasketaan sovellutuksia.

Eipä tuo raja-arvolause kovin tärkeä liene lukiomatikan kannalta, mutta se auttaa ymmärtämään, miksi se Gaussin kellokäyrä ilmestyy niin usein. Sehän on siis tämännäköinen:

Tuosta näkee, että keskihajonta s kertoo jakauman leveyden.

Jos taas jakauma on jotain aivan muuta kuin Gaussin käyrän muotoa, niin silloin keskihajonta ei välttämättä kerro mitään hyödyllistä.

Vierailija

Keskihajonta (Standard Deviation) kuvastaa siis havaintoarvojen keskimääräistä etäisyyttä niiden keskiarvoon. Mutta kuten jo todettiin, jotta käsite olisi mielekäs, niin havaintojen tulee olla jakautuneita kutakuinkin normaalijakauman mukaisesti.

Tuo ehdottamasi kaava "keskihajonnalle" on kyllä käytössä ja sitä kutsutaan keskipoikkeamaksi tai itseispoikkeaman keskiarvoksi, englanniksi Mean Deviation. Sitä ei oikeastaan tapaa muualla kuin kuvailevassa tilastotieteessä ja johtuen nimenomaan noiden itseisarvolausekkeiden tuomista laskennallisista vaikeuksista.

Vierailija

Kysymyksesi eivät ole ollenkaan tyhmiä. Asiat oppii paljon syvemmin kun vaan jatkuvasti kysyy syvällisiä kysymyksiä ja etsii niihin vastauksia.

Itselleni aiheutti lukiossa päänvaivaa normaalijakauma (Gaussin käyrä). Kun kysyin syytä miksi se on niin tärkeä ja miksi se on sellainen kuin se on, en saanut selvää vastausta. Kesti kuukausia (aika ennen internettiä) etsiä riittävän hyvä vastaus ja selvitin asian itselleni vielä ohjelmoimalla koodinpätkän joka muodosti normaalijakauman tavalla joka selvensi asiaa.

Vierailija
niih
Itselleni aiheutti lukiossa päänvaivaa normaalijakauma (Gaussin käyrä). Kun kysyin syytä miksi se on niin tärkeä ja miksi se on sellainen kuin se on, en saanut selvää vastausta. Kesti kuukausia (aika ennen internettiä) etsiä riittävän hyvä vastaus ja selvitin asian itselleni vielä ohjelmoimalla koodinpätkän joka muodosti normaalijakauman tavalla joka selvensi asiaa.

Siis miksi?
Epäilen, tää syy korottaa poikkeamat neliöön, on päästä eroon kiusallisesta - merkistä. Tuijottelin kauan palvellutta graafista laskintani, enkä löynnyt siitä itseisarvo-funktiota, en ole sitä koskaan kaivannutkaan.
Taulukkolaskenta ohjelmassa toki on itseisarvofunktio.
Gaussin käyrä ei selitä, miksi keskihajonta lasketaan juuri kyseisellä tavalla.
Gaussin käyrä on ns. tiheysfunktio, joka kuvaa normaalisti/satunnaisesti jakautuneen tilastoaineiston levittäytymistä keskiarvonsa kummallekin puolelle symmetrisesti. Vain erittäin suuret aineistot jakautuvat täydellisesti näin, kuten väestön älykkyysosamäärä.
Gaussin käyrän ja x-akselin väliin jäävä pinta-ala=1, siis todennäköisyys, että älykkysosamäärä sattuu käyrän alueelle=1, siis täysin varma.
Jos otetaan x-akselilta väli (a,b), niin tällä välillä käyrän alle jäävä pinta-ala ilmaisee todennäköisyyden, että satunnaismuuttuja on tällä välillä/ tai kuinka monta prosenttia populaariosta kuuluu tälle välille.
Vakiintunut keskihajonnan käsite antaa mukavia muistisääntöjä prosentteina: jos älykkyysosamääräsi on kahden keskihajontayksikön verran keskiarvon yläpuolella, on sinua älykkäämpiä vain 2,5 prosenttia väestöstä. Todennäköisyys, että törmäät sinua älykkäämpään on 0,025.
Käyrän ja akselin väliset pinta-alat välillä (a,b) lasketaan yleensä integroimalla. Gaussin käyrän funktio ontosin liian vaikea integroitavaksi lukiomatikalla. Siksi taulukkokirjasta löytyy ns. kertymäfunktion fii(x) arvot taulukoituna: siis, että sinua tyhmempiä on 97,5 prosenttia. Todennäköisyys, että törmäät tyhmempään on 0,975.

Vierailija

Normaalijakaumalle voisi kyllä käyttää keskipoikkeamaakin, jolloin käyrän lauseke vain näyttäisi hiukan erilaiselta. Matemaattisesti varianssi (keskihajonnan neliö) on yleensä kätevämpi suure, joten se on jäänyt standardiksi. Yleensähän nuo ovat numeerisesti samaa luokkaa.

Vierailija
Canto

Miten keskihajonnan käsitteeseen on päädytty? Miten tuo hieman eksoottiselta vaikuttava kaava (poikkeamien neliöiden keskiarvon neliöjuuri) saa alkunsa?

Selvästikkin näyttää että lasketaan etäisyyttä tässä, siis kun lasketaan nelöiden summan
neliöjuuri.

Ja sitten vielä säädetään tulosta jakamalla kappalemäärän neliöjuurella, jottei tulos
pyri kasvamaan kun kappalemäärä kasvaa.

Kappalemäärä on sitten se mitä ännällä yleensä merkitään

totinen
Seuraa 
Viestejä4875
Liittynyt16.3.2005
jartsa

Selvästikkin näyttää että lasketaan etäisyyttä tässä
Nimittäin euklidista etäisyyttä (2-normi tai L2-mitta), tasolla sitä vastaa tietystä pisteestä vakioetäisyydellä olevat pisteet eli ympyrän kehä.

Keskipoikkeama vastaa 1-normia, tasolla sitä vastaa tietystä pisteestä vakiomäärän suorakulmaisia neliöitä etäisyydellä olevat pisteet eli neliön piiri.

Muokkaus:
Tämä on aivan väärin, unohtakaa mitä sanoin.

Keskipoikkeaman voidaan sanoa mittaavan jonkinlaista euklidista etäisyyttä

IsoJussi
Seuraa 
Viestejä987
Liittynyt16.3.2005

Tuossa aiemmin on kerrottukin asian matemaattista puolta ansiokkaasti. Otetaanpa esimerkki, elävästä elämästä.

Liikenneturva kertoo aina mieluusti tutkimustuloksistaan, joiden mukaan onnettomuustiheys laskee huomattavasti kun keskinopeus (=nopeuksien keskiarvo) laskee vaikkapa 5 km/h. Tämä pitää varmaan paikkansa. Missään ei kuitenkaan kerrota saavutetaanko keskinopeuden lasku niin että kaikki autoilijat laskevat ajonopeutta tuon 5 km/h, vai sillä että liikenteen seasta saadaan poistettua älytöntä ylinopeutta kaahaavat. Eli tässä tapauksessa keskiarvon käsite on jokseenkin turha, jollei tiedetä myös keskihajontaa.

Tilastoja voidaan käyttää kuten juoppo lyhtypylväitä: ei valaisuun, vaan tukemiseen.

Same shit, different day...

Vierailija
Canto

Miten keskihajonnan käsitteeseen on päädytty? Miten tuo hieman eksoottiselta vaikuttava kaava (poikkeamien neliöiden keskiarvon neliöjuuri) saa alkunsa?

Edetään pala kerrallaan, miten normaalijakaumaan ja keskihajonnan käsitteeseen päädytään:

1)
Keskihajonnan neliö on nimeltään varianssi, jota kutsutaan yleisemmällä nimellä toinen kumulantti.

(pelkkiä nimiä, ei vielä kannata hämmentyä, en määritellyt noita, joten unohda kaikki kaavat mitä olet noille oppinut!)

2)
Tiheysfunktiosta p(x) saadaan tietynlaisella muunnoksella karakteristinen funktio g(t). Tiheysfunktio elää x-avaruudessa ja karakteristinen funktio elää t-avaruudessa. Karakteristisesta funktiosta saadaan käänteismuunnoksella tiheysfunktio. Muunnos/käänteismuunnos on nimeltään Fourier-muunnos ja käänteinen Fourier-muunnos.

Tiheysfunktio määrittelee jakauman yksikäsitteisesti samoin kuin karakteristinen funktio määrittelee jakauman yksikäsitteisti.

(edelleen vain määritelmiä, eihän vieläkään kuulosta pahalta?)

3)
Keskeinen raja-arvolause sanoo, että jos summataan satunnaismuuttujia jakaumasta p(x) keskenään yhteen tuloksena olevan jakauman tiheysfunktio lähestyy normaalijakaumaa. Yleisemmin keskeinen raja-arvolause voidaan ilmaista, että summajakauma voidaan t-avaruudessa kirjoittaa g(t)^n, missä n on summattavien jakaumien kokonaismäärä.

Tämä potenssirelaatio on ainoa oletus - "yleistetty keskeinen raja-arvolause" - mitä tässä laskussa tehdään! Kun tämä osataan tehdä, voidaan heittää roskikseen tuo edellinen "kun summataan satunnaismuuttujia tulee normaalijakauma" epätäsmällinen selitys!

Edit: taitaa olla niin, että tuo karakteristisen funktion olemassaolo vaatisi myös vähän perusteluita. Toisekseen, "yleistetty" tarkoittaa tässä tapauksessa sitä että korkeampien kumulanttien divergoinnista ei tarvitse välittää -> jolloin tästä ajatusketjusta tulee oikeastaan "todistus", jos vain tuo olemassaolo voidaan olettaa. Joka matemaattisempi henkilö voisi varmentaa.

(tämä voi olla jo hieman hankalampaa, mutta teknisesti ei kai vieläkään lukiolaisella ongelmaa?)

4)
g(t)^n voidaan kirjoittaa myös exp(ln(g(t)^n)). Toisaalta osaamme toki myös, että ln(g(t)^n) = n ln(g(t)

(eli, 10^(lg(100)) = 100, ok? ja lg(10^5)=5lg(10))

5)
ln(g(t)) voidaan kirjoittaa sarjakehitelmänä (it):n potenssien suhteen. i on imaginääriyksikkö. Eli: Sum_k C_k (it)^k. Kutsumme sarjakehitelmän termiä C_k = k:s kumulantti.

(eikös olekin jännittävää, nyt tuo toinen kumulantti ilmestyy täysin yllättävästä suunnasta kuvioihin mukaan! Osasitko odottaa että määrittelen sen näin, enkä niin kuin MAOLissa?)

6)
Tämän jälkeen askelet menevät hieman työläiksi selittää, mutta ovat vain tavallista integraalilaskentaa. Laskennan vaiheet perustuvat tuon kohdassa 4 esitetyn tempun hyödyntämiseen ja kohdan 5 sarjakehitelmän käyttöön, jolloin huomataan, että n:n kasvaessa karakteristisesta funktiosta tulee täsmälleen normaalijakauman karakteristinen funktio. Tästä saadaan myös selville, että miten täsmälleen normaalijakaumaa lähestytään, kun summatermejä lisätään.

7)
Summajakauman toinen kumulantti C_2(n) lähestyy C_2(n) ~ n C_2, joka tulee esiin laskusta varsin selvästi. Tästä syystä karakteristinen funktio tulee muotoon, jossa näkyy n C_2.

8
Kun summajakauman käänteismuunnos lasketaan, tuo nC_2 säilyy terminä mukana siinä (plus korkeamman kertaluvun kumulanttien korjaustermit, jotka menevät nopeasti nollaan kun n kasvaa), eli normaalijaukaman tiheysfunktiossa istuvat ne toiset kumulantit ihan termeinä siinä jakaumassa. Siinä edessä neliöjuuren alla ja siellä eksponenttifunktiossa sisällä.

=>

Tässä lähestymisproseduurissa nähdään, että se lopullinen normaalijakauma (joka siis on se jakauma joka tästä laskusta tulee ulos, jota en ottanut mistään vaan laskin olettamalla tuon potenssilausekkeen) sisältää vain tuon toisen kumulantin. Mielivaltaiselle jakaumalle tarvitsemme kaikki (äärettömästi) kumulantteja, jotta pystymme määrittämään täsmällisesti jakauman.

...

Ja sitten muistetaan, että toinen kumulantti oli vain se varianssi, jonka neliöjuuri oli keskihajonta. t-avaruudessa asian käsittely ja tuon "yleistetyn raja-arvolauseen" käyttö tuo varianssin - siis toisen kumulantin - syvemmäksi käsitteeksi koko tätä normaalijakaumahärdelliä.

Jätetään kuitenkin harjoitustehtäväksi johtaa se MAOLissa oleva määritelmä keskihajonnalle tuon kohdan 5) ja Fourier-muunnosten avulla.

...

Sitten harpataan vielä pidemmälle (voi mennä jo lukiotiedoilla ohi):
- Nuo korjaustermit eivät katoakkaan, jos tuon p(x):n korkeammat kumulantit ovat äärettömiä. Tällä karakteristisen funktion tekniikalla voidaan kuitenkin käsitellä myös niitä, mutta tästä siis on seurauksena, että tuo vanhakantainen keskeisen raja-arvolauseen määritelmä ei olekaan yleisesti totta!
- Elegantti tapa käsitellä näitä äärettömiä juttuja on tuon karakteristisen funktion renormalisaatio (reskaalamalla funktionaalinen muoto säilyttäen nähdään miten kumulantit käyttäytyvät)
=> Tuo t-avaruuden (hmm... liikemääräavaruuden) renormalisaatio on laskutekniikka millä ymmärretään syvemmin tilastollista fysiikkaa ja hiukkasfysiikkaa, nyt se pompsahtaa esiin jännittävässä paikassa täällä.

Vierailija
IsoJussi
Tuossa aiemmin on kerrottukin asian matemaattista puolta ansiokkaasti. Otetaanpa esimerkki, elävästä elämästä.

Liikenneturva kertoo aina mieluusti tutkimustuloksistaan, joiden mukaan onnettomuustiheys laskee huomattavasti kun keskinopeus (=nopeuksien keskiarvo) laskee vaikkapa 5 km/h. Tämä pitää varmaan paikkansa. Missään ei kuitenkaan kerrota saavutetaanko keskinopeuden lasku niin että kaikki autoilijat laskevat ajonopeutta tuon 5 km/h, vai sillä että liikenteen seasta saadaan poistettua älytöntä ylinopeutta kaahaavat. Eli tässä tapauksessa keskiarvon käsite on jokseenkin turha, jollei tiedetä myös keskihajontaa.

Tilastoja voidaan käyttää kuten juoppo lyhtypylväitä: ei valaisuun, vaan tukemiseen.

Justiinsa. Suuret poikkeamat keskiarvosta, kaaharit vaikuttavat keskihajontaan.
Sanotaan myös, että on vale, emävale ja tilasto.

Vierailija

Normaalijakauman kertymäfunktiota ei voi laskea suljetussa muodossa eli ilmoittaa alkeisfunktioiden avulla. Normaalijakaumaa ei määritellä keskiarvon avulla, vaan parametrit ovat odotusarvo ja varianssi. Keskihajontaa eli stantardipoikkeamaa ei juurikaan käytetä teoreettisissa yhteyksissä, vaan varianssia. Standardipoikkeamaa käytetään koska sillä on sama yksikkö kuin satunnaismuuttujalla.

Se miksi varianssin ja sitä myötä laskukaava on mikä on johtuu niiden määritelmistä, jotka ovat syntyneet viimeistään 1900-luvun alkupuolella. Normaalijakauman tiheysfunktion edessä oleva kerroin voidaan johtaa monen muuttujan integraalilaskennan tarjoamilla menelmillä joita opiskellaan ainakin TKK:lla 1. vuoden aikana.

Suosittelen tutkimaan http://math.tkk.fi/opetus/sovtoda/ sivua. Kannattaa tutkia erityisesti "Satunnaismuuttujat ja todennäköisyysjakumat"-kohtaa. Osa tekstistä edellyttää matemaattisia esitietoja enemmän kuin mitä lukiosta saa, mutta sivuilta saatavilla olevissa luentokalvoissa on selostettu monia asioita hyvin. Tutkaile myös Wikipediaa.

Sivut

Uusimmat

Suosituimmat