LPreko izračunavanja statistike kontrasta odlučuju se proizvoljne razine značajnosti, a nevoljne razine značajnosti ovise o vrijednosti koju uzima statistika kontrasta, a obje ovise o raspodjeli nakon koje slijede podaci.
Drugim riječima, proizvoljne razine značajnosti uvijek će biti iste za različite vrijednosti testne statistike, a nevoljne razine značajnosti bit će različite za različite vrijednosti testne statistike.
Ne samovoljno
Kad se istakne koncept, obilježje arbitrarnosti znači da vrijednost tog koncepta bira istraživač. apriorno (prije) izvođenje eksperimenta bez oslanjanja na bilo kakve povezane informacije.
P-vrijednost i slonovi
Na primjer, pretpostavimo da želimo testirati broj slonova na livadi.
Prije nego što vidimo livadu i slonove koji stvarno postoje, pretpostavljamo apriorno broj slonova. Kažemo da može biti 10 slonova. Dakle, idemo na livadu i izbrojimo broj slonova koje vidimo: 1, 2, 3, 4, 5, 6 i 7.
Naša nulta hipoteza bila je da je broj slonova na livadi jednak 10, a naša alternativna hipoteza da ih je bilo manje od 10. Dakle, s obzirom na to da postoje slonovi, odbacili bismo nultu hipotezu. Ali … Što ako su na livadi još 3 slona, ali oni su skriveni iza drveća? Odbacili bismo svoju nultu hipotezu kad bi to mogla biti istina da smo, umjesto da brojimo slonove, izračunali maksimalan broj slonova na koje travnjak može primiti.
Analiza
10 slonova izabranih na početku bilo je potpuno proizvoljno jer nismo vidjeli veličinu livade i, prema tome, ne znamo je li 10 slonova puno ili malo.
S druge strane, ako, s obzirom na veličinu livade, izračunamo maksimalan broj slonova na koji može primiti, znat ćemo kolika je maksimalna vrijednost kako ne bismo odbacili nultu hipotezu. Tako će pronalaženje stvarnog broja biti puno lakše.
Usporedba
Isto vrijedi i za razine značajnosti od 1%, 5% i 10% u odnosu na p-vrijednost. U mnogim kontrastima odabiremo razinu važnosti ne uzimajući u obzir nikakve druge informacije osim distribucije. Obično se kao razina značajnosti (alfa) koristi 5%, a 95% uzorka ostaje unutar intervala pouzdanosti.
Problem proizvoljnog dodjeljivanja razine važnosti isti je problem kao i kod primjera slona. Ako vjerujemo da je ispravno primijeniti 5% (razina značajnosti), možemo odbiti nultu hipotezu kada je minimum koji treba odbiti 2% (p-vrijednost). Napravili bismo pogrešne rezultate jednostavno postavljanjem 5% umjesto minimalne vrijednosti koju treba odbiti (2%).
Drugim riječima, zaključujemo da na livadi ima manje od 10 slonova, ali u stvarnosti postoje još 3 slona, ali oni su skriveni. Dakle, mnogo je brže izračunati koja je maksimalna ili minimalna razina značajnosti za koju ne bismo odbacili ili bismo odbacili nultu hipotezu.
Pravilo odbijanja
Ako je vrijednost - str < razina značajnosti => odbijanje H0.
Ako je vrijednost - str > razina značajnosti => Nema odbijanja H0.