📂統計的検定

棄却域と有意水準

定義 ¹

1. 帰無仮説が真だにも関わらず、検定で帰無仮説を棄却する誤りを第一種の過誤と言う。
2. 対立仮説が真だにも関わらず、検定で帰無仮説を棄却できない誤りを第二種の過誤と言う。
3. 第一種の過誤を犯す確率の最大値を有意水準^{significance level}と言う。
4. 仮説検定を行うために使用する統計量を検定統計量^{test statistic}と言う。
5. 帰無仮説を棄却する検定統計量の観測値の領域を棄却域^{rejection region}と言う。

説明

いくらデータが山のように積もっていて、洗練された数学的手法を適用したとしても、使えなければ意味がない。ここで「使う」とは、何らかのデータに対して統計を取り、その統計を根拠に何らかの「主張をする」ことである。そのためには、当然その統計が信頼できる必要があるし、誰が何の基準で判断するのかという問いの答えが仮説検定である。

例

上のデータを江北高校 理科3年生の1組から15組までの中間試験平均点としよう。一目で、15組の平均が格段に高いことがわかり、標準化をするとさらにはっきりする。しかし、順位をつけたり全体の平均より高かったり低かったりするのは簡単だが、どれだけよくなったり悪くなったりするかは判断しづらい。「平均のちょっとの差」で誰が上かを言っても、どんぐりの背比べに過ぎないというものだ。明らかにある程度以上から「クラスが違う」と言えるはずだが、その程度が曖昧である。

ここでZ-scoreが自由度$14$ のt-分布に従うと考えよう。

$t_{14}$ の確率密度関数と平均の分布を一緒に表示すると、上の図のようになる。Z-scoreの平均は$0$で、Z-scoreが$0$に近いことは、それだけ元のデータが「平均から離れていない」という意味である。一方で、$0$から遠く離れたZ-scoreの元のデータは、高いか低いかにかかわらず、平均と似ているとは言い難いだろう。

黄色で塗られた面積は両方を合わせて$\color{red}{0.05}$で、これはデータがその区間に現れる確率が$\color{red}{0.05}$であることを示している。ここに属するデータは理論的に$\color{red}{5 \%}$の確率の非常に珍しいケースであり、たまたま出てきたとは言い難いほどの大きな差がある。こうして平均と異なりつつも、点数が高い場合、たまたまではなく、実力自体が優れていると言えるのではないだろうか。

再び例に戻ると、15組は単にたまたま試験でよくできたとは見られないほど平均が異常に高い。ここで帰無仮説$H_{0}$が「15組の平均は3年生全体の平均と大きな違いはない」とすれば、帰無仮説を棄却することができるだろう。このとき、黄色く塗られた領域が「棄却する領域」であるため、棄却域と呼ばれる。そして、その領域を定めるときの面積が「どの程度から意味があるかの度合い」であるため、有意確率と呼ばれる。一言で仮説検定は「ただの偶然とは言い難い」という言葉を統計学的に裏付けることであり、その判断は棄却域に入ったか入らなかったかであり、その基準は有意水準である。

少なくとも棄却域と有意水準については、その正確な定義そのものよりも、その概念をしっかりと身につけることが重要である。実際に見ることもあまりなく、使わないからと軽視すると、本当に必要で、基本としてすぐに思い出さなければならないときに思い出せなくなる。

R コード

以下は、本投稿に使用されたRのコードである。

set.seed(150421);
avg<-signif(6*rnorm(15)+60,3); names(avg)<-paste0('(',(1:15),')'); avg
Z = scale(avg)[,1]; Z
 
win.graph()
plot(0,0,type='n',xlim=c(-4,4),ylim=c(-0.08,0.4),xlab='Z-score\',ylab='t',main='중간고사 결과')
 
abline(h=0)
lines(seq(-5,5,0.01),dt(seq(-5,5,0.01),df=14))
 
points(x=Z,y=rep(0,15),pch=16)
text(x=Z,-0.05,labels=paste0('(',(1:15),')'))
arrows(Z,-0.04,Z,-0.005,length=0.1)
 
 
 
win.graph()
plot(0,0,type='n',xlim=c(-4,4),ylim=c(-0.08,0.4),xlab='Z-score\',ylab='t',main='중간고사 결과')
 
polygon(c(seq(qt(0.975,14),5,0.01),qt(0.975,14)),
        c(dt(seq(qt(0.975,14),5,0.01),df=14),0),
        col='yellow',lty=0)
polygon(c(seq(-5,qt(0.025,14),0.01),qt(0.025,14)),
        c(dt(seq(-5,qt(0.025,14),0.01),df=14),0),
        col='yellow',lty=0)
abline(h=0)
lines(seq(-5,5,0.01),dt(seq(-5,5,0.01),df=14))
 
 
win.graph()
plot(0,0,type='n',xlim=c(-4,4),ylim=c(-0.08,0.4),xlab='Z-score\',ylab='t',main='중간고사 결과')
 
polygon(c(seq(qt(0.975,14),5,0.01),qt(0.975,14)),
  c(dt(seq(qt(0.975,14),5,0.01),df=14),0),
  col='yellow',lty=0)
polygon(c(seq(-5,qt(0.025,14),0.01),qt(0.025,14)),
  c(dt(seq(-5,qt(0.025,14),0.01),df=14),0),
  col='yellow',lty=0)
abline(h=0)
lines(seq(-5,5,0.01),dt(seq(-5,5,0.01),df=14))
 
points(x=Z,y=rep(0,15),pch=16)
text(x=Z,-0.05,labels=paste0('(',(1:15),')'))
arrows(Z,-0.04,Z,-0.005,length=0.1)

一緒に見る

• 棄却域の複雑な定義
• 第一種の過誤と第二種の過誤の違い