nownab.log

nownabe's daily posts

統計学入門 第12章 仮説検定

Posted on Oct 24, 2017

nownab.log | 統計学入門 第11章 推定

統計学入門 (基礎統計学Ⅰ)

統計学入門 (基礎統計学Ⅰ)

  • 東京大学教養学部統計学教室
  • 東京大学出版会

機械学習勉強会として今は統計学入門をやっている。 週一でやっていて、今週から輪読形式で進めてみることになった。

また、勉強会で書いたコードや疑問点などをまとめるためにGitHubのレポジトリを活用している。 Wondershake/ml-statistics-intro: 基礎統計学 I 統計学入門 (東京大学出版会)

今回の内容

12.1 検定の考え方

  • 仮説検定の目的は、母集団について仮定された命題を標本に基づいて検証すること
  • 仮説からのずれに意味がある場合、**有意 (significant)**であるという
  • 仮説のことを**統計的仮説 (statistical hypothesis)又は仮説 (hypothesis)**という
  • 仮説検定: 統計的仮説の優位性検定 (test of significance)
  • 棄却 (reject): その仮説に基づくと観測された標本が現れる確率が希少なとき、仮説は棄却される、という
  • 有意水準 (significance level): どの程度の希少確率を考えるかという基準の確率。
  • 採択 (accept): 仮説が棄却できないこと
  • 帰無仮説 (null hypothesis): 棄却されるかされないかの判断にさらされる仮説
  • 対立仮説 (alternative hypothesis): 帰無仮説に対立する仮説
  • 第一種の誤り (error of the first kind)
    • 帰無仮説が正しいのにそれを棄却する
  • 第二種の誤り (error of the second kind)
    • 帰無仮説が誤っているのにそれを採択する
  • 検定統計量 (test statistic): 検定に用いる統計量
  • 棄却域 (rejection region): 帰無仮説を棄却すべき統計量の値の集合
  • 採択域 (acceptance region): 帰無仮説を棄却しない統計量の値の集合
  • 両側検定 (two-sided test): **両側対立仮説 (two-sided alternative hypothesis)**のときに用いる
  • 片側検定 (one-sided test): **片側対立仮説 (one-sided alternative hypothesis)**のときに用いる

12.2 正規母集団に対する仮説検定

12.2.1 母平均に関する検定

  • 両側検定
    • 帰無仮説: $H_0:\mu=\mu_0$
    • 対立仮説: $H_1: \mu\neq\mu_0$
    • 分散が既知のとき
      • 検定統計量Zを使う
      • $Z=\frac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}}$
      • $|Z|>Z_{\frac{\alpha}{2}}$のとき帰無仮説を棄却する
      • $|Z|\leq Z_{\frac{\alpha}{2}}$のとき帰無仮説を棄却しない
    • 分散が未知のとき
      • t検定 (Student’s t-test)
      • 検定統計量tを使う
      • $t=\frac{\bar{X}-\mu}{\frac{s}{\sqrt{n}}}$
      • $|t|>t_\frac{\alpha}{2}(n-1)$のとき帰無仮説を棄却する
      • $|t|\leq t_\frac{\alpha}{2}(n-1)$のとき帰無仮説を棄却しない
  • 片側検定
    • 帰無仮説: $H_0:\mu=\mu_0$
    • 対立仮説: $H_1: \mu>\mu_0$
    • 分散が既知のとき
      • $Z>Z_\alpha$のとき帰無仮説を棄却する
      • $Z\leq Z_\alpha$のとき帰無仮説を棄却しない
    • 分散が未知のとき
      • $t>t_\alpha(n-1)$のとき帰無仮説を棄却する
      • $t\leq t_\alpha(n-1)$のとき帰無仮説を棄却しない

12.2.2 母分散に対する仮説検定

  • $\chi^2$検定 ($\chi^2$-test)
    • 帰無仮説: $H_0: \sigma^2=\sigma_0^2$
    • $\chi^2=(n-1)\frac{s^2}{\sigma_0^2}$
    • 両側検定
      • 対立仮説: $H_1: \sigma^2\neq\sigma_0^2$
      • $\chi^2_{1-\frac{\alpha}{2}}(n-1)<\chi^2<\chi^2_{\frac{\alpha}{2}}(n-1)$のとき帰無仮説を棄却せず、それ以外で棄却する
    • 片側検定
      • 対立仮説: $H_1: \sigma^2<\sigma_0^2$
      • $\chi^2<\chi^2_{1-\alpha}(n-1)$のとき帰無仮説を棄却し、それ以外で棄却しない

12.2.3 母平均の差の検定

  • 2標本検定 (two-sample test): 2つのグループで結果に差があるかどうかを検定する
    • 治療法の効果を調べるときなど
    • 治療等を行ったグループを**処理群 (treatment group)**という
    • 行わなかった基準となるグループを**対照群 (contrast group)または制御群 (control group)**という
    • 帰無仮説 $H_0: \mu_1=\mu_2$
    • 母分散が等しいとき
      • 2標本t統計量 $t=\frac{\displaystyle\bar{X}-\bar{Y}}{\displaystyle s\sqrt{\frac{1}{m}+\frac{1}{n}}}$
      • 両側検定
        • 対立仮説 $H_1: \mu_1\neq\mu_2$
        • $|t|>t_\frac{\alpha}{2}(m+n-2)$のとき帰無仮説を棄却する
      • 片側検定
        • 対立仮説 $H_1: \mu_1>\mu_2$
        • $t>t_\alpha(m+n-2)$のとき帰無仮説を棄却する
    • 母分散が等しくないとき
      • ウェルチの検定 (Welch’s test)

12.2.4 母分散の比の検定

  • 2つの正規母集団の母平均が等しいか否か
  • 帰無仮説 $H_0:\sigma_1^2=\sigma_2^2$
  • 対立仮説 $H_1:\sigma_1^2\neq\sigma_2^2$
  • 統計量 $F=\frac{s_1^2}{s_2^2}$
  • $F_{1-\frac{\alpha}{2}}(m-1, n-1)\leq F\leq F_\frac{\alpha}{2}(m-1, n-1)$のとき帰無仮説を棄却しない
  • F検定

12.3 いろいろの$\chi^2$検定

12.3.1 適合度の検定

  • 適合度の$\chi^2$検定 ($\chi^2$-test of goodness of fit)
    • 仮定された理論上の確率分布に対して、標本から求められた度数が適合するか否か
    • $n$個の標本が$k$主のカテゴリ$A_1,\dots,A_k$へ分類されたとする
    • 観測度数 (Observed frequency): $f_1,\dots,f_k$
    • 各カテゴリの理論確率: $p_1,\dots,p_k$
    • 理論度数(または期待度数 (Expected frequency)): $np_1, \dots, np_k$
    • K. ピアソンの適合度基準 $\chi^2=\sum_{i=1}^{k}\frac{(f_i-np_i)^2}{np_i}$
    • 帰無仮説 $H_0: P(A_1)=p_1,\dots,P(A_k)=p_k$
    • $\chi^2>\chi_\alpha^2(k-1)$なら帰無仮説は棄却される
  • $\chi^2=\sum\frac{(O-E)^2}{E}$と要約できる
    • O: Observed
    • E: Expected

12.3.2 分割表と独立性の検定

  • 独立性の$\chi^2$検定 ($\chi^2$ test for independence)
    • $n$個の個体に対して2つの異なる属性$A, B$を同時に測定したとする
    • $A$は$A_1,\dots,A_r$
    • $B$は$B_1,\dots,B_c$
    • 分割表: A, Bについて度数を集計した表
    • 独立の仮説: $H_0: すべてのi,jに対しP(A_i\cap B_j)=P(A_i)P(B_j)$
    • $\chi^2=\sum_i\sum_j\frac{\displaystyle (f_{ij}-\frac{f_{i\cdot}f_{\cdot j}}{n})^2}{\displaystyle \frac{f_{i\cdot}f_{\cdot j}}{n}}=\sum_i\sum_j\frac{\displaystyle (nf_{ij}-f_{i\cdot}f_{\cdot j})^2}{\displaystyle nf_{i\cdot}f_{\cdot j}}$
    • 自由度は$(r-1)(c-1)$

12.4 中心極限定理を用いる検定

  • 各$X_i$が独立に$B_i(1, p)$に従う
  • $S_n=X_i+\dots+X_n$
  • $\hat{p}=\frac{S_n}{n}$
  • 検定統計量 $Z=\frac{\hat{p}-p}{\sqrt{p(1-p)/n}}$

練習問題

第12章 仮説検定 · Issue #26 · Wondershake/machine-learning-study

所感

  • 理解度が怪しい部門第1位の検定をちゃんと勉強できてよかった