nownab.log | 統計学入門 第10章 正規分布からの標本

機械学習勉強会として今は統計学入門をやっている。 週一でやっていて、今週から輪読形式で進めてみることになった。

また、勉強会で書いたコードや疑問点などをまとめるためにGitHubのレポジトリを活用している。 Wondershake/ml-statistics-intro: 基礎統計学 I 統計学入門 (東京大学出版会)

今回の内容

• 統計学と確率論の大きな違いの1つは、母数を推定するかしないか
  • 母数 (parameter): 母集団の確率分布(母集団分布)を決めている定数
• 推定 (estimation): 母数を標本から定めること
• 推定量 (estimator): 母数を推定するために標本から求めた統計量
• 推定しようとするパラメータを$\theta$、推定量を$\hat{\theta}$と表す
• $\hat{\theta}$は標本の関数

11.1 点推定と区間推定

• 点推定 (point estimation): $\theta$をある1つの値$\hat{\theta}$で推定する方法
• 区間推定 (interval estimation): $P(L\leq\theta\leq U)\geq 1-\alpha$となるような$L, U$を推定する方法

11.2 点推定の考え方とその手順

11.2.1 推定量と推定値

• 推定値 (estimate): $n$個の観測値が与えられた場合に推定量(標本の関数)から得られる実際の値

11.2.2 点推定の手順

• モーメント法 (method of moments)
  • 標本モーメントを次のように定義する
    • 1次標本モーメント $\hat{\mu}_1=\sum\frac{X_i}{n}$
    • 2次標本モーメント $\hat{\mu}_2=\sum\frac{X_i^2}{n}$
    • k次標本モーメント $\hat{\mu}_k=\sum\frac{X_i^k}{n}$
  • 母モーメントが標本モーメントと等しいとおく
    • $\mu_1=\hat{\mu}_1$
    • $\mu_2=\hat{\mu}_2$
    • $\mu_k=\hat{\mu}_k$
• 最尤法 (maximum likelihood method)
  • 尤度関数を母数空間で最大にするものを推定値や推定量とする方法
  • 母数空間 (parameter space): 母数が取り得る値の集合。$\Theta$で表す
  • 最尤原理 (principle of maximum likelihood): 「現実の標本は確率最大のものが実現した」という仮定
  • 尤度 (likelihood): 母数空間でのその値のもっともらしさ
  • 尤度関数 (likelihood function): 尤度を表す関数
    • $X_1, \dots, X_n$の同時確率分布を$\theta$の関数とみなしたもの
    • $X_i$の確率分布を$f(x,\theta)$とすると尤度関数は$L(\theta)=f(x_1, \theta)\cdot f(x_2, \theta) \cdot\cdots\cdot f(x_n, \theta)$
    • 母数が複数ある場合は$L(\theta_1, \dots, \theta_k)=\prod_{i=1}^n f(x_i; \theta_1, \dots, \theta_k)$
  • 最尤推定値 (maximum likelihood estimate): 尤度関数を最大にする値
  • 最尤推定量 (maximum likelihood estimator): 尤度関数を最大にする関数
  • 対数尤度: 尤度関数は積で扱いにくいので対数をとったものを扱うのが普通
    • $\log L(\theta)=\sum_{i=1}^n \log f(x_i, \theta)$
    • $\displaystyle \frac{\partial \log L(\theta)}{\partial \theta}=0$ の解を求める

11.3 点推定の基準

• 不偏性
  • $E(\hat{\theta})=\theta$となる性質
  • これを満たす推定量を**不偏推定量 (unbiased estimator)**とよぶ
• 一致性
  • すべての$\epsilon>0$に対して$n\rightarrow\infty$のとき$P(|\hat\theta_n-\theta|>\epsilon)\rightarrow0$となる性質
  • $n$が大きくなれば真の母数に近づく性質
  • これを満たす推定量を**一致推定量 (consistent estimator)**とよぶ
• 漸近正規性 (asymptotic normality)
  • 漸近分布 ($n\rightarrow\infty$における分布)が正規分布である性質
  • これを満たす推定量を**漸近正規推定量 (asymptotically normal estimator)**とよぶ
• 有効性
  • いかなる不偏推定量よりも分散が小さいという性質
  • これを満たす不偏推定量を**有効推定量 (efficient estimator)または最小分散不偏推定量 (minimum variance unbiased estimator)**とよぶ
  • 漸近有効性 (asymptotic efficiency): 漸近分布が正規分布となる推定量のうち、その漸近分散が最小となる性質

11.4 点推定の例

• 正規分布に関する推定
• 二項分布に関する推定
• ポアソン分布に対する推定
• 一様分布に関する推定
• ノンパラメトリックの場合
  • モーメント法を使う

11.5 区間推定

• $P(L\leq\theta\leq U)\geq 1-\alpha$となる確率変数$L, U$を求める
• $L, U$はそれぞれ下側信頼限界 (lower confidence limit)、**上側信頼限界 (upper confidence limit)**という
• 信頼係数 (confidence coefficient): $1-\alpha$
• 信頼区間 (confidence interval): 区間$[L, U]$
• $1-\alpha$は目的に応じて選ぶが、$0.99$や$0.95$に設定されることが多い
• 信頼区間の幅は標本の大きさ$n$が大きくなるに従って$\frac{1}{\sqrt{n}}$のオーダーで0に近づく

11.5.1 正規母集団の母平均、母分散の区間推定

• 母平均の信頼区間
• 母分散の信頼区間

11.5.2 二つの正規母集団の母平均の差、母分散の比の区間推定

• 母平均の差の信頼区間
• 母分散の比の信頼区間

11.5.3 二項、ポアソン母集団の各母数の信頼区間

練習問題

第11章 推定 · Issue #21 · Wondershake/ml-statistics-intro

所感

• 最尤法が理解できてよかった

次回

第12章 仮説検定