nownab.log | 統計学入門 第7章 多次元の確率分布

統計学入門 (基礎統計学Ⅰ)

統計学入門 (基礎統計学Ⅰ)

  • 東京大学教養学部統計学教室
  • 東京大学出版会

機械学習勉強会として今は統計学入門をやっている。
週一でやっていて、今週から輪読形式で進めてみることになった。

また、勉強会で書いたコードや疑問点などをまとめるためにGitHubのレポジトリを活用している。
Wondershake/ml-statistics-intro: 基礎統計学 I 統計学入門 (東京大学出版会)

今回の内容

8.1 大数の法則

  • 大数の法則 (law of large numbers)
    • 多く観測すれば、標本平均は母平均に極めて近くなる
    • 大標本では、観察された標本平均を母集団の真の平均(母平均)とみなしてよい
    • $P(|\bar{X_n}-\mu|<\epsilon)\rightarrow 1$
    • $\epsilon$: 任意の正の定数
    • $\mu$: もとの確率分布の平均 (母平均)
    • $\bar{X_n}$: その分布から$n$個とられた観測値の平均

8.2 中心極限定理

  • 中心極限定理 (central limit theorem)
    • 大数の法則よりくわしい
    • $P(a\leq\frac{X_1+X_2+\dots+X_n-n\mu}{\sqrt{n}\sigma}\leq b)\rightarrow\int_a^b\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx$
    • $X_i$: 同じ確率分布に従う独立な確率変数
    • 標本の大きさ$n$が十分大きければ、$\bar{X}=\frac{X_1+\dots+X_n}{n}$の確率分布は正規分布に近づく
    • $S_n=X_1+\dots+X_n$は$N(n\mu, n\sigma^2)$に従う
    • $\bar{X}$は$N(\mu, \frac{\sigma^2}{n})$に従う

8.3 中心極限定理の応用

8.3.1 二項分布の正規分布による近似

  • 二項分布は$n$が大きくなると二項係数を計算できなくなる
  • 二項分布$Bi(n,p)$は$n$個の$Bi(1,p)$に従う確率変数の和
  • 正規分布による近似を用いても良いのは$np>5$かつ$n(1-p)>5$

8.3.2 正規乱数の発生

  • 一様乱数から正規分布に従う乱数を発生させる
  • 正規表現の確率分布関数、累積分布関数は単純な式ではないので、逆変換法で一様乱数から正規分布に従う乱数を作るのは難しい
  • 一様乱数を$n$個発生させ、その和から乱数を作る

練習問題

第8章 大数の法則と中心極限定理 · Issue #15 · Wondershake/ml-statistics-intro

所感

  • 量が少なくてボーナスステージ感があった

次回

第9章 標本分布