nownab.log | 統計学入門 第7章 多次元の確率分布

機械学習勉強会として今は統計学入門をやっている。 週一でやっていて、今週から輪読形式で進めてみることになった。

また、勉強会で書いたコードや疑問点などをまとめるためにGitHubのレポジトリを活用している。 Wondershake/ml-statistics-intro: 基礎統計学 I 統計学入門 (東京大学出版会)

今回の内容

8.1 大数の法則

• 大数の法則 (law of large numbers)
  • 多く観測すれば、標本平均は母平均に極めて近くなる
  • 大標本では、観察された標本平均を母集団の真の平均(母平均)とみなしてよい
  • $P(|\bar{X_n}-\mu|<\epsilon)\rightarrow 1$
  • $\epsilon$: 任意の正の定数
  • $\mu$: もとの確率分布の平均 (母平均)
  • $\bar{X_n}$: その分布から$n$個とられた観測値の平均

8.2 中心極限定理

• 中心極限定理 (central limit theorem)
  • 大数の法則よりくわしい
  • $P(a\leq\frac{X_1+X_2+\dots+X_n-n\mu}{\sqrt{n}\sigma}\leq b)\rightarrow\int_a^b\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}dx$
  • $X_i$: 同じ確率分布に従う独立な確率変数
  • 標本の大きさ$n$が十分大きければ、$\bar{X}=\frac{X_1+\dots+X_n}{n}$の確率分布は正規分布に近づく
  • $S_n=X_1+\dots+X_n$は$N(n\mu, n\sigma^2)$に従う
  • $\bar{X}$は$N(\mu, \frac{\sigma^2}{n})$に従う

8.3 中心極限定理の応用

8.3.1 二項分布の正規分布による近似

• 二項分布は$n$が大きくなると二項係数を計算できなくなる
• 二項分布$Bi(n,p)$は$n$個の$Bi(1,p)$に従う確率変数の和
• 正規分布による近似を用いても良いのは$np>5$かつ$n(1-p)>5$

8.3.2 正規乱数の発生

• 一様乱数から正規分布に従う乱数を発生させる
• 正規表現の確率分布関数、累積分布関数は単純な式ではないので、逆変換法で一様乱数から正規分布に従う乱数を作るのは難しい
• 一様乱数を$n$個発生させ、その和から乱数を作る

練習問題

第8章 大数の法則と中心極限定理 · Issue #15 · Wondershake/ml-statistics-intro

所感

• 量が少なくてボーナスステージ感があった

次回

第9章 標本分布