- 東京大学教養学部統計学教室
- 東京大学出版会
機械学習勉強会として今は統計学入門をやっている。 週一でやっていて、今週から輪読形式で進めてみることになった。
また、勉強会で書いたコードや疑問点などをまとめるためにGitHubのレポジトリを活用している。 Wondershake/ml-statistics-intro: 基礎統計学 I 統計学入門 (東京大学出版会)
今回の内容
7.1 同時確率分布と周辺確率分布
- 同時確率分布 (joint probability distribution)
- 離散型の確率変数$X, Y$があるとき、$X=x$であり同時に$Y=y$である確率
- $P(X=x, Y=y) = f(x,y)$
- 次を満たす
- $f(x, y) \geq 0$
- $\sum_x\sum_yf(x,y)=1$
- 2次元の確率変数の場合、自称は$(x,y)$が集まったある部分集合
- 事象$A$の確率は$P((X, Y)\in A)={\sum\sum}_A;f(x,y)$
- 同時確率密度関数 (joint probability density function)
- 連続型の確率変数$X, Y$
- 次を満たす
- $f(x,y)\geq0$
- $\int\int_S;f(x,y)dxdy=1$
- $S$は標本空間 (sample space)、2次元ユークリッド平面の全範囲
- 事象$A$($S$の部分集合)の確率は$P((X,Y)\in A)=\int\int_A;f(x,y)dxdy$
- $A$が区間ならば$P(a\leq X\leq b, c\leq Y\leq d)=\int_c^d\int_a^b f(x, y)dxdy$
- 周辺確率分布 (marginal probability distribution)
- 同時確率分布から、$X, Y$単独の確率分布
- $g(x)=\sum_y f(x,y)$
- $h(y)=\sum_x f(x,y)$
- 周辺確率密度関数 (marginal probability density function)
- $g(x)=\int_{-\infty}^{\infty}f(x,y)dy$
- $h(y)=\int_{-\infty}^{\infty}f(x,y)dx$
- 周辺確率分布は同時確率分布から導かれる
- 共分散 (covariance)
- $Cov(X, Y)=E\{(X-\mu_X)(Y-\mu_Y)\}=E(XY)-\mu_X\mu_Y$
- $X, Y$に関連があるとき、$Cov(X,Y)\ne0$
- $Cov(X,Y)>0$なら$X,Y$は大小が同傾向、$Cov(X,Y)<0$なら反対傾向
- $V(X+Y)=V(X)+V(Y)+2Cov(X,Y)$
- 相関係数 (correlation coefficient)
- 確率変数$X,Y$の関係の強さ
- $\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{V(X)}\cdot\sqrt{V(Y)}}$
- $-1\leq\rho_{XY}\leq 1$
- $\rho=\pm 1$のとき、$X,Y$には1次式の関係が成り立つ
- $Y=aX+b$
- $a$と$\rho$の符号は同じ
- 無相関 (uncorrelated): $\rho=0$つまり$Cov(X, Y)=0$のとき$X, Y$は無相関であるという
7.2 条件付き確率分布と独立な確率変数
- 条件付確率密度関数 (conditional probability density function)
- $Y=y$のときの$X$の条件付確率密度関数: $P(X=x|Y=y)=\frac{P(X=x, Y=y)}{P(Y=y)}$
- 条件付期待値 (conditional expectation)
- 条件付分散 (conditional variance)
- 独立 (independent)
- 同時確率分布において、あらゆる$x, y$について$f(x,y)=g(x)\cdot h(y)$が成り立つとき、$X,Y$は互いに独立であるという
- $f(x,y)=g(x|y)\cdot h(y) = h(y|x)\cdot g(x)$
- $n$個の確率変数$X_1, X_2, \dots, X_n$に対しても$f(x_1, x_2, \dots, x_n)=f_1(x_1)f_2(x_2)\dots f_n(x_n)$が成り立つとき、$X_1, X_2, \dots, X_n$は独立
- $X, Y$が独立のとき、$E(XY)=E(X)E(Y)$
- $X, Y$が独立のとき、無相関となる
- $\rho=Cov(X,Y)=E(XY)-E(X)E(Y)=0$
- $X, Y$が独立のとき、$M_{X+Y}(t)=M_X(t)M_Y(t)$
7.3 多次元正規分布
7.4 独立な確率変数の和
- 分散の加法性
- 確率変数$X, Y$について常に次が成り立つ
- $E(X+Y)=E(X)+E(Y)$
- 確率変数$X, Y$が独立のとき次が成り立つ(無相関のときも)
- $V(X\pm Y)=V(X)+V(Y)$
- 確率変数$X_1, X_2, \dots, X_n$に対しても次が成り立つ
- $E(X_1+X_2+\dots+X_n)=E(X_1)+E(X_2)+\dots+E(X_n)$
- 独立のとき, $V(X_1+X_2+\dots+X_n)=V(X_1)+V(X_2)+\dots+V(X_n)$
- 確率変数$X, Y$について常に次が成り立つ
- $X_1, X_2, \dots, X_n$が同一の確率分布に従うとき、
- $E(X_1+X_2+\dots+X_n)=n\mu$
- $V(X_1+X_2+\dots+X_n)=n\sigma^2$
- $D(X_1+X_2+\dots+X_n)=\sqrt{n}\sigma$
- $\bar{X}=\frac{X_1, X_2, \dots, X_n}{n}$とすると、
- $E(\bar{X})=\mu$
- $V(\bar{X})=\frac{\sigma^2}{n}$
- たたみこみ (convolution)
- 確率変数$X, Y$が独立で、確率分布を$g(x), h(y)$とするとき
- $k(z)=\sum_xg(x)h(z-x)$
- $k(z)=\int_{-\infty}^{\infty}g(x)h(z-x)dx$
- これをたたみこみといい、$k=g*h$とかく
- 確率変数$X, Y$が独立で、確率分布を$g(x), h(y)$とするとき、和$X+Y$の確率分布$k(x)$を考える
- $P(X+Y=z)$なので、$X=x, Y=z-x$を同時に満たすすべての組み合わせ
- 二項分布: $X, Y$が独立でそれぞれ$Bi(n, p), Bi(m, p)$に従うとき、$X+Y$は$Bi(n, p)*Bi(m, p)=Bi(n+m, p)$に従う
- ポアソン分布: $X, Y$が独立でそれぞれ$P_0(\lambda), P_0(\mu)$に従うとき、$X+Y$は$P_0(\lambda)*P_0(\mu)=P_0(\lambda+\mu)$に従う
- 正規分布: $X, Y$が独立でそれぞれ$N(\mu_1, \sigma_1^2), N(\mu_2, \sigma_2^2)$に従うとき、$X+Y$は$N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)$に従う
- 確率変数$X, Y$が独立で、確率分布を$g(x), h(y)$とするとき
- たたみこみの結果、同一種類の確率分布(確率分布族)が得られる時、確率分布族は**再生的 (reproductive)**であるという
- 正規分布の再生性
- $X_1, X_2, \dots, X_n$が独立でそれぞれ正規分布$N(\mu_1, \sigma_1^2), N(\mu_2, \sigma_2^2), \dots, N(\mu_n, \sigma_n^2)$に従うとき
- $X_1+X_2+\dots+X_n$は$N(\mu_1+\mu_2+\dots+\mu_n, \sigma_1^2+\sigma_2^2+\dots+\sigma_n^2)$に従う
- $c_1X_1+c_2X_2+\dots+c_nX_n$は$N(c_1\mu_1+c_2\mu_2+\dots+c_n\mu_n, c_1^2\sigma_1^2+c_2^2\sigma_2^2+\dots+c_n^2\sigma_n^2)$に従う
- とくに$X_1, X_2, \dots, X_n$がすべて正規分布$N(\mu, \sigma^2)$に従うとき
- $X_1+X_2+\dots+X_n$は$N(n\mu, n\sigma^2)$に従う
- $\bar{X}=\frac{X_1, X_2, \dots, X_n}{n}$は$N(\mu, \frac{\sigma^2}{n})$に従う
- $X_1, X_2, \dots, X_n$が独立でそれぞれ正規分布$N(\mu_1, \sigma_1^2), N(\mu_2, \sigma_2^2), \dots, N(\mu_n, \sigma_n^2)$に従うとき
練習問題
第7章 多次元の確率分布 · Issue #13 · Wondershake/ml-statistics-intro
所感
- まだEとかVとかをこねくり回してる感じなのでなんとか
次回
第8章 大数の法則と中心極限定理