nownab.log | 統計学入門 第6章 確率変数

統計学入門 (基礎統計学Ⅰ)

統計学入門 (基礎統計学Ⅰ)

  • 東京大学教養学部統計学教室
  • 東京大学出版会

機械学習勉強会として今は統計学入門をやっている。
週一でやっていて、今週から輪読形式で進めてみることになった。

また、勉強会で書いたコードや疑問点などをまとめるためにGitHubのレポジトリを活用している。
Wondershake/ml-statistics-intro: 基礎統計学 I 統計学入門 (東京大学出版会)

今回の内容

7.1 同時確率分布と周辺確率分布

  • 同時確率分布 (joint probability distribution)
    • 離散型の確率変数$X, Y$があるとき、$X=x$であり同時に$Y=y$である確率
    • $P(X=x, Y=y) = f(x,y)$
    • 次を満たす
      • $f(x, y) \geq 0$
      • $\sum_x\sum_yf(x,y)=1$
  • 2次元の確率変数の場合、自称は$(x,y)$が集まったある部分集合
    • 事象$A$の確率は$P((X, Y)\in A)={\sum\sum}_A\;f(x,y)$
  • 同時確率密度関数 (joint probability density function)
    • 連続型の確率変数$X, Y$
    • 次を満たす
      • $f(x,y)\geq0$
      • $\int\int_S\;f(x,y)dxdy=1$
        • $S$は標本空間 (sample space)、2次元ユークリッド平面の全範囲
    • 事象$A$($S$の部分集合)の確率は$P((X,Y)\in A)=\int\int_A\;f(x,y)dxdy$
    • $A$が区間ならば$P(a\leq X\leq b, c\leq Y\leq d)=\int_c^d\int_a^b f(x, y)dxdy$
  • 周辺確率分布 (marginal probability distribution)
    • 同時確率分布から、$X, Y$単独の確率分布
    • $g(x)=\sum_y f(x,y)$
    • $h(y)=\sum_x f(x,y)$
  • 周辺確率密度関数 (marginal probability density function)
    • $g(x)=\int_{-\infty}^{\infty}f(x,y)dy$
    • $h(y)=\int_{-\infty}^{\infty}f(x,y)dx$
  • 周辺確率分布は同時確率分布から導かれる
  • 共分散 (covariance)
    • $Cov(X, Y)=E\{(X-\mu_X)(Y-\mu_Y)\}=E(XY)-\mu_X\mu_Y$
    • $X, Y$に関連があるとき、$Cov(X,Y)\ne0$
    • $Cov(X,Y)>0$なら$X,Y$は大小が同傾向、$Cov(X,Y)<0$なら反対傾向
    • $V(X+Y)=V(X)+V(Y)+2Cov(X,Y)$
  • 相関係数 (correlation coefficient)
    • 確率変数$X,Y$の関係の強さ
    • $\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{V(X)}\cdot\sqrt{V(Y)}}$
    • $-1\leq\rho_{XY}\leq 1$
    • $\rho=\pm 1$のとき、$X,Y$には1次式の関係が成り立つ
      • $Y=aX+b$
      • $a$と$\rho$の符号は同じ
  • 無相関 (uncorrelated): $\rho=0$つまり$Cov(X, Y)=0$のとき$X, Y$は無相関であるという

7.2 条件付き確率分布と独立な確率変数

  • 条件付確率密度関数 (conditional probability density function)
    • $Y=y$のときの$X$の条件付確率密度関数: $P(X=x|Y=y)=\frac{P(X=x, Y=y)}{P(Y=y)}$
    • 条件付期待値 (conditional expectation)
    • 条件付分散 (conditional variance)
  • 独立 (independent)
    • 同時確率分布において、あらゆる$x, y$について$f(x,y)=g(x)\cdot h(y)$が成り立つとき、$X,Y$は互いに独立であるという
    • $f(x,y)=g(x|y)\cdot h(y) = h(y|x)\cdot g(x)$
    • $n$個の確率変数$X_1, X_2, \dots, X_n$に対しても$f(x_1, x_2, \dots, x_n)=f_1(x_1)f_2(x_2)\dots f_n(x_n)$が成り立つとき、$X_1, X_2, \dots, X_n$は独立
    • $X, Y$が独立のとき、$E(XY)=E(X)E(Y)$
    • $X, Y$が独立のとき、無相関となる
      • $\rho=Cov(X,Y)=E(XY)-E(X)E(Y)=0$
    • $X, Y$が独立のとき、$M_{X+Y}(t)=M_X(t)M_Y(t)$

7.3 多次元正規分布

7.4 独立な確率変数の和

  • 分散の加法性
    • 確率変数$X, Y$について常に次が成り立つ
      • $E(X+Y)=E(X)+E(Y)$
    • 確率変数$X, Y$が独立のとき次が成り立つ(無相関のときも)
      • $V(X\pm Y)=V(X)+V(Y)$
    • 確率変数$X_1, X_2, \dots, X_n$に対しても次が成り立つ
      • $E(X_1+X_2+\dots+X_n)=E(X_1)+E(X_2)+\dots+E(X_n)$
      • 独立のとき, $V(X_1+X_2+\dots+X_n)=V(X_1)+V(X_2)+\dots+V(X_n)$
  • $X_1, X_2, \dots, X_n$が同一の確率分布に従うとき、
    • $E(X_1+X_2+\dots+X_n)=n\mu$
    • $V(X_1+X_2+\dots+X_n)=n\sigma^2$
    • $D(X_1+X_2+\dots+X_n)=\sqrt{n}\sigma$
    • $\bar{X}=\frac{X_1, X_2, \dots, X_n}{n}$とすると、
      • $E(\bar{X})=\mu$
      • $V(\bar{X})=\frac{\sigma^2}{n}$
  • たたみこみ (convolution)
    • 確率変数$X, Y$が独立で、確率分布を$g(x), h(y)$とするとき
      • $k(z)=\sum_xg(x)h(z-x)$
      • $k(z)=\int_{-\infty}^{\infty}g(x)h(z-x)dx$
    • これをたたみこみといい、$k=g*h$とかく
    • 確率変数$X, Y$が独立で、確率分布を$g(x), h(y)$とするとき、和$X+Y$の確率分布$k(x)$を考える
      • $P(X+Y=z)$なので、$X=x, Y=z-x$を同時に満たすすべての組み合わせ
    • 二項分布: $X, Y$が独立でそれぞれ$Bi(n, p), Bi(m, p)$に従うとき、$X+Y$は$Bi(n, p)*Bi(m, p)=Bi(n+m, p)$に従う
    • ポアソン分布: $X, Y$が独立でそれぞれ$P_0(\lambda), P_0(\mu)$に従うとき、$X+Y$は$P_0(\lambda)*P_0(\mu)=P_0(\lambda+\mu)$に従う
    • 正規分布: $X, Y$が独立でそれぞれ$N(\mu_1, \sigma_1^2), N(\mu_2, \sigma_2^2)$に従うとき、$X+Y$は$N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2)$に従う
  • たたみこみの結果、同一種類の確率分布(確率分布族)が得られる時、確率分布族は再生的 (reproductive)であるという
  • 正規分布の再生性
    • $X_1, X_2, \dots, X_n$が独立でそれぞれ正規分布$N(\mu_1, \sigma_1^2), N(\mu_2, \sigma_2^2), \dots, N(\mu_n, \sigma_n^2)$に従うとき
      • $X_1+X_2+\dots+X_n$は$N(\mu_1+\mu_2+\dots+\mu_n, \sigma_1^2+\sigma_2^2+\dots+\sigma_n^2)$に従う
      • $c_1X_1+c_2X_2+\dots+c_nX_n$は$N(c_1\mu_1+c_2\mu_2+\dots+c_n\mu_n, c_1^2\sigma_1^2+c_2^2\sigma_2^2+\dots+c_n^2\sigma_n^2)$に従う
    • とくに$X_1, X_2, \dots, X_n$がすべて正規分布$N(\mu, \sigma^2)$に従うとき
      • $X_1+X_2+\dots+X_n$は$N(n\mu, n\sigma^2)$に従う
      • $\bar{X}=\frac{X_1, X_2, \dots, X_n}{n}$は$N(\mu, \frac{\sigma^2}{n})$に従う

練習問題

第7章 多次元の確率分布 · Issue #13 · Wondershake/ml-statistics-intro

所感

  • まだEとかVとかをこねくり回してる感じなのでなんとか

次回

第8章 大数の法則と中心極限定理