統計学入門 第4章 確率

created at 2017/08/06 17:13:28
統計学入門 (基礎統計学Ⅰ)

統計学入門 (基礎統計学Ⅰ)

  • 東京大学教養学部統計学教室
  • 東京大学出版会

今は統計学入門
週一で1時間程度各自でもくもくして、章末問題で同期を取るという方法でやってみている。

今回の内容

第4章 確率

4.1 ランダムネスと確率

  • ランダムネス (randomness): 何が次に起こるか確率的に予想できないこと
  • ランダムネスの法則 (law of randomness): 確率論が扱うもの

4.2 標本空間と事象

  • 標本点 (sample point) $\omega$
    • 可能な結果 (possible outcomes)
    • さいころを1回投げた場合であれば、$1, 2, 3, 4, 5, 6$
  • 標本空間 (sample space) $\Omega$
    • 標本点全体の集合。全事象
    • さいころを2回投げたときの目の標本空間は36の標本点からなる $(1, 1) (1,2) ... (6, 6)$
    • 無限個の点からなる標本空間もある
  • 事象 (event)
    • 標本空間の 部分集合 (subset)
    • 事象 $A = \{\omega_1, \omega_2, \dots, \omega_n\}$
  • 空事象 (empty event) $\phi$: 標本点を1つも含まない事象
  • 根元事象 (elementary event): ただ1つの標本点からなり分解できない事象
  • 複合事象: 2つ以上の根元事象に分解可能な事象
  • 順列の数 (permutation): ${}_nP_r=\frac{n!}{(n-r)!}$
  • 組み合わせの数 (combination)
    • ${}_nC_r=\frac{n!}{r!(n-r)!}$
    • 二項係数 (binomial coefficient)
  • スターリングの公式 (Stirling's formula): 二項係数の近似値
  • ベン図 (Venn diagram)
  • 和事象 (union of events): $A\cup B$
  • 積事象 (intersection of events): $A \cap B$
  • 背反事象 (disjoint events): 事象$A$と事象$B$が共通部分を持たない場合、$A$と$B$は背反事象
  • 分配法則 (distributive law):
    • $(A\cup B)\cap C=(A\cap C)\cup(B\cap C)$
    • $(A\cap B)\cup C=(A\cup C)\cap(B\cup C)$
    • 四則演算と異なり$\cup$も$\cap$も成り立つ
  • 補事象 (complementary event): 事象$A$が起らないという事象を$A$の補事象
  • ド・モルガンの法則 (de Morgan's law)
    • $(A\cup B)^c = A^c\cap B^c$
    • $(A\cap B)^c = A^c\cup B^c$

4.3 確率の定義

  • 確率 (probability)
    • 事象の起こりやすさを定量的に示すもの
    • 事象$A$の確率 ${\rm P}(A)$

4.3.1 ラプラスの定義

  • ${\rm P}(A) = \frac{R}{N}$
    • $N$: 試行の根元事象すべての数。同程度に確からしい (equally likely)とする
    • $R$: 事象$A$の起こるような根元事象の数
  • 理由不充分の原則 (principle of insufficient reason)
    • 例えばさいころが、他に反対の十分な理由がない限りは1から6まで同程度の確かさで出現すると信じる

4.3.2 頻度による確率の定義

  • 頻度説 (frequency theory)
    • 各標本点が同程度に確からしく起らないときにも使える
    • $n$回試行したときに事象$A$が$n_A$回でるとするとき、${\rm P}(A) = \lim_{n \to \infty}\frac{n_A}{n}$

4.3.3 確率の公理主義的定義

  • 確率の公理主義的定義 (axiomatic definition)
    • すべての事象$A$に対して$0\leq {\rm P}(A) \leq 1$
    • ${\rm P}(\Omega)=1$
    • 互いに排反な事象$A_1, A_2, A_3, \dots$に対して${\rm P}(A_1\cup A_2\cup A_3\cup\dots={\rm P}(A_1)+{\rm P}(A_2)+{\rm P}(A_3)+\dots$

4.3.4 主観確率

  • 客観説の立場 (objective view): 確率が客観的に決定される求め方
  • 主観説の立場 (subjective probability)
    • 主観確率 (subjective probability)を与えて分析を行う
  • ベイズ統計学 (Bayesian statistics): 主観説の立場で行う統計分析

4.4 加法定理

  • 加法定理
    • ${\rm P}(A\cup B)={\rm P}(A)+{\rm P}(B)-{\rm P}(A\cap B)$
    • $A\cap B=\phi$のとき、${\rm P}(A\cup B)={\rm P}(A)+{\rm P}(B)$

4.5 条件付確率と独立性

4.5.1 条件付確率

  • 条件付確率 (conditional probability) ${\rm P}(A|B)$
    • 事象$B$が起こったときの事象$A$が起こる確率
    • ${\rm P}(A|B)=\frac{{\rm P}(A\cap B)}{{\rm P}(B)}$

4.5.2 独立性

  • ${\rm P}(A) = {\rm P}(A|B)$のとき、独立 (independent)であるという
    • ${\rm P}(A\cap B)={\rm P}(A)\cdot {\rm P}(B)$

4.5.3 ベイズの定理

  • ベイズの定理 (Bayes' theorem)
    • $A$を得られた結果の原因$H_1, H_2, \dots, H_k$
    • $A$が起こったとき原因が$H_i$である確率
    • ${\rm P}(H_i|A)=\frac{{\rm P}(H_i)\cdot{\rm P}(A|H_i)}{{\rm P}(A)}=\frac{{\rm P}(H_i)\cdot{\rm P}(A|H_i)}{\sum{\rm P}(H_j)\cdot{\rm P}(A|H_j)}$
    • ${\rm P}(H_i)$: $H_i$の事前確率 (prior probability)
    • ${\rm P}(H_i|A)$: 事後確率 (posterior probability)

練習問題

https://github.com/Wondershake/ml-statistics-intro/issues/7

所感

  • 公理をはじめて(?)認識した :flushed:

次回

第5章 (p.87-108)

次回から輪読形式。

https://github.com/Wondershake/ml-statistics-intro/issues/8