統計学入門 第4章 確率

統計学入門 (基礎統計学Ⅰ)

今は 統計学入門。 週一で 1 時間程度各自でもくもくして、章末問題で同期を取るという方法でやってみている。

今回の内容

第4章 確率

4.1 ランダムネスと確率

• ランダムネス (randomness): 何が次に起こるか確率的に予想できないこと
• ランダムネスの法則 (law of randomness): 確率論が扱うもの

4.2 標本空間と事象

• 標本点 (sample point) $\omega$
  • 可能な結果 (possible outcomes)
  • さいころを 1 回投げた場合であれば、$1, 2, 3, 4, 5, 6$
• 標本空間 (sample space) $\Omega$
  • 標本点全体の集合。全事象
  • さいころを 2 回投げたときの目の標本空間は 36 の標本点からなる $(1, 1) (1,2) ... (6, 6)$
  • 無限個の点からなる標本空間もある
• 事象 (event)
  • 標本空間の 部分集合 (subset)
  • 事象 $A = \\{\omega_1, \omega_2, \dots, \omega_n\\}$
• 空事象 (empty event) $\phi$: 標本点を 1 つも含まない事象
• 根元事象 (elementary event): ただ 1 つの標本点からなり分解できない事象
• 複合事象: 2 つ以上の根元事象に分解可能な事象
• 順列の数 (permutation): ${}_nP_r=\frac{n!}{(n-r)!}$
• 組み合わせの数 (combination)
  • ${}_nC_r=\frac{n!}{r!(n-r)!}$
  • 二項係数 (binomial coefficient)
• スターリングの公式 (Stirling’s formula): 二項係数の近似値
• ベン図 (Venn diagram)
• 和事象 (union of events): $A\cup B$
• 積事象 (intersection of events): $A \cap B$
• 背反事象 (disjoint events): 事象$A$と事象$B$が共通部分を持たない場合、$A$と$B$は背反事象
• 分配法則 (distributive law):
  • $(A\cup B)\cap C=(A\cap C)\cup(B\cap C)$
  • $(A\cap B)\cup C=(A\cup C)\cap(B\cup C)$
  • 四則演算と異なり$\cup$も$\cap$も成り立つ
• 補事象 (complementary event): 事象$A$が起らないという事象を$A$の補事象
• ド・モルガンの法則 (de Morgan’s law)
  • $(A\cup B)^c = A^c\cap B^c$
  • $(A\cap B)^c = A^c\cup B^c$

4.3 確率の定義

• 確率 (probability)
  • 事象の起こりやすさを定量的に示すもの
  • 事象$A$の確率 ${\rm P}(A)$

4.3.1 ラプラスの定義

• ${\rm P}(A) = \frac{R}{N}$
  • $N$: 試行の根元事象すべての数。**同程度に確からしい (equally likely)**とする
  • $R$: 事象$A$の起こるような根元事象の数
• 理由不充分の原則 (principle of insufficient reason)
  • 例えばさいころが、他に反対の十分な理由がない限りは 1 から 6 まで同程度の確かさで出現すると信じる

4.3.2 頻度による確率の定義

• 頻度説 (frequency theory)
  • 各標本点が同程度に確からしく起らないときにも使える
  • $n$回試行したときに事象$A$が$n_A$回でるとするとき、${\rm P}(A) = \lim_{n \to \infty}\frac{n_A}{n}$

4.3.3 確率の公理主義的定義

• 確率の公理主義的定義 (axiomatic definition)
  • すべての事象$A$に対して$0\leq {\rm P}(A) \leq 1$
  • ${\rm P}(\Omega)=1$
  • 互いに排反な事象$A_1, A_2, A_3, \dots$に対して${\rm P}(A_1\cup A_2\cup A_3\cup\dots={\rm P}(A_1)+{\rm P}(A_2)+{\rm P}(A_3)+\dots$

4.3.4 主観確率

• 客観説の立場 (objective view): 確率が客観的に決定される求め方
• 主観説の立場 (subjective probability)
  • **主観確率 (subjective probability)**を与えて分析を行う
• ベイズ統計学 (Bayesian statistics): 主観説の立場で行う統計分析

4.4 加法定理

• 加法定理
  • ${\rm P}(A\cup B)={\rm P}(A)+{\rm P}(B)-{\rm P}(A\cap B)$
  • $A\cap B=\phi$のとき、${\rm P}(A\cup B)={\rm P}(A)+{\rm P}(B)$

4.5 条件付確率と独立性

4.5.1 条件付確率

• 条件付確率 (conditional probability) ${\rm P}(A|B)$
  • 事象$B$が起こったときの事象$A$が起こる確率
  • ${\rm P}(A|B)=\frac{{\rm P}(A\cap B)}{{\rm P}(B)}$

4.5.2 独立性

• ${\rm P}(A) = {\rm P}(A|B)$のとき、**独立 (independent)**であるという
  • ${\rm P}(A\cap B)={\rm P}(A)\cdot {\rm P}(B)$

4.5.3 ベイズの定理

• ベイズの定理 (Bayes’ theorem)
  • $A$を得られた結果の原因$H_1, H_2, \dots, H_k$
  • $A$が起こったとき原因が$H_i$である確率
  • ${\rm P}(H_i|A)=\frac{{\rm P}(H_i)\cdot{\rm P}(A|H_i)}{{\rm P}(A)}=\frac{{\rm P}(H_i)\cdot{\rm P}(A|H_i)}{\sum{\rm P}(H_j)\cdot{\rm P}(A|H_j)}$
  • ${\rm P}(H_i)$: $H_i$の事前確率 (prior probability)
  • ${\rm P}(H_i|A)$: 事後確率 (posterior probability)

練習問題

https://github.com/Wondershake/ml-statistics-intro/issues/7

所感

• 公理をはじめて(?)認識した 😳

次回

第 5 章 (p.87-108)

次回から輪読形式。

https://github.com/Wondershake/ml-statistics-intro/issues/8