機械学習勉強会 20170706

今は統計学入門。週一で 1 時間程度各自でもくもくして、章末問題で同期を取るという方法でやってみている。

今回の内容

2 変数 $x, y$ の間に、 $x$ が $y$ を左右ないしは決定する関係があるとき $x$ を独立変数 (independent variable)、 $y$ を**従属変数 (dependent variable)**という
最小二乗法 (method of least squares)
- 2 次元データを $y=bx+a$ の直線として $a, b$ を決定する方法
- **二乗和 (sum of squares)**を最小にする $a, b$ $a, b$ の値を求める
  - $L=\sum\\{y_i-(bx_i+a)\\}^2$
- 得られた 1 次式を回帰方程式 (regression equation) あるいは **回帰直線 (regression line)**と呼ぶ
- 偏回帰係数 (partial regression coefficient) 傾き (slope)
  - $b=\frac{\sum{x_iy_i}-n\overline{x}\overline{y}}{\sum{x_i^2}-n\overline{x}^2}$
- $y$ 切片 ( $y$ -intercept)
  - $a=\overline{y}-b\overline{x}$
決定係数 (coefficient of determination)
- 相関係数の二乗 $r^2$
- $r^2=1$ ならデータは完全に直線上にあり、 $y$ は $x$ から完全に決定される

重回帰 (multiple regression)
- 独立変数が 2 つ以上ある場合の回帰
- $y=b_1x_1+b_2x_2+\dots+b_px_p+a$
- 直線へ当てはめは単回帰 (simple regression)という