言語処理のための機械学習入門第14回

概要

機械学習勉強会で輪読してる言語処理のための機械学習入門の学習メモです。勉強会用の資料があるのでこちらでは資料に載らなかったメモ等を。

木構造カーネルも文字列カーネルも知らなかった。ベクトル化せずに内積を求めるカーネルってことで、実用的にはあんまり使う機会はないのかな。

カーネル法が愚直にやるより高速って言われるのは、次の 2 つの理由から？カーネルトリックっていったときは後者を指すんだろうか。

木構造カーネルや文字列カーネルでは、事例をベクトル化せずに内積を求められるので高速
例えば多項式カーネルだと事例の次元数を増やすと考えたとき、各事例に対して $\phi(\boldsymbol{x})=(x_1^2,x_2^2,\sqrt 2x_1x_2,\sqrt 2x_1,\sqrt 2x_2, 1)$ を計算した後に内積をとる必要はなく、各事例の組み合わせに対して $K_{poly},d=(\boldsymbol{x}^{(i)}\cdot\boldsymbol{x}^{(j)}+1)^d$ を計算すれば同じ結果が得られるので高速

社内で毎週開催している。本書は輪読形式でまわしているが、題材によって形式は柔軟に変えている。毎週読む範囲を決めて資料にまとめて発表するという感じでやっている。

また、勉強会で書いたコードや疑問点などをまとめるために GitHub のレポジトリを活用している。 Wondershake/machine-learning-study: 機械学習勉強会