PRML 2章前半

2章は確率分布のお話です

二項分布

二項分布って(x+y)のn乗とかコインの裏表の分布としか考えてなかったんだけど、コンピューターではバイナリー変数を扱うから、情報・通信で扱う分布は二項分布がほとんどらしい

ベータ関数とかガンマ関数とか

これって何なのって感じだが、これらはパラメータを用いているので恣意的に分布を決められる上に、exponentialが入っているので解析的に解くのに便利なのだそうだ
でも勿論自由度が高い分布なので、見当外れな分布になることもしばしば
最近はこの分布を使うことはほとんどない(実用上は)みたい

マハラノビス距離

2つの分布を正規化して求める分布間の距離



何か数式ですぎて爆発しそうだったが、頭に残ったのはこんな感じ
あとオンライン学習は現在でも難しい問題なのだそうだ