PRML 1章前半
本日はうちの研究室最初のゼミでした、本当の意味で第「１」回目です
使ったのはPRMLで、1章の前半を１時間でざーっと把握、特にIntroductionだからかなり表面的でした
復習のために内容を簡単にまとめます
sin(2πx)の当てはめ(Fitting)を扱う
目的はsin(2πx)に乱数ノイズを加えたものを学習データとして、新たな入力に対する出力を見つけることである
ポイントは次元数と学習データの関係で、次数が高ければ学習データに対して誤差は０になるが、過学習(over-fitting)をしてしまう
一般的に、モデルに含まれるパラメータ数に対して数倍(5倍とか10倍とか)よりもデータ数は多くなければならないらしい
ベイズ的なアプローチは過学習を避けることが可能らしく、モデルのパラメータ数がデータ数を超えても問題ないようだ
正則化について
これは誤差関数にペナルティを付加して係数が大きくなるのを防ぐことで過学習を防ぐ
ただ今度はペナルティの定数の値を決定する必要があるが、逆にモデルのパラメータを決定するコストが下がるので大変になるばかりではないらしい
共分散の直観的解釈
これについて質問が出たが、要は「互いの変化に影響する度合」を示している
２変数が完全に独立であれば０で、連動して変化しているのであれば値は高くなる
まぁでもやっぱりcov[x,y]=Ex,y[xy]-E[x]E[y]の右辺の解釈は分かんないけど
ベイズ確率
ベイズの定理p(w|D)=p(D|w)p(w)/p(D)における右辺の条件付き確率p(D|w)は、尤度関数と呼べることに驚き！でもこの尤度は積分して必ずしも１にならないので確率分布とは言えないようである
以上から、ベイズの定理は、「(事後確率)∝(尤度)×(事前分布)」と表せる
また、ベイズの定理の右辺の分母は正規化の定数であり、左辺の事後分布が確率密度として成立することを保証する
しかし、30Pを１時間で説明とか辛いな…しかも準備期間は１週間
論文も１週間、休みの１週間はC++でも自主的にやろう
空いた時間は基本の復習とか課題とかテスト勉強とか
帰ったら英語の勉強、夏が終わるまでにはTOEICで「人間」にならなければ…
あははは、楽しくて死ぬ（壊
