Entries

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
この記事にトラックバックする(FC2ブログユーザー)
http://exphenomenologist.blog100.fc2.com/tb.php/815-2b65d613

トラックバック

コメント

コメントの投稿

コメントの投稿
管理者にだけ表示を許可する

杉山将『イラストで学ぶ 機械学習』


機械学習のアルゴリズムについて主に数学的側面から扱った本。こうした本としては最初の方に読むものなのだろう。初学者にはややきついところもある。だがとても面白い。記述はしっかりしていて、決して説明を端折った本ではない。最小二乗学習を基本として、損失関数と制約条件の組み合わせでアルゴリズムを解説する。

扱われているアルゴリズムは様々な制約付きの最小二乗学習から始まり、制約を変えることでスパース性やロバスト性が得られることを示す。サポートベクトルの基本的なところ。一般化l2制約付きヒンジ損失最小化学習として解釈するという話(p.85-87)があり、これはとても美しい。バギングとブースティング。ロジスティック回帰と最小二乗確率的分類では、最小二乗確率的分類でロジスティック回帰と同様の学習ができることが示される(p.111-115)。期待値の標本平均による近似やクラス事後確率の推定値を正規化するという課題はあるものの、ロジスティック回帰より並列化も可能で計算が速いそうだ。

教師なし学習では異常検出。教師なしの異常検出はかなり難しいことが説かれる。次元削減、クラスタリング。この本の面白いのは、発展的話題としてオンライン学習、半教師付き学習、教師付き次元削減、転移学習、マルチタスク学習が扱われていること。これらの発展的話題も、それまでの議論を読んでいれば初歩的なところがつかめる。オンライン学習では新たなデータに学習が引きずられないように勾配降下量を抑制する制約を入れる受動攻撃学習の考えが面白い(p.162f)。さらには、半教師付き学習でのラプラス正則化項を用いた結果は驚いた。教師データが二つしかないのに、複雑なパターンが正しく分類できている(p.173-177)。

プログラム言語のコードとしてMATLABのソースが付いているが、MATLABは分からないので参考にはならなかった。式展開はところどころ追えないところもあって、ちょっと線形代数を復習したい気になった。条件付き確率場のところはかなり難しい(p.118-124)ので置いておくとしても、クロネッカー積あたりは押さえておきたい。
スポンサーサイト
この記事にトラックバックする(FC2ブログユーザー)
http://exphenomenologist.blog100.fc2.com/tb.php/815-2b65d613

トラックバック

コメント

コメントの投稿

コメントの投稿
管理者にだけ表示を許可する

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。