Entries

岡谷貴之『深層学習』

深層学習 (機械学習プロフェッショナルシリーズ)
ディープラーニングのアルゴリズムについて解説した本。非常に分かりやすく、面白い。いま話題の最先端の分野だが、ここまで平易に読めるとは思わなかった。話題はニューラルネットの基礎から、確率的勾配降下法SGD、バックプロパゲーション、オートエンコーダー、CNN、RNN、ボルツマンマシンまで。実例も交えてしっかり書いてあるので、意外に読める。

多層ニューラルネットが近年高い性能を発揮するようになった背景として、(1)大きなネットワークが過学習を起こさないような一定規模以上のデータが手に入るようになったこと、(2)GPUやマルチコア化されたCPUなど、計算能力が飛躍的に向上したこと、そして(3)「最近のディープネットの成功の本質は、現実世界の大規模な問題を相手に、多層ニューラルネットを試してみたところ、思わぬ性能が出ることがわかったということかもしれません」(p.6)と書かれている。

以降は読み直しの時の疑問点メモ。

勾配消失問題の解説(p.53f)で、順伝播の計算は各ユニットの特徴関数に非線形な関数も取れるから非線形だが、逆伝播計算は線形とされている。なぜ線形なのだろう。各ユニットの特徴関数が非線形なら、その微分も非線形でありうるのでは。

スパース正規化の解説(p.62-67)で、中間ユニットの平均活性度を目標に近づける計算過程は理解できる。だが、これがなぜ特徴を取り出すような結果になるのかが不明。

コネクショニスト時系列分類法の解説(p.126-130)は、説明されないパラメーターが数式に出てきて読みにくい。例えばy_bなど(p.129)は何だろう。

ボルツマンマシンの解説はそれまでのニューラルネットとは趣の違うもので、尤度関数や条件付き確率の計算が多くちょっと難しい。特にボルツマンマシンの学習のための勾配計算(p.134f)など。また、ディープビリーフネットやディープボルツマンマシンとCNNやRNNの関連など。
スポンサーサイト
この記事にトラックバックする(FC2ブログユーザー)
http://exphenomenologist.blog100.fc2.com/tb.php/800-d7d54fbb

トラックバック

コメント

コメントの投稿

コメントの投稿
管理者にだけ表示を許可する