Entries

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
この記事にトラックバックする(FC2ブログユーザー)
http://exphenomenologist.blog100.fc2.com/tb.php/922-d89ee76e

トラックバック

コメント

コメントの投稿

コメントの投稿
管理者にだけ表示を許可する

坪井祐太、海野裕也、鈴木潤『深層学習による自然言語処理』


文句なく素晴らしい名著。内容は本の題名そのまま。この分量でここまで分かりやすく書けるのは脱帽。最近の自然言語処理に関する主に理論面の解説。抽象的なところをそのまま解説するのではなく、適宜具体化しながら解説している。また、著者による新たな位置づけや、説明の工夫も多く見られる。

深層学習の一般的解説から、特に自然言語処理で使われるSeq2Seqや注意モデルの解説、翻訳・要約・対話・質問応答という具体的なタスクへの応用、学習を効率的に行うための手法、更にはメモリや計算量を削減するための技術からなる。深層学習による自然言語処理は、従来のような分かち書き、構文解析などのサブタスクに分解せず、end-to-endに一貫して行うことが多い。このことの利点は、部分最適に陥らず全体最適ができること、恣意的に分割された部分問題より遥かに多くの正解データが手に入ることが挙げられる(p.3-5)。第一章の冒頭の議論の整理から、少なくとも私にはなるほどと感じられ、とても引き込まれる。

自然言語処理ではベクトル化として扱われる分散表現が、ニューラルネットワークの研究と、自然言語の研究の双方からどのように発展して合流してきたか、歴史を踏まえて書かれている(p.57-62)。この記述もとても素晴らしい。さらには、"word2vec"と言われるものはツールなのか、モデルの種類(対数双線形モデル)なのか、手法なのか、ときに区別されていないというコメント(p.65)は実務家ならでは。分散表現を得るための技法の一つである負例サンプリングは、実は他とは違うモデルを推定していることになるという指摘(p.69-71)もクリア。

機械翻訳、文章要約、対話、質問応答といった応用タスクにおいては、それまで述べられた分散表現への埋め込み、RNN、注意機構といった仕組みが部品のように組み合わさって実現されていることが見て取れる。扱われているのはtoy exampleでなく実際のものなので、ネットワークは大きめで細かく理解するのはやや大変。特に文書要約では、学習用データの量と要約の正解の定義の困難さから、見出し生成タスクで行われてきた。最近の結果からはRNNがよいことになっているが、これは自明なことではないという。見出しのように不自然にまで要約される文では、局所性に基づくCNNが有利でもおかしくない(p.132-141)。正解データの準備が難しいという点では、対話タスクも同じ。対話タスクのほうが、一体何が正しい応対なのかは定義が難しい(p.149-153)。本書では少しだけ触れられているが、ここは強化学習と親和性がありそう。紙面の都合があるのはもちろんだが、最近の自然言語処理の方向性として、強化学習との関連がもう少し扱われていると良かった。

学習を効率的に行って汎化誤差を最小にする技術は、現場の試行錯誤のノウハウが詰まっている。汎化誤差を、モデルの表現力不足による近似誤差、学習データの偏りによる推定誤差、学習誤差の最適化アルゴリズムによる最適化誤差に分けて解説。ハイパーパラメータの選択については、ベイズ最適化に触れられているが2ページのみ。ここはまだあまり進んでおらず、人手による調整が多く行われていると(p.182)。深層学習を使うことによって特徴量を事前に工夫しなくてよくなったが、ハイパーパラメータの選択が大変となった。特徴工学はいらなくなったが、代わりにネットワーク構造工学が必要になったというコメント(p.163f)。

計算量やメモリ消費量を抑えるテクニックは、深層学習のフレームワークChainerの開発に使われているのだろう。この章は私の関心からやや外れていることもあって、ぼんやりと読んだのみだった。

実に早いスピードで進展していく研究状況を、ここまで分かりやすくまとめている著者たちの力量に感服する。この分野に関心があるなら、何を置いてもひとまず読め、という一冊だろう。
スポンサーサイト
この記事にトラックバックする(FC2ブログユーザー)
http://exphenomenologist.blog100.fc2.com/tb.php/922-d89ee76e

トラックバック

コメント

コメントの投稿

コメントの投稿
管理者にだけ表示を許可する

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。