Entries

スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。
この記事にトラックバックする(FC2ブログユーザー)
http://exphenomenologist.blog100.fc2.com/tb.php/855-87b68500

トラックバック

コメント

コメントの投稿

コメントの投稿
管理者にだけ表示を許可する

清水亮『よくわかる人工知能』


プログラマー、経営者として人工知能の分野で有名な著者が、人工知能研究の最前線にいる8名と対談したもの。内容は(用語解説はついているが)専門用語が多く、対談形式で読みやすいとはいえ決してレベルは低くない。人工知能のアルゴリズムについて詳細に語っているわけではなく、それで何ができるかに焦点があるので読むのは難しくない。ただ、そこで語られていることをきちんと理解するには、それなりの知識が読者にも求められる。

対談相手は大学の研究者から、IT企業で機械学習を適用している人など多彩。また、ディープラーニングに批判的な人として満倉氏を取り上げているのが面白い。それぞれの対談の前には著者による解説、前置きもついていて、これがしっかりしていて役に立つ。例えば、CGでポリゴンで作った画像をいかに滑らかにするかという話からDCGANの解説へ移るところ(p.130-141)などは実に上手。また、対談相手の話を聞いているだけでなく、するどい突っ込みや仮説をぶつけている。TensorFlowはグーグルがGPUではなくてTPUで計算するように人々を仕向ける戦略なのではないか、つまりNVIDIA対策ではというところ(p.119f)などは感心。

とはいえ例えば、満倉氏との対談では著者自体がディープラーニングに傾倒しているのであまり議論がかみ合っていないし、最後の齊藤氏との対談では齊藤氏のビジョンがあまりに壮大なので(読み手ともに)唖然としている感じを受ける。しかし仮説の構築こそ人工知能にやらせて仮説構築、前処理、検証のプロセスを2018年には今より100倍から1000倍のスピードで回すという話は、感銘を受けた(p.302f, 320f)。ちなみに本書ではハイパーパラメーターはグリッドサーチとかで総当たり(あるいは当てずっぽう)でやるしかない、と何度か出てくるが、そうした最適化自体を学習する試み(例えばDeepMindのM. Andrychowicz et al., "Learning to learn by gradient descent by gradient descent", 2016とか)はどう評価されるのか。あるいはベイズ最適化とか。

論点は多岐に渡っていて、学ぶことも多い。個人的には満倉氏の話はよく分からなかった。ディープラーニングにはホルモン的要素が無いので反省がないのだと言う(p.217-223)。ここでいうホルモン的な要素とは、人間で言えば脳内物質がもたらす認知の偏りのこと。情動反応、あるいはハイデガー的に(存在論的了解としての)気分と捉えても面白いかも。しかし、時点によって認知に偏りがあって、例えば今日は気分が落ち込んでいるから画像の認識率や翻訳の正確性が落ちるような人工知能なんて個人的にはいらない。人間における情動の役割は、人間の情報処理能力は限られているために、効率よく認知モジュールを働かせるところにあるかと思う。すると、人工知能が人間よりはるかに高度な情報処理能力を持っていれば、情動なんて不要なはず(感情なんてさらに不要)。セロトニンがあれば反省が可能だと言われている(p.230, 234f)が、セロトニンは反省という認知モジュールを動きやすくするのでは。反省は、そもそも記憶と自己を自己と認識するメタ意識がなければ無理だろう。自らの過去の行動とその結果を認識して、行動を類型化して改善点を検討する意味での反省は、ホルモン的要素とは関係ないと感じる。

結局これは、私が人間らしいものを作ることに関心がないからだろう。松尾氏は人間のような知能を作る試みにはあまり意味が無いと言っている(p.58)。それは大変だし、産業的なインセンティブもないから(ちなみに松尾氏はネット企業は広告の最適化などですでに機械学習をやっているので、一次産業や二次産業の方にディープラーニングで劇的に効率化するチャンスがあると言っていて(p.65, 162f)、これは彼の狙いに合点がいった)。また、全脳アーキテクチャ・イニシアティブの山川氏も、脳っぽく作った方がAGIに近いという仮説のもとにいるだけで、脳を作ろうとしているのではないと言う(p.266f)。やはりこれらに共感する。LeCunがどこかで言っていたように、飛行する乗り物の発明は鳥を参考にした(飛ぶようなものが鳥しかなかったので)が、できたものは飛行機であり、それは鳥とは似ても似つかない(例えば、飛行機は羽ばたかない)。Machine IntelligenceはHuman Intelligenceとは違って当たり前だ。むしろ、Machine Intelligenceが持つ、人間とは違う認知の仕組み、概念こそ意味がある(というか個人的に面白い)。

最後に記述上の疑問点を4つ。

「2006年、深層ニューラルネットワークが驚異的な成果を上げたニュースが報じられます」とあってILSVRCでヒントンのグループがCNNで飛躍的に正解率を改善とある(p.33-36)が、これは2012年の誤り。ILSVRC自体、2010年から始まったもの。2006年はRBMでMNISTを認識したもののことだろう。2012年はCNNなのでアルゴリズムも違う。とはいえ、正しく書いているところ(p.259f)もあるので筆の滑りか。

2015年のILSVRCのコンテストで人間の正解率を超えたという話が、人間の方が知識が広いので画像を見せられてもそれが何に分類されるのか混乱するためと書かれている(p.33-36)。ILSVRCにおける人間の正解率を測ったタスクは、機械に対するのと同じように、1000個のカテゴリから選択するもの(Russakovsky et al., "ImageNet Large Scale Visual Recognition Challenge", 2015, sec. 6.4)だから、人間の方が知識が広いというのはポイントではないのではないか。

内積の用語説明で「abが垂直の関係にあるとき内積は1」(p.154)とあるが、直交するならcos90°=0だから、内積は0では。

Unity上の人工生命がエピソード記憶を持つとされる(p.199f)が、何のことだろう。人工生命は価値関数による価値を最大化するように報酬の度に政策を更新していくのみであって、記憶など無いのでは。過去の試行がニューラルネット上のどこかに保持されていて、何らかのきっかけでアクセスできるのだろうか。こないだのDNC(differentiable neural computer)みたいな。再現できないものは記憶ではない。強化学習において、政策に従って行動した結果をエピソードと定義するのに引きずられているように思える。
スポンサーサイト
この記事にトラックバックする(FC2ブログユーザー)
http://exphenomenologist.blog100.fc2.com/tb.php/855-87b68500

トラックバック

コメント

コメントの投稿

コメントの投稿
管理者にだけ表示を許可する

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。